小さな動きの大きな世界 | マイケル・ルービンスタイン | TEDxYouth@BeaconStreet

肉眼では見られない微細な動きや色の変化を拡大する「顕微鏡」をご紹介します。画像解析の研究者マイケル・ルービンスタインは驚くばかりの映像を次から次へと見せ、この技術によって普通の映像から人の心拍を読み取ったり、音波により生じるポテトチップ袋の振動を拡大して会話を再現できることを示します。恐ろしい応用の可能性をも秘めたこの驚きの技術は、実際に目にするまで信じられないかもしれません。
※このビデオはTEDカンファレンスとは独立して運営されるTEDxイベントにおいて収録されたものです。

過去数世紀に渡って
顕微鏡は世界を変えてきました

小さすぎて肉眼では見えない
物や生物や構造の世界を

顕微鏡が明らかにし

科学や技術に対して
大いなる貢献をしました

今日ご紹介したいのは
新しいタイプの顕微鏡

「変化を見る顕微鏡」です

普通の顕微鏡のように
光学的に小さなものを大きく

見せるのではなく

ビデオと画像処理を使って

肉眼では見えないような
人や物の微細な動きや

色の変化を
見えるようにします

これは世界に対する
まったく別の見方を与えてくれます

色の変化とは
どんなものかですが

例えば人の肌というのは
血の流れに応じて

色がかすかに変化します

これはとても
微妙な変化であるため

隣に座っている人を
見たところで

肌や顔の色が

変わっているようには
見えません

このスティーブの映像を見ても
静止画のように見えます

しかし私達の新しい顕微鏡を
通して見ると

まったく異なる
イメージが現れます

肌の色の小さな変化を
100倍増幅することで

目で見て分かる
ようにしています

脈拍を見て取る
こともできます

心拍の早さだけでなく

顔を血がどう流れているかも
分かります

脈拍を可視化
できるだけでなく

心拍数を正確に

計測することもできます

普通のカメラでできて
患者に触れる必要もありません

ここでは普通のDSLRカメラで撮った
新生児の映像から

脈拍と心拍数を
取り出しています

これで計測した心拍数は

病院にある通常の計器によるのと
同様の正確さがあります

映像も自分で撮ったもの
である必要はなく

既存のビデオを使うこともできます

これは『バットマン ビギンズ』の一場面から

クリスチャン・ベールの心拍が
見えるようにしたものです（笑）

クリスチャン・ベールの心拍が
見えるようにしたものです（笑）

映画なのでメークも
しているだろうし

光の条件にも
難しい面がありますが

それでも映像から
彼の心拍を

非常にうまく
取り出せています

どうやっているのかですが

ビデオのそれぞれの
ピクセルに記録された

光の時間的変化を分析し

その変化を拡大しています

変化が見て分かるくらいに
大きくするわけです

難しいのは
捉えたい変化が

非常に小さなものだ
ということで

その変化を
録画につきもののノイズから

注意深く分離する
必要があります

それぞれのピクセルの
ごく正確な色を得るために

巧妙な画像処理を
行っています

それから色の
時間変化の仕方を捉え

それを拡大して

変化が目で見て分かるよう
変化の強調された

映像を作ります

このようにして見えるようにできるものには
微細な色の変化だけでなく

微細な動きもあります

カメラに記録される光は
色の変化によってだけでなく

物の動きによっても

変化するからです

これは生後２ヶ月の頃の
私の娘です

３年ほど前に
録画したものです

親になったばかりの人は
赤ちゃんが健康か 息をしているか

生きているか
いつも気にかけています

私も娘の眠っている姿を
見られるよう

ベビーモニターを
買いました

普通のベビーモニターで見られるのは
このような映像です

眠っている様子は分かりますが

情報は大して得られません

見て分かる事は
殆どありません

もしこんな風に
見えたとしたら

もっと情報が得られて
有用ではないでしょうか？

動きを30倍拡大することで
娘の動きがはっきり見て取れるようになりました

これで娘が確かに生きて

呼吸しているのが分かります

（笑）

並べて比較したところですが

元々のビデオでは

動きが分かりません

しかし動きを拡大した映像では
呼吸の様子がよく分かります

この「変化を見る顕微鏡」によって

明らかにできる身の回りの現象は
たくさんあります

体の中で静脈や動脈が
どう脈打っているか分かります

目が絶えずユラユラ
動いていることも

よく分かります

これは私の目で

娘が生まれた頃に
撮ったので

あまり寝ていないのが
分かるかと思います（笑）

じっと座っている人からでさえ

多くの情報が得られます

呼吸のパターンとか
小さな顔の表情とか

このような動きから

その人の思っていることや
感情も分かるかもしれません

エンジンの振動のような
小さな機械の動きも

拡大して見えるようにできます

機械の問題の検出や診断を技術者がするのに
役立つかもしれません

建物や構造物が風に揺れたり
反発したりする様子も見て取れます

こういった動きを計測する方法なら
以前からありましたが

その動いている様子を

実際に目で見えるようにする
というのは

また別の話になります

私達はこの技術を開発して以来

ネット上でプログラムを公開して

誰でも実験できるようにしています

とても簡単に使え

自分のビデオで
試すことができます

私達の協力者のQuanta Researchは
ご覧のようなサイトも用意していて

ビデオをアップするだけで
結果を見られます

だからコンピュータサイエンスや
プログラミングの知識がまったくなくても

簡単にこの顕微鏡で
実験ができます

これを使ってみんなが
どんなことをしているのか

いくつかご覧に入れましょう

このビデオはTomez85という
YouTubeユーザーが作ったもので

どういう人なのか知りませんが

私達のプログラムを使って

妊婦のお腹の動きを
拡大しています

ちょっと不気味ですね

（笑）

ここでは手の静脈の拍動を
拡大しています

しかしモルモットを使わなくちゃ
科学っぽくなりませんよね

このモルモットは
ティファニーという名前で

作者はこれが
微細な動きを拡大された

最初の齧歯類だと
主張しています

美術作品を作ることもできます

イェール大のデザイン科の学生が
送ってきたもので

友人の身動きの仕方に
違いがあるか

知りたかったのだそうです

じっとしているように頼んで
それから動きを拡大したものです

写真が動き始めたみたいな
感じがします

これらの例の良いところは

我々自身何もする必要が
なかったことです

ただ新しい道具と
世界を見る新しい方法を提供するだけで

いろんな人が新しくて面白い
創造的な使い方を見つけてくれます

しかしそれで終わりではありません

このツールは世界に対し
新しい見方ができるようにするだけでなく

カメラで出来ることを再定義し

可能性の限界を
押し広げもします

科学者として
私達は考え始めました

カメラで計測できる
微細な動きを生み出す物理現象として

他にどんなものがあるだろう？

そのような現象の１つとして
我々が最近取り組んでいるのが「音」です

音というのは基本的に

空気中を伝わる空気圧の変化です

圧力の波が物にぶつかる時
小さな振動を生じ

それを使って私達は音を聞いたり
録音したりしています

しかし音は視覚的な
動きも作り出します

肉眼では見えなくとも

カメラを使って適切に処理すれば
見えるようになります

例を２つお見せします

これは私が素晴らしい歌唱力を
披露しているところです

アー

（笑）

声を出している時の喉を
高速度カメラで撮影しました

元の映像を見ても

ほとんど動きは見られませんが

動きを100倍拡大してやると
発声に関わる首の部分に

波のような動きが広がっているのが
分かります

音の痕跡が映像に
残されているわけです

歌手は特定の音程の声を出して
グラスを割れる

という話は
良く知られています

ここではグラスの

共鳴周波数の音を

横のスピーカーから
出しています

その時の動きを
250倍拡大すると

グラスが音に共鳴して
振動しているのが

はっきり分かります

あまり日常で目にする光景では
ありませんね

外にデモを用意してあるので

後でぜひ覗いて

いじってみてください
実際に体験できます

しかしここから
突飛なアイデアを思いつきました

この過程を逆にして 映像から音を
復元できないでしょうか？

音波が物の表面に作り出す
微細な振動を解析して

元になった音を
生成するのです

そのようにすれば 身の回りにある物を
マイクに変えることができます

私達はまさにそれを
やってみました

テーブルの上にポテトチップの
空き袋があります

これをビデオ撮影して
音により生じた —

微細な動きを
解析することで

ポテトチップの袋をマイクロフォンに
変えようというわけです

この部屋では
こんな音楽を流しています

(曲『メリーさんのひつじ』)

そしてポテトチップの袋を
高速度カメラで撮影しました

これを見ても

何かが起きているようには

見えませんが

映像の中の微細な動きを
解析することで

このような音を
再現できました

(曲『メリーさんのひつじ』)

私はこれを—

（拍手）

「ビジュアル・マイクロフォン」
と呼んでいます

ビデオ信号からオーディオ信号を
取り出しているのです

動きの大きさが
どれくらいかというと

かなり大きな音でも
ポテトチップの袋の動きは

１ミクロン未満です

１ミリの千分の１です

そのような小さな動きでも

映像の中で物に反射する光を
観察することによって

検出できるのです

他の物を使うこともできます
たとえば植物とか

(曲『メリーさんのひつじ』)

声を復元することもできます

こちらでは部屋の中で
人が話しています

Mary had a little lamb whose fleece was white as snow,
(メリーさんは小さな羊を飼っていた 雪のように白い毛をして)

and everywhere that Mary went, that lamb was sure to go.
(メリーさんの行くところは どこにでも付いてきた)

前と同じ
ポテトチップの袋の映像から

復元した声です

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

『メリーさんのひつじ』を使ったのは

エジソンが1877年に
蓄音機で

最初に録音したのが
この歌だったからです

それは音を記録する
最初の装置の１つでした

音を振動板で受け

その振動を針に伝え
それが筒に巻いたアルミ箔に

記録される仕掛けでした

これはエジソンの蓄音機で

録音し再生するデモです

（録音）Testing, testing, one two three.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

（再生）Testing, testing, one two three.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

137年後の今日

音に振動する物の映像だけから
同程度のクオリティの音を

再現できるようになりました

しかも防音ガラスの
向こう側にある

５メートル離れた物を使って
それができるのです

そうやって復元した音がこれです

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

すぐ思いつく応用は
スパイ活動でしょう

（笑）

しかし他のことにも使えます

もしかしたら
将来宇宙の向こうの音を

再現できるように
なるかもしれません

音は宇宙を伝わりませんが
光なら伝わるからです

私達は
この新しい技術の可能性を

探り始めたばかりです

これまで存在するのは
知っていたけれど

自分の目で見られなかった物理現象を
見えるようにしてくれるのです

これが私の仲間です

今日お見せしたものは
みんなここに出ている人達の

協力の結果
得られたものです

みなさんにもぜひ
私達のウェブサイトを訪れ

自分で試してみて

一緒に微細な動きの世界を
探索していただきたいと思います

ありがとうございました

（拍手）