So over the past few centuries, microscopes have revolutionized our world.
They revealed to us a tiny world of objects, life and structures
that are too small for us to see with our naked eyes.
They are a tremendous contribution to science and technology.
Today I'd like to introduce you to a new type of microscope,
a microscope for changes.
It doesn't use optics like a regular microscope
to make small objects bigger,
but instead it uses a video camera and image processing
to reveal to us the tiniest motions and color changes in objects and people,
changes that are impossible for us to see with our naked eyes.
And it lets us look at our world in a completely new way.
So what do I mean by color changes?
Our skin, for example, changes its color very slightly
when the blood flows under it.
That change is incredibly subtle,
which is why, when you look at other people,
when you look at the person sitting next to you,
you don't see their skin or their face changing color.
When we look at this video of Steve here, it appears to us like a static picture,
but once we look at this video through our new, special microscope,
suddenly we see a completely different image.
What you see here are small changes in the color of Steve's skin,
magnified 100 times so that they become visible.
We can actually see a human pulse.
We can see how fast Steve's heart is beating,
but we can also see the actual way that the blood flows in his face.
And we can do that not just to visualize the pulse,
but also to actually recover our heart rates,
and measure our heart rates.
And we can do it with regular cameras and without touching the patients.
So here you see the pulse and heart rate we extracted from a neonatal baby
from a video we took with a regular DSLR camera,
and the heart rate measurement we get
is as accurate as the one you'd get with a standard monitor in a hospital.
And it doesn't even have to be a video we recorded.
We can do it essentially with other videos as well.
So I just took a short clip from "Batman Begins" here
just to show Christian Bale's pulse.
(Laughter)
And you know, presumably he's wearing makeup,
the lighting here is kind of challenging,
but still, just from the video, we're able to extract his pulse
and show it quite well.
So how do we do all that?
We basically analyze the changes in the light that are recorded
at every pixel in the video over time,
and then we crank up those changes.
We make them bigger so that we can see them.
The tricky part is that those signals,
those changes that we're after, are extremely subtle,
so we have to be very careful when you try to separate them
from noise that always exists in videos.
So we use some clever image processing techniques
to get a very accurate measurement of the color at each pixel in the video,
and then the way the color changes over time,
and then we amplify those changes.
We make them bigger to create those types of enhanced videos, or magnified videos,
that actually show us those changes.
But it turns out we can do that not just to show tiny changes in color,
but also tiny motions,
and that's because the light that gets recorded in our cameras
will change not only if the color of the object changes,
but also if the object moves.
So this is my daughter when she was about two months old.
It's a video I recorded about three years ago.
And as new parents, we all want to make sure our babies are healthy,
that they're breathing, that they're alive, of course.
So I too got one of those baby monitors
so that I could see my daughter when she was asleep.
And this is pretty much what you'll see with a standard baby monitor.
You can see the baby's sleeping,
but there's not too much information there.
There's not too much we can see.
Wouldn't it be better, or more informative, or more useful,
if instead we could look at the view like this.
So here I took the motions and I magnified them 30 times,
and then I could clearly see that my daughter
was indeed alive and breathing.
(Laughter)
Here is a side-by-side comparison.
So again, in the source video, in the original video,
there's not too much we can see,
but once we magnify the motions, the breathing becomes much more visible.
And it turns out, there's a lot of phenomena
we can reveal and magnify with our new motion microscope.
We can see how our veins and arteries are pulsing in our bodies.
We can see that our eyes are constantly moving
in this wobbly motion.
And that's actually my eye,
and again this video was taken right after my daughter was born,
so you can see I wasn't getting too much sleep. (Laughter)
Even when a person is sitting still,
there's a lot of information we can extract
about their breathing patterns, small facial expressions.
Maybe we could use those motions
to tell us something about our thoughts or our emotions.
We can also magnify small mechanical movements,
like vibrations in engines,
that can help engineers detect and diagnose machinery problems,
or see how our buildings and structures sway in the wind and react to forces.
Those are all things that our society knows how to measure in various ways,
but measuring those motions is one thing,
and actually seeing those motions as they happen
is a whole different thing.
And ever since we discovered this new technology,
we made our code available online
so that others could use and experiment with it.
It's very simple to use.
It can work on your own videos.
Our collaborators at Quantum Research even created this nice website
where you can upload your videos and process them online,
so even if you don't have any experience in computer science or programming,
you can still very easily experiment with this new microscope.
And I'd like to show you just a couple of examples
of what others have done with it.
So this video was made by a YouTube user called Tamez85.
I don't know who that user is,
but he, or she, used our code
to magnify small belly movements during pregnancy.
It's kind of creepy.
(Laughter)
People have used it to magnify pulsing veins in their hands.
And you know it's not real science unless you use guinea pigs,
and apparently this guinea pig is called Tiffany,
and this YouTube user claims it is the first rodent on Earth
that was motion-magnified.
You can also do some art with it.
So this video was sent to me by a design student at Yale.
She wanted to see if there's any difference
in the way her classmates move.
She made them all stand still, and then magnified their motions.
It's like seeing still pictures come to life.
And the nice thing with all those examples
is that we had nothing to do with them.
We just provided this new tool, a new way to look at the world,
and then people find other interesting, new and creative ways of using it.
But we didn't stop there.
This tool not only allows us to look at the world in a new way,
it also redefines what we can do
and pushes the limits of what we can do with our cameras.
So as scientists, we started wondering,
what other types of physical phenomena produce tiny motions
that we could now use our cameras to measure?
And one such phenomenon that we focused on recently is sound.
Sound, as we all know, is basically changes
in air pressure that travel through the air.
Those pressure waves hit objects and they create small vibrations in them,
which is how we hear and how we record sound.
But it turns out that sound also produces visual motions.
Those are motions that are not visible to us
but are visible to a camera with the right processing.
So here are two examples.
This is me demonstrating my great singing skills.
(Singing)
(Laughter)
And I took a high-speed video of my throat while I was humming.
Again, if you stare at that video,
there's not too much you'll be able to see,
but once we magnify the motions 100 times, we can see all the motions and ripples
in the neck that are involved in producing the sound.
That signal is there in that video.
We also know that singers can break a wine glass
if they hit the correct note.
So here, we're going to play a note
that's in the resonance frequency of that glass
through a loudspeaker that's next to it.
Once we play that note and magnify the motions 250 times,
we can very clearly see how the glass vibrates
and resonates in response to the sound.
It's not something you're used to seeing every day.
And we actually have the demo right outside set up,
so I encourage you to stop by,
and just play with it yourself, you can actually see it live.
But this made us think. It gave us this crazy idea.
Can we actually invert this process and recover sound from video
by analyzing the tiny vibrations that sound waves create in objects,
and essentially convert those back into the sounds that produced them.
In this way, we can turn everyday objects into microphones.
So that's exactly what we did.
So here's an empty bag of chips that was lying on a table,
and we're going to turn that bag of chips into a microphone
by filming it with a video camera
and analyzing the tiny motions that sound waves create in it.
So here's the sound that we played in the room.
(Music: "Mary Had a Little Lamb")
And this is a high-speed video we recorded of that bag of chips.
Again it's playing.
There's no chance you'll be able to see anything going on in that video
just by looking at it,
but here's the sound we were able to recover just by analyzing
the tiny motions in that video.
(Music: "Mary Had a Little Lamb")
I call it -- Thank you.
(Applause)
I call it the visual microphone.
We actually extract audio signals from video signals.
And just to give you a sense of the scale of the motions here,
a pretty loud sound will cause that bag of chips
to move less than a micrometer.
That's one thousandth of a millimeter.
That's how tiny the motions are that we are now able to pull out
just by observing how light bounces off objects
and gets recorded by our cameras.
We can recover sounds from other objects, like plants.
(Music: "Mary Had a Little Lamb")
And we can recover speech as well.
So here's a person speaking in a room.
Voice: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
Michael Rubinstein: And here's that speech again recovered
just from this video of that same bag of chips.
Voice: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
MR: We used "Mary Had a Little Lamb"
because those are said to be the first words
that Thomas Edison spoke into his phonograph in 1877.
It was one of the first sound recording devices in history.
It basically directed the sounds onto a diaphragm
that vibrated a needle that essentially engraved the sound on tinfoil
that was wrapped around the cylinder.
Here's a demonstration of recording
and replaying sound with Edison's phonograph.
(Video) Voice: Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
MR: And now, 137 years later,
we're able to get sound in pretty much similar quality
but by just watching objects vibrate to sound with cameras,
and we can even do that when the camera
is 15 feet away from the object, behind soundproof glass.
So this is the sound that we were able to recover in that case.
Voice: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
MR: And of course, surveillance is the first application that comes to mind.
(Laughter)
But it might actually be useful for other things as well.
Maybe in the future, we'll be able to use it, for example,
to recover sound across space,
because sound can't travel in space, but light can.
We've only just begun exploring
other possible uses for this new technology.
It lets us see physical processes that we know are there
but that we've never been able to see with our own eyes until now.
This is our team.
Everything I showed you today is a result of a collaboration
with this great group of people you see here,
and I encourage you and welcome you to check out our website,
try it out yourself,
and join us in exploring this world of tiny motions.
Thank you.
(Applause)
حسناً، خلال القرون القليلة الماضية استطاعت المجاهر ان تحدث ثورة في عالمنا
لقد أظهرت لنا عالماً صغيراً جداً من الأشياء، من الحياة، و من الهياكل
الصغيرة جدا بالنسبة لنا كي نستطيع ان نراها بأعيننا المجردة
انها اسهامات هائلة للعلم و التكنولوجيا
اليوم أود أن اقدم لكم نوع جديد من المجاهر
مجاهر للتغيرات.
انها لا تستخدم البصريات مثل المجاهر العادية
من أجل أن تجعل الأشياء الصغيرة كبيرة
ولكن عوضا عن ذلك تستخدم آلات تصوير فيديو ومعالجة صور
لكي تظهر لنا الحركات الاصغر وتغيرات الالوان في الاشياء والاشخاص،
تغييرات من المستحيل لنا ان نراها بأعيننا المجردة
وتمكننا من ان ننظر الى عالمنا بطريقة جديدة تماما
اذاً ماذا أعني بتغيرات الألوان ؟
جلدنا، مثلاً، يغير لونه بشكل طفيف
عندما تتدفق الدماء تحته.
هذا التغيير هو دقيق جداً،
ولهذا السبب، عندما تنظر لاشخاص آخرون،
عندما تنظر للشخص الذي يجلس أمامك،
انت لا ترى جلدهم او وجههم يغيّر لونه،
عندما نرى هذا الفيديو لـ ستيف هنا، يبدو لنا كأنه صورة ساكنة،
ولكن عندما نرى هذا الفيديو من خلال مجهرنا الجديد المميز،
فجأة نرى صورة مختلفة تماماً.
ما نراه هنا هو تغييرات صغيرة في لون جلد ستيف،
مضخمة مئة مرة حتى تصبح مرئية
نستطيع حقاً ان نرى نبض انساني.
نستطيع ان نرى بأي سرعة ينبض قلب ستيف،
و لكننا نستطيع ايضا ان نرى الطريقة التي يتدفق فيها الدم الى وجهه.
و نستطيع فعل هذا ليس فقط من أجل أن نجعل النبض مرئياً
و لكن ايضاً من اجل استعادة معدل ضربات قلبنا،
و قياس معدل ضربات قلبنا.
و نستطيع فعل هذا بالكاميرات العادية دون لمس المرضى.
اذاً هنا ترون النبض و معدل ضربات القلب الذي استخرجناه من طفل حديث الولادة
من فيديو صورناه عن طريق كاميرا DSLR عادية.
و معدل ضربات القلب الذي حصلنا عليه
يماثل في دقته معدل ضربات القلب الذي يأخذه جهاز الرصد في المستشفى.
و لا يجب حتى ان يكون هذا الفيديو قد تم تصويره عن طريقنا.
نستطيع فعل هذا ايضاً مع فيديوهات أخرى.
لذا أخت مقطع صغير من فيلم "باتمان يبدأ" هنا
فقط لأعرض نبض كريستيان بيل.
(ضحك)
انتم تعلمون، هذا محتمل أنه يضع مساحيق تجميل،
الاضاءة هنا تشكل تحدياً قليلا
بالرغم من هذا، فقط من خلال هذا الفيديو استطعنا ان نستخلص نبضه
و عرضه بشكل جيد.
اذا كيف نستطيع فعل كل هذا؟
نحن نقوم بشكل اساسي بتحليل التغييرات في الضوء و المسجلة
في كل بكسل من الفيديو و طوال الوقت،
و من ثم نفعّل كل تلك التغييرات.
نحن نجعلهم أكبر حتى نستطيع رؤيتهم.
الجزء الصعب هو أن تلك الاشارات،
كل تلك التغييرات التي نحصل عليها، هي دقيقة بشدة،
لذا علينا ان نكون حذرين عندما نحاول فصلها
عن الضجة التي تتواجد دائما في الفيديوهات.
لذا نستخدم بعض التقنيات الذكية لمعالجة الصور
لكي نحصل على قياسات صحيحة للألوان في كل بكسل من الفيديو.
و بعد هذا الطريقة التي يتغير بها اللون عبر الوقت،
و من ثم نقوم بتضخيم تلك التغييرات.
نجعلهم كبر حتى نخلق تلك لأنماط من الفيديوهات الغنية، او الفيديوهات المضخمة،
و التي ترينا حقاً تلك التغييرات.
و لكن على ما يبدو نستطيع فعل هذا ليس فقط لعرض التغييرات الصغيرة في اللون،
و لكن ايضاً للحركات الصغيرة،
و هذا لأن الضوء المسجل في أجهزة تصويرنا
سوف يتغير ليس فقط ان تغير لون الاشياء المتغيرة،
و لكن ايضاً اذا تحركت الاشياء.
هذه ابنتي عندما كانت تبلغ من العمر شهرين.
انه فيديو سجلته منذ ثلاث سنوات مضت.
و كأهل جدد، نحن جميعاً نريد أن نتأكد من أن أطفالنا أصحاء.
انهم يتنفسون، انهم احياء، بالطبع.
لذا انا ايضا املك واحدا من اجهزة مراقبة الاطفال تلك
حتى استطيع ان ارى طفلتي بينما تكون نائمة.
و هذا هو تماما ما ستراه مع اجهزة مراقبة الاطفال العادية.
تستطيع ان ترى الطفل نائماً.
و لكن لا يوجد الكثير من المعلومات هناك.
لا يوجد الكثير مما نستطيع رؤيته.
ألن يكون من الافضل والأغنى بالمعلومات و الاكثر نفعاً
لو بدلا عن ذلك استطعنا رؤية المشهد هكذا.
هنا أخذت الحركات و ضخمتها ثلاثين مرة،
و حينها استطعت الرؤية بوضوح ان ابنتي
كانت بالفعل حيّة و تتنفس.
(ضحك)
هذه مقارنة بينهما جنبا الى جنب.
لذا مجدداً، في الفيديو المصدر، الفيديو الاصلي،
لا يوجد الكثير مما نستطيع رؤيته،
و لكن لحظة تضخيم الحركات، التنفس يصبح اكثر فأكثر ملحوظاً.
و اتضح، أنه يوجد الكثير من الظواهر
التي نستطيع استخلاصها و تضخيمها عن طريق مجاهرنا الحركية الجديدة.
نستطيع ان نرى كيف تنبض شرايننا و اوردتنا في أجسادنا.
نستطيع ان نلاحظ ان عيوننا تتحرك بشكل دائم
في هذه الحركة المتهادية.
و هذه حقيقي عيني انا،
و مجدداً هذا الفيديو تم اخذه مباشرة بعد ولادة ابنتي،
لذا تستطيعون رؤية انني لم اكن نائما بشكل جيد. (ضحك)
حتى عندما يكون الشخص ساكناً
يكون هناك الكثير من المعلومات التي يمكن لنا استخراجها
عن أنماط تنفسهم، و بعض تعابيرهم الوجهية الصغيرة.
ربما يمكن لنا ان نستخدم هذه الحركات
لتقول لنا شيئا ما عن افكارنا و عواطفنا.
و تستطيع ايضا تضخيم بعض الحركات الآلية الصغيرة،
مثل الاهتزازات في المحركات،
التي تساعد المهندسين على كشف و تشخيص المشاكل الآلية،
او رؤية كيف تميل المباني و الهياكل بفعل الريح و ردود فعلها تجاه قوى الطبيعة.
هذه كلها اشياء يستطيع مجتمعنا ان يقيسها بطرق مختلفة،
و لكن قياس تلك الحركات هو شيء،
و رؤية هذه الحركات حقاً و هي تحدث
هو شيء مختلف تماما
و منذ ان اكتشفنا هذه التكنولوجيا الحديثة،
جعلنا الكود متوفر على الانترنت
حتى يستطيع الاخرون استخدامها وتجربتها.
انها بسيطة جدا للاستخدام.
انها تعمل على فيديوهاتنا.
المتعاونين معنا في الابحاث الكمية قاموا بإنشاء هذا الموقع الالكتروني
حيث تستطيع رفع فيديوهاتك و تطبيق هذه التقنية عليهم على الشبكة،
اذاً حتى و اذا كنت لا تملك اي خبرة في علم الحاسوب او البرمجة،
تستطيع بكل سهولة تجربة هذا المجهر الجديد.
و اود ان اعرض عليكم بعض الامثلة
عما استطاع الاخرون فعله بكل هذا.
هذا الفيديو تم صنعه من قبل مستخدم يوتيوب يدعى تامز85.
لا أعلم من هو هذا المستخدم
و لكن هو، او هي، استخدموا القاعدة
لتكبير حركات بطن صغيرة خلال فترة حمل.
انه مريب بعض الشيء.
(ضحك)
استخدمها الناس ليضخموا الاوردة النابضة في ايديهم.
و تعلمون لاعلم حقيقي قبل تجربوه على خنازير غينيا
و على ما يبدو ان هذا الخنزير الغيني يدعى تيفاني.
و مستخدم اليوتيوب هذا يزعم انه القارض الأول على الأرض
الذي تم تضخيمه حركياً.
تستطيع ايضا ان تصنع بعض الفن معه.
هذا الفيديو ارسل الي من قبل طالبة تصميم من جامعة ييل.
ارادت ان ترى ان كان هناك اي اختلاف
في طريقة حركة زملائها.
جعلتهم كلهم ساكنين في مكانهم ثم ضخمت حركاتهم.
يبدوا هذا كبث الروح في الصور الساكنة
و الشيء الجميل في جميع هذه الامثلة
هو انه لم يكن لنا اي يد بهم.
نحن فقط وفرنا هذه الوسيلة الجديدة، طريقة جديدة للنظر الى الحياة،
و من ثم الناس أوجدت طرق جديدة مثيرة ومبدعة في استخدامها.
ولكننا لم نتوقف هناك.
هذه الوسيلة لا تسمح لنا فقط بالنظر الى العالم بطريقة جديدة،
ولكنها تعيد تعريف ما يمكننا فعله
وتتعدى حدود ما يمكننا فعله عن طريق آلات تصويرنا.
لذا كعلماء، بدأنا بالتساؤل،
أي أنماط أخرى من الظواهر الفيزيائية تنتج حركات صغيرة
يمكن لنا ان نستخدم الآن آلات تصوير لقياسها؟
إحدى الظواهر التى ركزنا عليها مؤخرا هي الصوت.
الصوت، كما نعلم جميعا، هو أساسا تغيرات
في ضغط الهواء تسافر عبر الهواء.
موجات الضغط هذه تضرب الاشياء وتخلق اهتزازات صغيرة من حولهم،
وبهذه الطريقة نسمع ونسجل الصوت.
ولكن تبين ان الصوت ينتج ايضاً تحركات بصرية
انها تحركات غير مرئية بالنسبة لنا
ولكنها مرئية لآلة تصوير مع المعالجة المناسبة.
لذا ها هما مثالان.
هذا انا اعرض مواهبي الرائعة في الغناء.
( يغني )
(ضحك)
ثم اخذت فيديو عالي السرعة لحنجرتي وانا اصدر هذا الازيز.
مرة أخرى، اذا حدقت في هذا الفيديو،
لا شيء كثير تستطيع رؤيته،
ولكن عندما نضخم هذه الحركات مئة مرة نستطيع رؤية كل الحركات و التموجات
في الرقبة التي هي مشتركة في اصدار الصوت;
هذه الاشارة هي هناك في هذا الفيديو.
نعلم ايضاً ان المغنين يستطيعون كسر كاس نبيذ
اذا اصابوا النوطة الصحيحة.
لذا، سنقوم بتشغيل نوطة
التي هي في ترددات صدى تلك الكأس
من خلال مكبر صوت يقع جانبها.
عندا نشغل تلك النوطة ونضخم الحركات 250 مرة،
نستطيع بكل وضوح رؤية الكأس يهتز
ويصدر صدى متجاوبا مع الصوت.
انه ليس شيئا انت معتاد على رؤيته كل يوم.
بالحقيقة، لدينا النسخة التجريبية موجودة في الخارج،
لذا اشجعكم ان تمروا عليها،
و تجربونها بأنفسكم، تستطيعون حقا رؤيتها مباشرة.
لكن هذا جعلنا نفكر، منحنا هذه الفكرة المجنونة.
هل يمكننا حقا قلب هذه العملية والحصول على الصوت من خلال فيديو
من خلال تحليل الاهتزازات الصغيرة التي تخلقها موجات الاصوات في الاشياء،
وتحويل هذه الموجات الى الاصوات التي انتجتهم.
بهذه الطريقة، نستطيع تحويل الأشياء اليومية الى مكبرات صوت.
لذا هذا هو تماماً ما فعلناه.
لذا هذا كيس فارغ من رقائق البطاطا كان ملقى على الطاولة،
وسوف نقوم بتحويل هذا الكيس الى مكبر صوت
عن طريق تصويره بآلة تصوير فيديو
وتحليل التحركات الصغيرة التي تشكلها تموجات الصوت فيه.
لذا ها هو الصوت الذي شغلناه في تلك الغرفة.
( موسيقا: "كان لدى ماري حمل" )
وهذا فيديو عالي السرعة سجلناه عن كيس البطاطا.
مرة أخرى نشغله.
لا يوجد اي احتمال ان تستطيع رؤية اي مما يحدث في هذا الفيديو
فقط عن طريق مشاهدته.
ولكن هذا هو الصوت الذي استطعنا استرداده فقط بتحليل
الحركات الصغيرة في ذلك الفيديو.
(موسيقا:"كان لدى ماري حمل")
انا ادعوها -- شكراً لكم.
(تصفيق)
ادعوها مكبر الصوت البصري.
لقد استخلصنا اشارات صوتية من اشارات فيديو.
وفقط كي اعطيكم لمحة عن حجم الحركات هنا،
صوت عال جدا سوف يجعل كيس البطاطا
يتحرك اقل من ميكرومتر.
وهذا واحد من الف من اصل مليمتر واحد.
هذا هو مقدار صغر الحركات التي اصبحنا اليوم قادرين على سحبها
فقط بمراقبة انعكاس الضوء على الاشياء
ويتم تسجيله عن طريق كاميراتنا.
نستطيع استعادة الاصوات عن طريق اشياء اخرى، كالنباتات.
(موسيقى : "كان لدى ماري حمل")
ونستطيع استعادة الاحاديث ايضا.
هذا شخص يتحدث في غرفة.
صوت: كان لدى ماري حمل وكان صوفه ابيض كالثلج،
واينما ذهبت ماري، كان ذلك الحمل يذهب ايضاً.
مايكل روبنستين: وهاهو الحديث استطعنا استخلاصه مرة أخرى
فقط من خلال هذا الفيديو عن كيس البطاطا نفسه.
صوت: كان لدى ماري حمل وكان صوفه ابيض كالثلج،
واينما ذهبت ماري، كان ذلك الحمل يذهب ايضاً.
مايكل روبنستين: استخدمنا "كان لدى ماري حمل"
لأنه يقال ان هذه كانت الكلمات الاولى
التي نطق بها توماس اديسون في جهاز الفونوغراف عام 1877.
وهو واحد من اوائل اجهزة تسجيل الصوت في التاريخ.
يقوم بشكل اساسي باعادة توجيه الصوت الى غشاء
يقوم بهز ابرة تقوم بنقش الصوت على ورق المونيوم
يكون ملفوف حول الاسطوانة.
وهذه تجربة لتسجيل
واعادة تشغيل الصوت مع فونوغراف اديسون.
(فيديو) صوت: تجربة، تجربة، واحد اثنان ثلاثة.
كان لدى ماري حمل وكان صوفه ابيض كالثلج،
واينما ذهبت ماري، كان ذلك الحمل يذهب ايضاً.
تجربة، تجربة، واحد اثنان ثلاثة.
كان لدى ماري حمل وكان صوفه ابيض كالثلج،
واينما ذهبت ماري، كان ذلك الحمل يذهب ايضاً.
مايكل روبنستين: والآن، بعد 137 سنة،
نحن قادرون على استخلاص الصوت بجودة مماثلة تقريبا
ولكن فقط من خلال مشاهدة الاشياء تهتز للاصوات مع الكاميرات،
ونستطيع فعل هذا حتى لو كانت الكاميرا
على بعد 15 قدم من الشيء، وخلف زجاج عازل للصوت.
ها هو الصوت الذي استطعنا استرداده في تلك الحالة.
صوت: كان لدى ماري حمل وكان صوفه ابيض كالثلج،
واينما ذهبت ماري، كان ذلك الحمل يذهب ايضاً.
مايكل روبنستين: وبالطبع، المراقبة هي اول تطبيق يفكر فيه العقل.
(ضحك)
ولكن هذا قد يكون مفيدا لأشياء أخرى ايضاً.
ربما في المستقبل، سوف نكون قادرين على استخدامها، مثلا،
لاستعادة الصوت عبر الفضاء.
لأن الصوت لا يستطيع السفر في الفضاء، لكن الضوء يستطيع ذلك.
لقد بدأنا تواً فقط إكتشاف
استخدامات اخرى ممكنة لهذه التكنولوجيا الجديدة.
انها تمكننا ان نرى عمليات فيزيائية نعلم انها موجودة
ولكن لم نكن قادرين على رؤيتها بأعيننا المجردة حتى الآن.
هذا هو فريقنا.
كل شيء عرضته عليكم اليوم هو نتيجة تعاون
هذه المجموعة الرائعة من الاشخاص الذين ترونهم هنا
وأشجعكم وأرحب بكم لتفقد موقعنا الالكتروني،
جربها بنفسك،
وشاركنا في اكتشاف هذا العالم من الحركات الصغيرة.
شكرا لكم
(تصفيق)
Στους προηγούμενους αιώνες
τα μικροσκόπια άλλαξαν ριζικά τον κόσμο μας.
Μας φανέρωσαν έναν μικρόκοσμο αντικειμένων, ζωής και δομών
που είναι υπερβολικά μικρά για να τα δούμε με γυμνό μάτι.
Αποτελούν τεράστια συμβολή στην επιστήμη και την τεχνολογία.
Σήμερα θέλω να σας παρουσιάσω ένα νέο είδος μικροσκοπίου,
ένα μικροσκόπιο προβολής αλλαγών.
Δε βασίζεται στους φακούς, όπως τα κανονικά μικροσκόπια,
για να μεγεθύνει τα μικρά πράγματα,
αλλά μέσω μιας βιντεοκάμερας και επεξεργασίας εικόνας
μας φανερώνει μικροσκοπικές κινήσεις
και αλλαγές χρώματος πραγμάτων και ανθρώπων,
που είναι αδύνατο να διακρίνουμε δια γυμνού οφθαλμού.
Μας επιτρέπει να δούμε τον κόσμο μας από εντελώς νέα προοπτική.
Τι εννοώ λέγοντας αλλαγές χρωματισμού;
Για παράδειγμα, το δέρμα μας αλλάζει ελαφρά χρώμα
όταν το αίμα ρέει κάτω από αυτό.
Αυτή η αλλαγή είναι εκπληκτικά αδιόρατη,
γι' αυτό όταν κοιτάζετε άλλους ανθρώπους,
όταν κοιτάζετε τον διπλανό σας,
δε βλέπετε το δέρμα ή το πρόσωπό του ν' αλλάζει χρώμα.
Βλέποντας τον Στιβ σ' αυτό το βίντεο, μοιάζει σαν μια στατική εικόνα,
αλλά όταν δούμε το βίντεο μέσα από το νέο ειδικό μικροσκόπιο
ξαφνικά βλέπουμε μια εντελώς διαφορετική εικόνα.
Εδώ βλέπετε μικρές αλλαγές στο χρώμα του δέρματος του Στιβ,
μεγαλωμένες 100 φορές ώστε να γίνουν ορατές.
Μπορούμε πραγματικά να δούμε τον ανθρώπινο παλμό.
Μπορούμε να δούμε πόσο γρήγορα χτυπάει η καρδιά του,
αλλά και τον πραγματικό τρόπο που το αίμα ρέει στο πρόσωπό του.
Και θα το κάνουμε όχι μόνο για να οπτικοποιήσουμε τον σφυγμό,
αλλά και για να βρούμε τελικά την καρδιακή μας συχνότητα,
να μετρήσουμε την καρδιακή μας συχνότητα.
Μπορούμε να το κάνουμε με απλές κάμερες και χωρίς να ακουμπήσουμε τον ασθενή.
Εδώ βλέπετε τον σφυγμό και την καρδιακή συχνότητα ενός νεογέννητου μωρού
από βίντεο που τραβήξαμε με μια κανονική DSLR κάμερα
και η τιμή μέτρησης που παίρνουμε
είναι το ίδιο ακριβής όσο αυτή από το κανονικό όργανο σε ένα νοσοκομείο.
Και δε χρειάζεται να είναι βίντεο που τραβήξαμε εμείς.
Μπορούμε να το κάνουμε και με άλλα βίντεο.
Έτσι πήρα ένα απόσπασμα από την ταινία του Μπάτμαν
απλά για να δείξω τον σφυγμό του Κρίστιαν Μπέιλ.
(Γέλια)
Πιθανότατα είναι μακιγιαρισμένος
και ο φωτισμός δε διευκολύνει,
και όμως, μόνο από το βίντεο, μπορούμε να πάρουμε τον σφυγμό
και να τον δείξουμε αρκετά καλά.
Πώς τα καταφέραμε αυτά;
Βασικά αναλύουμε τις αλλαγές χρωματισμού στο καταγεγραμμένο φως
σε κάθε εικονοστοιχείο σε όλη τη διάρκεια του βίντεο
και μετά ενισχύουμε τις αλλαγές.
Τις μεγαλώνουμε ώστε να μπορούμε να τις δούμε.
Το δύσκολο σημείο είναι ότι αυτά τα σήματα,
οι αλλαγές που αναζητάμε είναι σχεδόν αδιόρατες,
έτσι πρέπει να είμαστε πολύ προσεκτικοί στον διαχωρισμό από τον θόρυβο
που πάντα υπάρχει στα βίντεο.
Με κάποιες έξυπνες τεχνικές επεξεργασίας εικόνας
παίρνουμε ακριβή μέτρηση του χρώματος κάθε εικονοστοιχείου στο βίντεο,
μετά τον τρόπο που αλλάζει το χρώμα κατά τη διάρκεια
και κατόπιν ενισχύουμε τις αλλαγές.
Τις μεγαλώνουμε για να φτιάξουμε αυτά τα ενισχυμένα ή μεγεθυμένα βίντεο
που όντως δείχνουν αυτές τις αλλαγές.
Αλλά τελικά μπορούμε να το κάνουμε όχι μόνο για τις μικρές αλλαγές στο χρώμα
αλλά επίσης για μικροσκοπικές κινήσεις,
και αυτό επειδή το φως που καταγράφεται από την κάμερα
αλλάζει, όχι μόνο με την αλλαγή χρώματος του αντικειμένου
αλλά επίσης με την κίνησή του.
Αυτή ήταν η κόρη μου όταν ήταν περίπου δύο μηνών.
Είναι βίντεο που τράβηξα πριν τρία χρόνια.
Κι ως νέοι γονείς, θέλουμε να είμαστε σίγουροι ότι τα μωρά μας είναι υγιή,
ότι αναπνέουν, ότι είναι ζωντανά, φυσικά.
Έτσι πήρα κι εγώ μια οθόνη μωρού
για να βλέπω την κόρη μου όταν κοιμόταν.
Κάτι τέτοιο βλέπετε με μια κοινή οθόνη μωρού.
Μπορείτε να δείτε το μωρό να κοιμάται,
αλλά όχι πολλά περισσότερα.
Δεν υπάρχει και κάτι να δείτε.
Δε θα ήταν καλύτερα, πιο ενημερωτικό και πιο χρήσιμο,
αν μπορούσαμε να βλέπουμε κάτι τέτοιο.
Εδώ πήρα τις κινήσεις και τις ενίσχυσα κατά 30 φορές,
και τότε μπορούσα ξεκάθαρα να δω
ότι η κόρη μου όντως ζούσε και ανέπνεε.
(Γέλια)
Δείτε τα παράλληλα.
Ξανά λοιπόν, στο αρχικό βίντεο
δεν μπορείτε να δείτε πολλά,
αλλά αφού μεγεθύνουμε την κίνηση, η αναπνοή γίνεται πολύ πιο ορατή.
Έτσι είναι πολλά τα φαινόμενα
που φανερώνουμε και μεγεθύνουμε με το νέο μικροσκόπιο κίνησης.
Βλέπουμε τις φλέβες και τις αρτηρίες να πάλλονται μέσα στο σώμα μας.
Βλέπουμε ότι τα μάτια μας κινούνται συνεχώς
σε αυτήν την ταλαντευόμενη κίνηση.
Αυτό είναι το δικό μου μάτι,
και αυτό το βίντεο τραβήχτηκε μετά τη γέννηση της κόρης μου,
έτσι βλέπετε ότι δεν κοιμόμουν και πολύ. (Γέλια)
Ακόμη και όταν κάποιος κάθεται ακίνητος,
μπορούμε να εξάγουμε πολλές πληροφορίες
για το ρυθμό αναπνοής, μικρές εκφράσεις του προσώπου.
Ίσως μέσα από αυτές τις κινήσεις
να μάθουμε κάτι για τις σκέψεις και τα αισθήματά μας.
Μπορούμε επίσης να μεγεθύνουμε μικρές μηχανικές κινήσεις,
όπως τις δονήσεις μηχανών,
που θα βοηθήσουν τους μηχανικούς να διαγνώσουν μηχανικά προβλήματα.
Ή να δουν την ταλάντευση κτιρίων και δομών από τον άνεμο ή άλλες δυνάμεις.
Είναι όλα πράγματα που ξέρουμε ήδη να μετράμε με διάφορους τρόπους,
αλλά το να μετράς μια κίνηση,
και το να βλέπεις την κίνηση σε εξέλιξη,
είναι τελείως διαφορετικά πράγματα.
Από τότε που ανακαλύψαμε αυτή τη νέα τεχνολογία
κάναμε τον κώδικα διαθέσιμο στο διαδίκτυο
ώστε και άλλοι να μπορέσουν να πειραματιστούν με αυτόν.
Είναι πολύ απλός στη χρήση.
Δουλεύει και στα δικά σας βίντεο.
Οι συνεργάτες μας στο περιοδικό Quantum Research διαθέτουν ιστότοπο
όπου μπορείς να μεταφορτώσεις βίντεο και να το επεξεργαστείς,
έτσι και χωρίς εμπειρία σε πληροφορική ή προγραμματισμό,
μπορείς εύκολα να πειραματιστείς με το νέο μικροσκόπιο.
Θα σας δείξω μερικά παραδείγματα
του πώς το χρησιμοποίησαν κάποιοι.
Αυτό είναι βίντεο από χρήστη του YouTube που λέγεται Tamez85.
Δεν τον γνωρίζω,
αλλά αυτός ή αυτή χρησιμοποίησε τον κώδικα
για να μεγεθύνει μικρές κινήσεις της κοιλιάς κατά την κύηση.
Είναι λιγάκι ανατριχιαστικό.
(Γέλια)
Κάποιοι μεγέθυναν παλλόμενες φλέβες στα χέρια τους.
Και φυσικά δεν κάνεις επιστήμη χωρίς ινδικά χοιρίδια.
Έτσι αυτό το ινδικό χοιρίδιο είναι η Τίφανι,
και ο χρήστης του Youtube ισχυρίζεται ότι είναι το πρώτο τρωκτικό
στο οποίο εφαρμόστηκε μεγέθυνση κίνησης.
Μπορείς να κάνεις και τέχνη με αυτό.
Αυτό το βίντεο στάλθηκε από φοιτήτρια σχεδίου του Γέιλ.
Ήθελε να διαπιστώσει αν υπάρχει διαφορά
στο πώς κινούνται οι συμφοιτητές της.
Τους έβαλε να σταθούν όλοι ακίνητοι και μετά μεγέθυνε τις κινήσεις τους.
Είναι σαν να βλέπεις σταθερές εικόνες να ζωντανεύουν.
Το ωραίο με όλα αυτά τα παραδείγματα
είναι ότι δεν έχουν καμία σχέση μ' εμάς.
Εμείς απλά διαθέσαμε αυτό το νέο εργαλείο, έναν νέο τρόπο να δούμε τον κόσμο,
και κατόπιν οι άνθρωποι βρήκαν νέες, ενδιαφέρουσες και δημιουργικές χρήσεις.
Αλλά δεν σταματήσαμε εκεί.
Με αυτό το εργαλείο, όχι μόνο βλέπεις τον κόσμο αλλιώς,
αλλά επίσης εκτείνει τις δυνατότητές μας
και διευρύνει τα όρια του τι μπορούμε να κάνουμε με μια κάμερα.
Έτσι ως επιστήμονες, αρχίσαμε να αναρωτιόμαστε
ποια άλλα είδη φυσικών φαινομένων παράγουν μικροκινήσεις
που θα μπορούσαμε πλέον να μετρήσουμε με μια κάμερα;
Ένα φαινόμενο στο οποίο πρόσφατα εστιάσαμε είναι ο ήχος.
Ξέρουμε ότι ο ήχος είναι αλλαγές στην ατμοσφαιρική πίεση
που ταξιδεύουν μέσω του αέρος.
Τα κύματα πίεσης προσκρούουν σε αντικείμενα και προκαλούν δονήσεις,
και έτσι ακούμε και καταγράφουμε τον ήχο.
Ο ήχος, όμως, προφανώς παράγει επίσης οπτικές κινήσεις.
Είναι κινήσεις αόρατες μεν σ' εμάς
αλλά με τη σωστή επεξεργασία είναι ορατές σε μια κάμερα.
Παραθέτω δύο παραδείγματα.
Ο υποφαινόμενος επιδεικνύω τα ωδικά μου προσόντα.
(Τραγούδι)
(Γέλια)
Τράβηξα υψηλής ταχύτητας βίντεο τον λάρυγγά μου ενώ μουρμούριζα.
Επαναλαμβάνω ότι, και να δείτε το βίντεο
δεν θα μπορέσετε να δείτε και πολλά,
αλλά αφού το μεγεθύνουμε επί 100 μπορούμε να δούμε κινήσεις και κυματισμούς
στον λαιμό που έχουν σχέση με την παραγωγή του ήχου.
Το σήμα βρίσκεται μέσα στο βίντεο.
Επίσης ξέρουμε ότι ο τραγουδιστής μπορεί να σπάσει ποτήρι
με τη σωστή νότα.
Εδώ θα παίξουμε μια νότα
που είναι στη συχνότητα αντήχησης εκείνου του ποτηριού,
από ένα ηχείο δίπλα σε αυτό.
Όταν παίξουμε τη νότα και τη μεγεθύνουμε 250 φορές
μπορούμε να δούμε καθαρά πώς δονείται το ποτήρι
και αντηχεί ανάλογα με τον ήχο.
Δεν είναι κάτι που βλέπεις καθημερινά.
Και έχουμε αναρτήσει μια δοκιμαστική έκδοση
και σας ενθαρρύνω να το επισκεφτείτε,
να παίξετε με αυτό, και να το δείτε στην πράξη.
Αλλά μας έβαλε σε σκέψεις.
Μας έδωσε μια εξωφρενική ιδέα.
Μπορούμε να αναστρέψουμε τη διαδικασία και να ανακτήσουμε τον ήχο από το βίντεο
αναλύοντας τις μικροδονήσεις που προκαλούν τα ηχητικά κύματα πάνω στα αντικείμενα
και κατ' ουσίαν να τις μετατρέψουμε πάλι στον ήχο που τις προκάλεσε.
Έτσι μπορούμε να μετατρέψουμε καθημερινά αντικείμενα σε μικρόφωνα.
Και αυτό ακριβώς κάναμε.
Εδώ είναι ένα άδειο σακουλάκι από τσιπς που βρισκόταν στο τραπέζι,
και εμείς θα το μετατρέψουμε σε μικρόφωνο
καταγράφοντάς το με βιντεοκάμερα,
και αναλύοντας τις μικροκινήσεις που τα ηχητικά κύματα προκαλούν σε αυτό.
Ορίστε και ο ήχος που παίξαμε στο δωμάτιο.
(Μουσική: «Αρνάκι άσπρο και παχύ»)
Αυτό είναι το υψηλής ταχύτητας βίντεο με το σακουλάκι των τσιπς.
Παίζει ξανά.
Δεν υπάρχει περίπτωση να δείτε να συμβαίνει κάτι στο βίντεο
απλά κοιτώντας το,
αλλά εδώ είναι ο ήχος που μπορέσαμε να ανακτήσουμε
αναλύοντας τις μικροκινήσεις στο βίντεο.
(Μουσική: «Αρνάκι άσπρο και παχύ»)
Εγώ το λέω -- Ευχαριστώ.
(Χειροκρότημα)
Εγώ το λέω οπτικό μικρόφωνο.
Ουσιαστικά εξάγουμε ηχητικά σήματα μέσα από οπτικά σήματα.
Και για να αντιληφθείτε το μέγεθος της κίνησης εδώ,
ένας πολύ δυνατός ήχος θα κινήσει το σακουλάκι
λιγότερο από ένα μικρόμετρο.
Είναι το ένα εκατομμυριοστό του μέτρου.
Τόσο μικροσκοπικές είναι οι κινήσεις που μπορούμε πλέον να εξάγουμε
απλά παρατηρώντας πώς το φως αναπηδά στα αντικείμενα
και καταγράφεται στην κάμερα.
Μπορούμε να ανακτήσουμε ήχο από άλλα αντικείμενα, όπως τα φυτά.
(Μουσική: «Αρνάκι άσπρο και παχύ»)
Ανακτούμε επίσης και λόγο.
Εδώ ένας άνθρωπος μιλάει μέσα σ' ένα δωμάτιο.
Φωνή: Αρνάκι άσπρο και παχύ, της μάνας του καμάρι,
εβγήκε εις την εξοχή, και στο χλωρό χορτάρι.
Μάικλ Ρουμπινστάιν: Και πάλι ο ήχος που ανακτήθηκε
μέσω βίντεο από το ίδιο σακουλάκι των τσιπς.
Φωνή: Αρνάκι άσπρο και παχύ, της μάνας του καμάρι,
εβγήκε εις την εξοχή, και στο χλωρό χορτάρι.
ΜΡ: Χρησιμοποιήσαμε το «Αρνάκι»
επειδή υποτίθεται ότι ήταν τα πρώτα λόγια
που είπε ο Τόμας Έντισον στον φωνογράφο το 1877.
Ήταν μια από τις πρώτες συσκευές καταγραφής ήχου στην ιστορία.
Βασικά κατεύθυνε τους ήχους σ' ένα διάφραγμα
το οποίο δονούσε μια βελόνα που χάραζε τον ήχο πάνω σε αλουμινόχαρτο
τυλιγμένο γύρω από έναν κύλινδρο.
Μια επίδειξη καταγραφής και αναπαραγωγής ήχου
με τον φωνογράφο του Έντισον.
(Βίντεο) Φωνή: Δοκιμή, δοκιμή, ένα δύο τρία.
Αρνάκι άσπρο και παχύ, της μάνας του καμάρι,
εβγήκε εις την εξοχή, και στο χλωρό χορτάρι.
Δοκιμή, δοκιμή, ένα δύο τρία.
Αρνάκι άσπρο και παχύ, της μάνας του καμάρι,
εβγήκε εις την εξοχή, και στο χλωρό χορτάρι.
ΜΡ: Σήμερα, μετά από 137 χρόνια,
μπορούμε να έχουμε ήχο παρόμοιας ποιότητας
αλλά απλά παρακολουθώντας με κάμερα αντικείμενα που πάλλονται λόγω του ήχου,
ακόμη κι αν η κάμερα είναι 15 μέτρα μακριά
και πίσω από ηχομονωτικό τζάμι.
Αυτό τον ήχο καταφέραμε να πάρουμε σ' αυτή την περίπτωση.
Φωνή: Αρνάκι άσπρο και παχύ, της μάνας του καμάρι,
εβγήκε εις την εξοχή, και στο χλωρό χορτάρι.
ΜΡ: Και φυσικά η παρακολούθηση είναι η πρώτη εφαρμογή που σκεφτόμαστε.
(Γέλια)
Μπορεί όμως να χρησιμεύσει και σε άλλα πράγματα.
Ίσως στο μέλλον να μπορέσουμε να το χρησιμοποιήσουμε
για να ανακτήσουμε ήχο διαμέσου του διαστήματος,
επειδή ο ήχος δεν ταξιδεύει στο διάστημα, αλλά το φως ταξιδεύει.
Μόλις αρχίσαμε να εξερευνούμε
άλλες πιθανές χρήσεις αυτής της νέας τεχνολογίας.
Μας επιτρέπει να δούμε φυσικές διεργασίες που ξέρουμε ότι υπάρχουν,
αλλά δεν μπορούσαμε έως τώρα να δούμε με τα μάτια μας.
Αυτή είναι η ομάδα μας.
Όλα όσα είδατε σήμερα είναι προϊόν συνεργασίας
της θαυμάσιας ομάδας ανθρώπων που βλέπετε εδώ,
και σας προσκαλώ και παρακινώ να επισκεφτείτε τον ιστοχώρο μας,
να το δοκιμάσετε και οι ίδιοι
και μαζί μας να εξερευνήσετε τον κόσμο της μικροκίνησης.
Σας ευχαριστώ.
(Χειροκρότημα)
En los últimos siglos, los microscopios han revolucionado nuestro mundo.
Nos han revelado un diminuto mundo de objetos, vidas y estructuras,
que son muy pequeños para verlos a simple vista.
Una enorme contribución a la ciencia y la tecnología.
Hoy quisiera presentarles un nuevo tipo de microscopio,
un microscopio de cambios.
No usa la óptica de un microscopio ordinario
para agrandar objetos pequeños,
sino una cámara de video y procesamiento de imágenes
para revelar cambios de color y movimientos
diminutos en personas y objetos,
cambios que serían imposibles de ver a simpe vista.
Nos permite ver nuestro mundo de una forma completamente nueva.
¿Qué quiero decir con cambios de color?
Nuestra piel, por ejemplo, cambia de color muy ligeramente,
cuando la sangre fluye por ella.
Ese cambio es increíblemente sutil,
por eso cuando ven a los demás,
cuando ven a la persona sentada junto a Uds.
no ven que su piel o su cara cambie de color.
Cuando vemos este video de Steve, nos parece una imagen estática.
Pero cuando lo vemos mediante nuestro nuevo microscopio especial
repentinamente vemos una imagen completamente diferente.
Lo que ven aquí son los leves cambios de color de la piel de Steve,
magnificados 100 veces para hacerlos visibles.
De hecho vemos el pulso humano.
Podemos ver la frecuencia del pulso de Steve,
y también cómo fluye la sangre en su cara.
Podemos hacer eso no sólo para ver el pulso
sino para recuperar el ritmo cardiaco y medirlo.
Y lo podemos hacer con cámaras comunes sin tocar a los pacientes.
Aquí vemos el pulso y ritmo cardiaco de un bebé recién nacido
a partir de un video que tomamos con una cámara DSLR común
y la medición obtenida del ritmo cardiaco
es tan precisa como la que se obtiene de un monitorio estándar de hospital
y ni siquiera tiene que ser un video grabado por nosotros.
En esencia podemos hacerlo con otros videos también.
Tomé una secuencia de "Batman inicia"
sólo para mostrar el pulso de Christian Bale.
(Risas)
Es de suponer que tiene maquillaje,
la luz aquí lo dificulta;
aun así, del video, pudimos extraer su pulso
y se muestra bastante bien.
¿Cómo lo hacemos?
Analizamos los cambios de luz que se registran
en cada pixel del video en el tiempo
y luego empalmamos esos cambios.
Los magnificamos para poder verlos.
El truco es que esas señales,
esos cambios que buscamos son en extremo sutiles,
por eso debemos ser cuidadosos al separarlos.
del ruido que siempre hay en los videos.
Así que usamos técnicas de procesamiento ingeniosas
para obtener mediciones precisas del color de cada pixel en el video
y la forma como cambia el color con el tiempo
para luego amplificar esos cambios.
Los agrandamos para crear videos realzados o magnificados,
que en efecto nos muestran esos cambios.
Pero resulta que podemos hacer eso no sólo para cambios leves de color,
sino también para movimientos leves,
y eso se debe a que la luz grabada por nuestras cámaras,
cambiará no sólo si el color del objeto cambia,
sino también cuando el objeto se mueve.
Esta es mi hija cuando tenía dos meses de edad.
Es un video que grabé hace tres años.
Como todo padre primerizo, queremos saber que nuestros bebés están bien,
que están respirando y que están vivos, claro está.
Así que también teníamos uno de esos monitores de bebé
para poder ver a mi hija cuando dormía.
Y esto es lo que verían con un monitor de bebé estándar.
Pueden ver al bebé durmiendo
y no hay mucha más información.
No hay mucho que podamos ver.
¿No sería mejor o más útil o más informativo
si en cambio pudiéramos ver esto?
Grabé estos movimientos y los magnifiqué 30 veces.
Y puedo ver claramente que mi hija
en efecto está viva y respirando.
(Risas)
Aquí tienen una comparación en paralelo
del video fuente, el video original,
en el que no hay mucho que podamos ver;
pero una vez magnificados, la respiración se hace más visible.
Y resulta que hay muchos fenómenos
que podemos revelar y magnificar con nuestro microscopio de movimiento.
Podemos ver cómo pulsan nuestras venas y arterias del cuerpo,
que nuestros ojos están en movimiento constante
en este movimiento tembloroso.
Y ese es de hecho mi ojo
y este video fue tomado justo después de que nació mi hija;
pueden ver que no había dormido mucho. (Risas)
Incluso si una persona está quieta,
hay mucha información que podemos extraer
sobre sus patrones de respiración, leves expresiones faciales.
Quizá pudiéramos usar esos movimientos
para que nos digan algo de nuestros pensamientos y emociones.
También podemos magnificar movimientos mecánicos diminutos
como las vibraciones en máquinas
que pueden servir para detectar problemas mecánicos
o ver cómo edificios y estructuras reaccionan con el viento o fuerzas.
Todas ellas son mediciones que hacemos de varias formas,
pero medir esos movimientos es una cosa
y en efecto verlos cuando ocurren
es algo totalmente diferente.
Desde que descubrimos esta nueva tecnología,
pusimos nuestro software a disposición en línea
para que otros puedan usarla y experimentar con ella.
Es muy sencilla de usar.
Puede funcionar con sus propios videos.
Nuestros colaboradores en Quantum Research
incluso crearon este sitio web
donde pueden subir sus videos y procesarlos en línea.
Así, aunque no tengan experiencia en programación,
pueden fácilmente experimentar con este nuevo microscopio.
Quisiera mostrarles un par de ejemplos
de lo que otros han hecho con él.
Este video lo hizo para YouTube, el usuario Tamez85,
a quien no conozco,
pero él o ella usó nuestro código
para magnificar los leves movimientos del vientre durante el embarazo.
Es un poco escalofriante.
(Risas)
La gente lo ha usado para magnificar las venas de sus manos.
No es ciencia real a menos de que usen conejillos de indias
y aparentemente este conejillo de indias se llama Tiffany.
Y este usuario de YouTube afirma que es el primer roedor
del planeta cuyo movimiento ha sido magnificado.
También pueden hacer arte.
Este video me lo envió una estudiante de diseño de Yale.
Quiso ver si había diferencias
en los movimientos de sus compañeros de clase.
Les pidió que estuvieran quietos y luego magnificó sus movimientos.
Es como ver fotos fijas que toman vida.
Lo agradable de todos estos ejemplos
es que no tenemos nada que ver con ellos.
Sólo ofrecimos una nueva herramienta, una forma nueva de ver el mundo
y la gente encuentra formas nuevas, creativas e interesantes de usarla.
Pero no nos quedamos ahí.
Esta herramienta no sólo nos permite ver el mundo de una nueva manera
también redefine lo que podemos hacer
y estrecha los límites de lo que podemos hacer con nuestras cámaras.
Como científicos nos empezamos a preguntar,
¿qué otros fenómenos físicos producen movimientos diminutos
que podamos ahora medir con nuestras cámaras?
Uno de esos fenómenos al que nos enfocamos es el sonido.
El sonido, como sabemos, es en esencia
cambios en la presión de aire que viaja por el aire.
Esas ondas de presión golpean objetos y crean diminutas vibraciones
que es como escuchamos y grabamos el sonido.
Pero resulta que el sonido también produce movimientos visuales
que no son visibles para nosotros,
pero sí para una cámara con el procesamiento correcto.
He aquí dos ejemplos.
Aquí estoy demostrando mis aptitudes de canto.
(Cantando)
(Risas)
Tomé un video en alta velocidad de mi garganta mientras tarareaba.
Si miran fijamente el video
no hay mucho que puedan ver,
pero al magnificarlo 100 veces, vemos los movimientos
y ondulaciones involucrados del cuello al producir sonido.
Esa señal está ahí en el video.
También sabemos que los cantantes pueden romper una copa de vino,
si dan la nota correcta.
Aquí tocaremos una nota
en la frecuencia de resonancia de esta copa
con un parlante a un lado.
Tocamos la nota y magnificamos el movimiento 250 veces.
Podemos ver claramente cómo vibra la copa
y resuena en respuesta al sonido.
No es algo que se suela ver a diario.
Instalamos una demo justo afuera,
así que los animo a que pasen,
que jueguen Uds. mismos para que lo vean en vivo.
Pero esto nos hizo reflexionar en una idea loca.
¿Podemos invertir este proceso y recuperar sonido del video
analizando las diminutas vibraciones que las ondas sonoras crean en objetos
y convertirlos de vuelta en los sonidos que los produjeron?
De esta forma podemos convertir objetos cotidianos en micrófonos.
Y eso hicimos exactamente.
Esta es una bolsa vacía de papas sobre una mesa
y convertiremos esta bolsa de papas en un micrófono
filmándola con una cámara de video
y analizando los leves movimientos que las ondas sonoras hacen.
Este es el sonido que tocamos.
(Música: "María tenía un corderito")
Este es un video a alta velocidad grabado de esa bolsa de papas.
Otra vez, está tocando.
No hay forma de que puedan ver que suceda algo en ese video
con sólo mirarlo,
pero este es el sonido que pudimos recuperar analizando
los leves movimientos del video.
(Música: "María tenía un corderito")
Le llamo... gracias.
(Aplausos)
Le llamo el micrófono visual.
De hecho extraemos señales de audio de las señales de video.
Sólo para darles un sentido de la escala del movimiento,
un sonido fuerte hará que esa bolsa de papas
se mueva menos de un micrómetro,
esto es una milésima de un milímetro.
Así de pequeños son los movimientos que ahora podemos sacar
con tan solo observar los rebotes de luz en los objetos
que grabamos con nuestras cámaras.
Podemos recuperar sonidos de otros objetos como plantas.
(Música: "María tenía un corderito")
Lo mismo que el habla.
Esta es una persona hablando.
Voz: María tenía un corderito cuya lana era blanca como la nieve
y adonde fuera María, el corderito seguro la seguía.
Michael Rubinstein: Y aquí tienen esa alocución recuperada
de este video con la misma bolsa de papas.
Voz: María tenía un corderito, cuya lana era blanca como la nieve
y adonde fuera María, el corderito seguro la seguía.
MR: Usamos "María tenía un corderito",
porque se dice que esas fueron las primeras palabras
que Tomás Edison dijo con su fonógrafo en 1877.
Ese fue uno de los primeros dispositivos de grabación de sonido de la historia.
Básicamente dirige el sonido a un diafragma,
que hace vibrar una aguja que graba el sonido en papel estaño
enrollado en un cilindro.
Esta es una demostración de grabación
y reproducción de sonido con el fonógrafo de Edison.
(Video) Voz: Probando, probando, uno, dos tres.
María tenía un corderito cuya lana era blanca como la nieve
y adonde fuera María, el corderito seguro la seguía.
Probando, probando, uno, dos tres.
María tenía un corderito cuya lana era blanca como la nieve
y adonde fuera María, el corderito seguro la seguía.
MR: Y ahora, 137 años después,
podemos obtener sonido con una calidad bastante similar
tan solo mirando objetos que vibran con el sonido usando cámaras
e incluso podemos hacerlo con la cámara
a casi 5 metros del objeto detrás de un vidrio insonorizado.
Este es el sonido que pudimos recuperar en este caso.
Voz: María tenía un corderito cuya lana era blanca como la nieve
y adonde fuera María, el corderito seguro la seguía.
MR: Claro está que la vigilancia es la primera aplicación que imaginamos.
(Risas)
Pero quizá también sería útil para otras cosas.
Quizá en el futuro, podamos usarlo por ejemplo,
para recuperar sonido del espacio
porque el sonido no puede viajar en el espacio, pero sí la luz.
Apenas estamos explorando
otros posibles usos para esta nueva tecnología.
Nos permite ver procesos físicos que conocemos,
pero que nunca hemos podido verlos con nuestros propios ojos hasta ahora.
Este es nuestro equipo.
Todo lo mostrado hoy es resultado de una colaboración
con este grandioso equipo de gente que ven aquí.
Son bienvenidos a visitar nuestro sitio web
para que los prueben Uds. mismos
y exploren con nosotros este mundo de movimientos diminutos.
Gracias.
(Aplausos)
במאות האחרונות, המיקרוסקופים חוללו מהפכה בעולמנו.
הם חשפו בפנינו עולם זעיר של עצמים, חיים ומבנים,
קטנים מכדי לראותם בעין לא-מזוינת.
התרומה שלהם למדע ולטכנולוגיה היא עצומה.
היום ברצוני להציג לכם מיקרוסקופ מסוג חדש,
מיקרוסקופ שינויים.
הוא אינו משתמש באופטיקה כמו מיקרוסקופ רגיל
כדי להגדיל עצמים קטנים,
אלא משתמש במצלמת וידאו ובעיבוד תמונה
כדי לחשוף בפנינו את התנועות ושינויי הצבע הכי זעירים בעצמים ובאנשים,
שינויים שאיננו מסוגלים לראות בעין בלתי-מזוינת.
והוא מאפשר לנו להביט בעולמנו בדרך חדשה לגמרי.
מה כוונתי ב"שינויי צבע"?
עורנו, למשל, משנה את צבעו במידה קלה מאד
כשהדם זורם מתחתיו.
השינוי הוא עדין במידה שלא תיאמן,
ולכן, כשאתם מביטים באנשים אחרים,
כשאתם מביטים באדם שיושב לידכם,
אינכם רואים שעורו או פניו משנים את צבעם.
כשאנו צופים בסרטון הזה, של סטיב, הוא נראה לנו כמו תמונה דוממת,
אבל כשאנו צופים בו דרך המיקרוסקופ החדש והמיוחד שלנו,
אנו רואים לפתע תמונה שונה לחלוטין.
אתם רואים כאן שינויים זעירים בצבע עורו של סטיב,
בהגדלה של פי 100, כדי שהם ייראו לעין.
אפשר ממש לראות את הדופק האנושי.
אנו יכולים לראות באיזו מהירות הולם לבו של סטיב,
אבל גם את עצם זרימת הדם בפניו.
ואנו יכולים לעשות זאת לא רק כדי להראות את הדופק,
אלא גם לשחזר את קצב ליבנו,
למדוד את קצב ליבנו.
וביכולתנו לעשות זאת בעזרת מצלמה רגילה ומבלי לגעת במטופל.
אתם רואים כאן דופק וקצב-לב שהפקנו מגופו של יילוד
באמצעות סרטון שצילמנו במצלמת רפלקס רגילה,
ומדידת קצב הלב שקיבלנו
היא מדויקת ממש כמו זו שמקבלים ממשגוח של בית-חולים.
וזה לא חייב להיות אפילו סרטון שאנו צילמנו.
ביכולתנו לעשות זאת בעצם גם עם סרטונים אחרים.
הבאתי כאן קטע קצר מתוך "באטמן מתחיל"
רק כדי להראות את הדופק של כריסטיאן בייל.
[צחוק]
יש להניח שהוא מאופר,
התאורה כאן די מאתגרת,
ובכל זאת, רק מתוך הסרטון, אנו יכולים למצוא את הדופק שלו
ולהראותו טוב למדי.
אז איך אנו עושים את כל זה?
עקרונית, אנו מנתחים את שינויי האור שהוקלטו
בכל פיקסל על רצף הזמן,
ואז אנו מעצימים שינויים אלה.
אנו מגדילים אותם כדי שנוכל לראותם.
החלק הרגיש הוא שאותות אלה,
השינויים האלה שאנו מחפשים, הם עדינים ביותר,
כך שעלינו להקפיד מאד כשאנו מנסים להפריד אותם
מן הרעש שקיים תמיד בסרטונים.
לכן אנו משתמשים במספר טכניקות עיבוד-תמונה חכמות
כדי לקבל מדידה מדויקת מאד של הצבע בכל פיקסל של הסרטון,
וכיצד אותו הצבע משתנה במשך הזמן,
ואז אנו מגבירים שינויים אלה.
אנו מגדילים אותם כדי ליצור סרטונים משופרים, או מוגדלים,
שמראים לנו בבירור את השינויים הללו.
אבל מסתבר שביכולתנו לעשות זאת לא רק כדי להראות שינויי צבע זעירים,
אלא גם תנועות זעירות,
וזה משום שהאור שמוקלט במצלמות שלנו
משתנה לא רק אם משתנה צבע האובייקט,
אלא גם אם האובייקט זז.
זאת בתי, כשהיתה כבת...
חודשיים.
זהו סרטון שצילמתי לפני כ-3 שנים.
וכהורים חדשים, כולנו רוצים לוודא שהתינוקות שלנו בריאים,
שהם נושמים, שהם חיים, כמובן.
אז גם אני השגתי משגוח תינוקות,
כדי שאוכל לראות את בתי כשהיא ישנה.
וזה בערך כל מה שרואים במשגוח תינוקות רגיל.
רואים שהתינוקת ישנה,
אבל אין כאן יותר מדי מידע.
אי-אפשר לראות כאן הרבה.
לא היה טוב יותר, או אינפורמטיבי או שימושי יותר,
אם במקום זה יכולנו לראות מראה כזה? [צחוק]
לקחתי את התנועות והגדלתי אותן פי 30,
ואז יכולתי לראות בבירור שבתי
אכן חיה ונושמת.
[צחוק]
הנה השוואה, זה לצד זה.
שוב, בסרטון המקור, בסרטון המקורי,
לא רואים הרבה.
אבל כשמגדילים את התנועות, הנשימה נעשית ברורה בהרבה.
ומסתבר שיש המון תופעות
שאפשר לחשוף ולהגדיל בעזרת מיקרוסקופ התנועה החדש שלנו.
אנו יכולים לראות את הוורידים והעורקים שפועמים בגופנו.
אנו יכולים לראות שעינינו נעות ללא-הרף
בחוסר יציבות.
זאת בעצם העין שלי,
ושוב, הסרטון הזה צולם מיד אחרי שבתי נולדה,
ואתם רואים שלא ישנתי הרבה. [צחוק]
אפילו כשאדם יושב בשקט,
אפשר לחלץ המון מידע
על דפוסי הנשימה והבעות הפנים הקטנות שלו.
אולי נוכל לנצל תנועות אלה
כדי לגלות משהו על המחשבות או הרגשות שלנו.
אנו יכולים גם להגדיל תנועות מכניות קטנות,
כמו ויברציות במנועים,
כדי לעזור למהנדסים לאתר ולאבחן בעיות מכניות,
או לראות איך הבניינים והמבנים שלנו מתנודדים ברוח ומגיבים לכוחות שונים.
כל אלה דברים שהחברה שלנו יודעת למדוד בדרכים שונות,
אבל למדוד את התנועות האלה
ולראות את התנועות האלה כשהן מתרחשות
הם שני דברים שונים לחלוטין.
ומאז שגילינו את הטכנולוגיה החדשה הזו,
פרסמנו את הקוד שלנו ברשת
כדי שאחרים יוכלו גם הם להשתמש ולהתנסות בו.
הוא קל מאד לשימוש.
הוא יכול לעבוד עם הסרטים שלכם.
שותפינו ב"מחקר קוונטום" אפילו יצרו אתר אינטרנט נחמד
שאפשר להעלות אליו סרטונים לעיבוד מקוון,
כך שאפילו ללא שום נסיון במדעי המחשב או בתכנות,
עדיין אפשר בקלות רבה להתנסות במיקרוסקופ החדש הזה.
ואני רוצה להראות לכם כמה דוגמאות
של דברים שאחרים עשו בעזרתו.
הסרטון הזה נוצר ע"י משתמש "יו-טיוב" בשם טאמז85.
אינני יודע מיהו המשתמש הזה,
אבל הוא, או היא, השתמשו בקוד שלנו
כדי להגדיל תנועות קטנות של הבטן במהלך הריון.
זה קצת מפחיד.
[צחוק]
אנשים השתמשו בה כדי להגדיל ורידים פועמים בידיהם.
וידוע שזה לא מדע אמיתי אם לא משתמשים בחיות מעבדה,
ומסתבר שלשרקן הזה קוראים טיפני,
ומשתמש ה"יו-טיוב" הזה טוען שהוא המכרסם הראשון בעולם
שזכה להגדלת תנועה.
אפשר גם ליצור עם זה אמנות.
הסרטון הזה נשלח אלי ע"י סטודנטית לעיצוב באוניברסיטת ייל.
היא רצתה לראות אם יש הבדלים
בהתנועעות של חבריה לכיתה.
היא העמידה את כולם בשקט, ואז הגדילה את תנועותיהם.
זה כמו לראות צילומים מתעוררים לחיים.
ומה שנחמד בכל הדוגמאות האלה,
הוא שלא היינו מעורבים בהם בשום צורה.
אנו רק סיפקנו את הכלי החדש הזה, דרך חדשה להתבוננות בעולם,
ואנשים מוצאים דרכים אחרות, חדשות ויצירתיות להשתמש בו.
אבל המשכנו הלאה.
הכלי הזה לא רק מאפשר לנו להביט בעולם בדרך חדשה,
אלא גם מגדיר מחדש מה אנו יכולים לעשות
ומרחיב את הגבולות של מה שאפשר לעשות עם המצלמות שלנו.
אז כמדענים, התחלנו לתהות
אילו סוגים נוספים של תופעות פיזיות מחוללות תנועות זעירות
שכעת ביכולתנו למדוד בעזרת המצלמות שלנו?
ותופעה כזו, שבה התמקדנו לאחרונה, היא הצליל.
הצליל, כפי שכולנו יודעים, הוא בעיקרו שינויים
בלחץ האוויר, שעוברים דרך האוויר.
גלי-לחץ אלה פוגעים בעצמים ויוצרים בהם ריטוטים קטנים,
וכך אנו שומעים ומקליטים צלילים.
אבל מסתבר שהצליל מחולל גם תנועות חזותיות.
אלה הן תנועות שאינן נראות לעינינו,
אבל ניתן לראותן במצלמה ובעיבוד המתאים.
הנה שתי דוגמאות.
כאן אני מדגים את כישורי השירה הנפלאים שלי.
[שירה]
[צחוק]
ואני צילמתי סרטון במהירות גבוהה של הגרון שלי בזמן ההמהום.
שוב, אם מביטים בסרטון, לא רואים הרבה,
אבל כשמגדילים את התנועות פי 100, רואים את כל התנועות והאדוות
שמתרחשות בגרון ומעורבות בהפקת הצליל.
האות נמצא כבר בסרטון עצמו.
ידוע לנו גם שזמרים מסוגלים לנפץ כוס יין
אם הם שרים בתו הנכון.
אז כאן נשמיע תו מסוים
שמהדהר בתדירות של הזכוכית הזאת
דרך רמקול שעומד לידה.
כשאנו משמיעים את התו ומגדילים את התנועות פי 250,
אנו רואים בבירור איך הזכוכית רוטטת
ומהדהדת בתגובה לצליל.
זה לא משהו שרואים כל יום.
ואנו יכולים להדגים את זה גם ללא הכנות מיוחדות.
אז אני מעודד אתכם לעצור אצלנו,
לשחק עם זה בעצמכם ולראות את זה בזמן אמיתי.
אבל זה גרם לנו לחשוב. זה העלה בנו רעיון מטורף.
האם אפשר להפוך את התהליך ולשחזר צליל מתוך סרטון,
ע"י ניתוח הוויברציות הזעירות שגלי הקול יוצרים בעצמים,
ולמעשה, להמיר אותן לצלילים שחוללו אותן?
באופן זה נוכל להפוך חפצים יומיומיים למיקרופונים.
וזה בדיוק מה שעשינו.
זאת שקית טוגנים ריקה שהיתה מונחת על שולחן,
ואנו נהפוך את שקית הטוגנים הזאת למיקרופון
בכך שנסריט אותה במצלמת וידאו
וננתח את התנועות הזעירות שגלי הקול מחוללות בה.
אז הנה הצליל שהשמענו באותו חדר.
[מוסיקה: "למרי היה שה קטן"]
והנה הסרטון במהירות גבוהה שבו תיעדנו את שקית הטוגנים.
ושוב,
אין סיכוי שתוכלו לראות שקורה משהו בסרטון הזה
בכך שסתם תתבוננו בו.
והנה הצליל שהצלחנו לשחזר רק באמצעות ניתוח
של התנועות הזעירות שבסרטון.
[מוסיקה: "למרי היה שה קטן"]
אני מכנה זאת -- תודה,
[מחיאות כפיים]
אני מכנה זאת "מיקרופון חזותי".
אנו ממש מחלצים אותות אודיו מתוך אותות וידאו.
ורק כדי לתת לכם מושג על קנה המידה של התנועות האלה,
צליל חזק למדי יגרום לשקית הטוגנים
לזוז פחות ממיקרומטר,
כלומר, אלפית המילימטר.
עד כדי זעירות התנועות שאנו יכולים כעת לחלץ
פשוט ע"י צפיה באופן שבו האור מוחזר מעצמים
והקלטתו במצלמות שלנו.
אנו יכולים לשחזר צלילים מעצמים אחרים, כגון צמחים.
[מוסיקה: "למרי היה שה קטן"]
וגם לשחזר דיבור.
הנה אדם שמדבר בחדר.
קול: למרי היה שה קטן שפרוותו צחה כשלג,
ולכל מקום שמרי הלכה, הלך גם השה.
מייקל רובינשטיין: והנה שוב הדיבור ששוחזר הפעם
מהסרטון של אותה שקית טוגנים.
קול: למרי היה שה קטן שפרוותו צחה כשלג,
ולכל מקום שמרי הלכה, הלך גם השה.
מ"ר: השתמשנו ב"למרי היה שה קטן",
כי אומרים שאלו היו המלים הראשונות
שתומס אדיסון אמר למיקרופון שלו ב-1877.
זה היה אחד ממכשירי הקלטת הצליל הראשונים בהיסטוריה.
בעקרון, הוא כיוון את הצלילים לעבר תופית
שהרעידה מחט שחרטה את הצליל על יריעת נייר-כסף
שהיתה כרוכה סביב גליל.
הנה הדגמה של הקלטה
ושל השמעת צליל בעזרת הפונוגרף של אדיסון.
[סרטון] קול: בדיקה, אחת, שתיים, שלוש.
למרי היה שה קטן שפרוותו צחה כשלג,
ולכל מקום שמרי הלכה, הלך גם השה.
בדיקה, אחת, שתיים, שלוש.
למרי היה שה קטן שפרוותו צחה כשלג,
ולכל מקום שמרי הלכה, הלך גם השה.
מ"ר: והיום, אחרי 137 שנה,
אנו מסוגלים להשיג צליל באיכות דומה מאד
רק מתוך צפיה באמצעות מצלמה בעצמים שרוטטים בתגובה לצליל,
ואני מסוגלים אפילו לעשות זאת כשהמצלמה
מרוחקת 5 מטרים מהעצם ומאחורי זכוכית אטומה לצליל.
וזהו הצליל שהצלחנו לשחזר במקרה זה.
קול: למרי היה שה קטן שפרוותו צחה כשלג,
ולכל מקום שמרי הלכה, הלך גם השה.
מ"ר: וכמובן, מעקב הוא היישום הראשון שעולה על הדעת.
[צחוק]
אבל זה עשוי לשמש גם לדברים אחרים.
אולי בעתיד נוכל להשתמש בזה, למשל,
לשחזר צליל בחלל,
כי צליל אינו יכול לנוע בחלל, אבל האור - כן.
אנו רק התחלנו לחקור
אפשרויות אחרות לשימוש בטכנולוגיה החדשה הזאת.
היא מאפשרת לנו לראות תהליכים פיזיים שאנו יודעים על קיומם
אבל עד כה לא יכולנו לראותם במו עינינו.
הנה הצוות שלנו.
כל מה שהראיתי לכם היום הוא תוצאה של שיתוף-פעולה
עם קבוצת האנשים הנהדרת הזאת,
ואני מעודד אתכם ומזמין אתכם לבקר באתר שלנו,
לנסות את זה בעצמכם,
ולהצטרף לנו בחקר עולם התנועות הזעירות.
תודה לכם.
[מחיאות כפיים]
過去数世紀に渡って 顕微鏡は世界を変えてきました
小さすぎて肉眼では見えない 物や生物や構造の世界を
顕微鏡が明らかにし
科学や技術に対して 大いなる貢献をしました
今日ご紹介したいのは 新しいタイプの顕微鏡
「変化を見る顕微鏡」です
普通の顕微鏡のように 光学的に小さなものを大きく
見せるのではなく
ビデオと画像処理を使って
肉眼では見えないような 人や物の微細な動きや
色の変化を 見えるようにします
これは世界に対する まったく別の見方を与えてくれます
色の変化とは どんなものかですが
例えば人の肌というのは 血の流れに応じて
色がかすかに変化します
これはとても 微妙な変化であるため
隣に座っている人を 見たところで
肌や顔の色が
変わっているようには 見えません
このスティーブの映像を見ても 静止画のように見えます
しかし私達の新しい顕微鏡を 通して見ると
まったく異なる イメージが現れます
肌の色の小さな変化を 100倍増幅することで
目で見て分かる ようにしています
脈拍を見て取る こともできます
心拍の早さだけでなく
顔を血がどう流れているかも 分かります
脈拍を可視化 できるだけでなく
心拍数を正確に
計測することもできます
普通のカメラでできて 患者に触れる必要もありません
ここでは普通のDSLRカメラで撮った 新生児の映像から
脈拍と心拍数を 取り出しています
これで計測した心拍数は
病院にある通常の計器によるのと 同様の正確さがあります
映像も自分で撮ったもの である必要はなく
既存のビデオを使うこともできます
これは『バットマン ビギンズ』の一場面から
クリスチャン・ベールの心拍が 見えるようにしたものです（笑）
映画なのでメークも しているだろうし
光の条件にも 難しい面がありますが
それでも映像から 彼の心拍を
非常にうまく 取り出せています
どうやっているのかですが
ビデオのそれぞれの ピクセルに記録された
光の時間的変化を分析し
その変化を拡大しています
変化が見て分かるくらいに 大きくするわけです
難しいのは 捉えたい変化が
非常に小さなものだ ということで
その変化を 録画につきもののノイズから
注意深く分離する 必要があります
それぞれのピクセルの ごく正確な色を得るために
巧妙な画像処理を 行っています
それから色の 時間変化の仕方を捉え
それを拡大して
変化が目で見て分かるよう 変化の強調された
映像を作ります
このようにして見えるようにできるものには 微細な色の変化だけでなく
微細な動きもあります
カメラに記録される光は 色の変化によってだけでなく
物の動きによっても
変化するからです
これは生後２ヶ月の頃の 私の娘です
３年ほど前に 録画したものです
親になったばかりの人は 赤ちゃんが健康か 息をしているか
生きているか いつも気にかけています
私も娘の眠っている姿を 見られるよう
ベビーモニターを 買いました
普通のベビーモニターで見られるのは このような映像です
眠っている様子は分かりますが
情報は大して得られません
見て分かる事は 殆どありません
もしこんな風に 見えたとしたら
もっと情報が得られて 有用ではないでしょうか？
動きを30倍拡大することで 娘の動きがはっきり見て取れるようになりました
これで娘が確かに生きて
呼吸しているのが分かります
（笑）
並べて比較したところですが
元々のビデオでは
動きが分かりません
しかし動きを拡大した映像では 呼吸の様子がよく分かります
この「変化を見る顕微鏡」によって
明らかにできる身の回りの現象は たくさんあります
体の中で静脈や動脈が どう脈打っているか分かります
目が絶えずユラユラ 動いていることも
よく分かります
これは私の目で
娘が生まれた頃に 撮ったので
あまり寝ていないのが 分かるかと思います（笑）
じっと座っている人からでさえ
多くの情報が得られます
呼吸のパターンとか 小さな顔の表情とか
このような動きから
その人の思っていることや 感情も分かるかもしれません
エンジンの振動のような 小さな機械の動きも
拡大して見えるようにできます
機械の問題の検出や診断を技術者がするのに 役立つかもしれません
建物や構造物が風に揺れたり 反発したりする様子も見て取れます
こういった動きを計測する方法なら 以前からありましたが
その動いている様子を
実際に目で見えるようにする というのは
また別の話になります
私達はこの技術を開発して以来
ネット上でプログラムを公開して
誰でも実験できるようにしています
とても簡単に使え
自分のビデオで 試すことができます
私達の協力者のQuanta Researchは ご覧のようなサイトも用意していて
ビデオをアップするだけで 結果を見られます
だからコンピュータサイエンスや プログラミングの知識がまったくなくても
簡単にこの顕微鏡で 実験ができます
これを使ってみんなが どんなことをしているのか
いくつかご覧に入れましょう
このビデオはTomez85という YouTubeユーザーが作ったもので
どういう人なのか知りませんが
私達のプログラムを使って
妊婦のお腹の動きを 拡大しています
ちょっと不気味ですね
（笑）
ここでは手の静脈の拍動を 拡大しています
しかしモルモットを使わなくちゃ 科学っぽくなりませんよね
このモルモットは ティファニーという名前で
作者はこれが 微細な動きを拡大された
最初の齧歯類だと 主張しています
美術作品を作ることもできます
イェール大のデザイン科の学生が 送ってきたもので
友人の身動きの仕方に 違いがあるか
知りたかったのだそうです
じっとしているように頼んで それから動きを拡大したものです
写真が動き始めたみたいな 感じがします
これらの例の良いところは
我々自身何もする必要が なかったことです
ただ新しい道具と 世界を見る新しい方法を提供するだけで
いろんな人が新しくて面白い 創造的な使い方を見つけてくれます
しかしそれで終わりではありません
このツールは世界に対し 新しい見方ができるようにするだけでなく
カメラで出来ることを再定義し
可能性の限界を 押し広げもします
科学者として 私達は考え始めました
カメラで計測できる 微細な動きを生み出す物理現象として
他にどんなものがあるだろう？
そのような現象の１つとして 我々が最近取り組んでいるのが「音」です
音というのは基本的に
空気中を伝わる空気圧の変化です
圧力の波が物にぶつかる時 小さな振動を生じ
それを使って私達は音を聞いたり 録音したりしています
しかし音は視覚的な 動きも作り出します
肉眼では見えなくとも
カメラを使って適切に処理すれば 見えるようになります
例を２つお見せします
これは私が素晴らしい歌唱力を 披露しているところです
アー
（笑）
声を出している時の喉を 高速度カメラで撮影しました
元の映像を見ても
ほとんど動きは見られませんが
動きを100倍拡大してやると 発声に関わる首の部分に
波のような動きが広がっているのが 分かります
音の痕跡が映像に 残されているわけです
歌手は特定の音程の声を出して グラスを割れる
という話は 良く知られています
ここではグラスの
共鳴周波数の音を
横のスピーカーから 出しています
その時の動きを 250倍拡大すると
グラスが音に共鳴して 振動しているのが
はっきり分かります
あまり日常で目にする光景では ありませんね
外にデモを用意してあるので
後でぜひ覗いて
いじってみてください 実際に体験できます
しかしここから 突飛なアイデアを思いつきました
この過程を逆にして 映像から音を 復元できないでしょうか？
音波が物の表面に作り出す 微細な振動を解析して
元になった音を 生成するのです
そのようにすれば 身の回りにある物を マイクに変えることができます
私達はまさにそれを やってみました
テーブルの上にポテトチップの 空き袋があります
これをビデオ撮影して 音により生じた —
微細な動きを 解析することで
ポテトチップの袋をマイクロフォンに 変えようというわけです
この部屋では こんな音楽を流しています
(曲『メリーさんのひつじ』)
そしてポテトチップの袋を 高速度カメラで撮影しました
これを見ても
何かが起きているようには
見えませんが
映像の中の微細な動きを 解析することで
このような音を 再現できました
(曲『メリーさんのひつじ』)
私はこれを—
（拍手）
「ビジュアル・マイクロフォン」 と呼んでいます
ビデオ信号からオーディオ信号を 取り出しているのです
動きの大きさが どれくらいかというと
かなり大きな音でも ポテトチップの袋の動きは
１ミクロン未満です
１ミリの千分の１です
そのような小さな動きでも
映像の中で物に反射する光を 観察することによって
検出できるのです
他の物を使うこともできます たとえば植物とか
(曲『メリーさんのひつじ』)
声を復元することもできます
こちらでは部屋の中で 人が話しています
Mary had a little lamb whose fleece was white as snow, (メリーさんは小さな羊を飼っていた 雪のように白い毛をして)
and everywhere that Mary went, that lamb was sure to go. (メリーさんの行くところは どこにでも付いてきた)
前と同じ ポテトチップの袋の映像から
復元した声です
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
『メリーさんのひつじ』を使ったのは
エジソンが1877年に 蓄音機で
最初に録音したのが この歌だったからです
それは音を記録する 最初の装置の１つでした
音を振動板で受け
その振動を針に伝え それが筒に巻いたアルミ箔に
記録される仕掛けでした
これはエジソンの蓄音機で
録音し再生するデモです
（録音）Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
（再生）Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
137年後の今日
音に振動する物の映像だけから 同程度のクオリティの音を
再現できるようになりました
しかも防音ガラスの 向こう側にある
５メートル離れた物を使って それができるのです
そうやって復元した音がこれです
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
すぐ思いつく応用は スパイ活動でしょう
（笑）
しかし他のことにも使えます
もしかしたら 将来宇宙の向こうの音を
再現できるように なるかもしれません
音は宇宙を伝わりませんが 光なら伝わるからです
私達は この新しい技術の可能性を
探り始めたばかりです
これまで存在するのは 知っていたけれど
自分の目で見られなかった物理現象を 見えるようにしてくれるのです
これが私の仲間です
今日お見せしたものは みんなここに出ている人達の
協力の結果 得られたものです
みなさんにもぜひ 私達のウェブサイトを訪れ
自分で試してみて
一緒に微細な動きの世界を 探索していただきたいと思います
ありがとうございました
（拍手）
In de afgelopen eeuwen hebben microscopen onze wereld grondig veranderd.
Ze toonden ons een minuscule wereld van objecten, leven en structuren,
te klein om te zien met het blote oog.
Ze dragen enorm bij aan de wetenschap en technologie.
Vandaag wil ik jullie laten kennismaken met een nieuw type microscoop,
een microscoop voor veranderingen.
Hij gebruikt geen optiek als een gewone microscoop
om kleine objecten groter te maken,
maar in plaats daarvan maakt hij gebruik van een videocamera en beeldverwerking
om ons de kleinste bewegingen en kleurveranderingen
in objecten en personen te tonen,
veranderingen die onmogelijk met het blote oog te zien zijn.
Hij toont ons de wereld op een geheel nieuwe manier.
Wat versta ik onder kleurverandering?
Onze huid verandert bijvoorbeeld zeer licht van kleur
wanneer het bloed er door stroomt.
Die verandering is ongelooflijk subtiel.
Daarom zie je bij andere mensen,
bijvoorbeeld de persoon die naast je zit,
hun huid of gezicht niet van kleur veranderen.
Op deze video van Steve lijkt het beeld statisch,
maar met onze nieuwe, speciale microscoop
zien we ineens een heel ander beeld.
Je ziet hier kleine veranderingen in de kleur van Steve's huid,
100X vergroot zodat ze zichtbaar worden.
We zien eigenlijk zijn polsslag.
We kunnen zien hoe snel Steve's hart klopt,
maar we kunnen ook zien hoe het bloed in zijn gezicht stroomt.
Zo kunnen we niet alleen de polsslag visualiseren,
maar ook onze hartslag registreren
en meten.
Dat gaat met gewone camera's en zonder de patiënten aan te raken.
Hier maten we de pols en hartslag van een neonataal kindje
uit een video die we maakten met een gewone DSLR camera,
en de hartslagmeting is zo nauwkeurig
als die van een een standaard-monitor in een ziekenhuis.
Het is niet eens nodig dat we de video zelf opnemen.
Het kan in wezen ook met andere video's.
Hier een korte clip van "Batman Begins",
gewoon om Christian Bale's pols te laten zien.
(Gelach)
Vermoedelijk draagt hij ook nog make-up
en de verlichting hier is een probleem,
maar toch kunnen we zijn polsslag registreren.
en hem heel goed laten zien.
Hoe doen we dat nu?
We analyseren de tijdsveranderingen in het opgenomen licht
van elke pixel in de video,
en dan versterken we die veranderingen.
Wij maken ze groter, zodat we ze kunnen zien.
Het lastige is dat die signalen,
de wijzigingen uiterst subtiel zijn,
dus moeten we ze heel zorgvuldig onderscheiden
van de ruis in de video.
Daarvoor gebruiken we een aantal slimme beeldverwerkingstechnieken
om de kleur van elke pixel in de video zeer nauwkeurig te meten,
en hoe die kleur verandert in de tijd.
En dan versterken we die veranderingen.
Wij maken ze groter om geïntensiveerde of versterkte video's te maken,
die ons die wijzigingen tonen.
Maar we kunnen niet alleen kleine kleurveranderingen laten zien,
maar ook kleine bewegingen,
omdat het licht dat in onze camera's wordt opgenomen
niet alleen verandert als de kleur van het object verandert,
maar ook als het object beweegt.
Dit is mijn dochter toen ze ongeveer twee maanden oud was.
Het is een video die ik ongeveer drie jaar geleden heb opgenomen.
Als nieuwe ouders willen we allemaal ervoor zorgen dat onze baby's gezond zijn,
dat ze ademen, dat ze leven.
Met een babymonitor
kon ik mijn dochter bekijken terwijl ze sliep.
Dit zie je met een standaard babymonitor.
Je kunt een slapende baby bekijken,
maar dat is het dan zowat.
Veel is er niet te zien.
Zou het niet beter, informatiever of nuttiger zijn,
als we in plaats daarvan dit konden zien.
Ik vergrootte de bewegingen 30 keer,
en kon toen duidelijk zien
dat mijn dochter leefde en ademde.
(Gelach)
Hier zie je het naast elkaar.
Op de bronvideo, de originele video,
is inderdaad niet veel te zien,
maar na het vergroten wordt de ademhaling veel zichtbaarder.
Het blijkt dat we nog veel andere verschijnselen
kunnen onthullen en vergroten met onze nieuwe bewegingsmicroscoop.
We kunnen zien hoe onze aders en slagaders pulseren in ons lichaam.
We kunnen zien dat onze ogen
voortdurend aan het wiebelen zijn.
Dat is mijn oog.
De video werd genomen vlak na de geboorte van mijn dochter.
Je kunt zien dat ik niet aan veel slaap toekwam. (Gelach)
Zelfs als iemand stil zit,
kunnen we een hoop informatie registreren
over zijn ademhaling, kleine gezichtsuitdrukkingen.
Misschien kunnen we deze bewegingen gebruiken
om ons iets te vertellen over onze gedachten en emoties.
We kunnen ook kleine mechanische bewegingen overdrijven,
zoals trillingen bij motoren.
Die kunnen ingenieurs helpen bij het opsporen
en diagnosticeren van machineproblemen...
...of zien hoe gebouwen en structuren
zwaaien in de wind en reageren op krachten.
Dat zijn allemaal dingen waarvan we al weten
hoe we ze op verschillende manieren moeten meten.
Het meten van deze bewegingen is echter één ding,
het zien van die bewegingen terwijl ze gebeuren
is heel iets anders.
Na de ontdekking van deze nieuwe technologie,
maakten we onze code online beschikbaar
zodat anderen ze konden gebruiken en ermee experimenteren.
Ze is zeer eenvoudig te gebruiken.
Je kan werken aan je eigen video's.
Onze medewerkers aan Quantum Research creëerden zelfs deze mooie website
waar je je video's kunt uploaden en ze online verwerken.
Zelfs als je geen ervaring hebt in informatica of programmeren,
kun je nog steeds heel eenvoudig experimenteren
met deze nieuwe microscoop.
Ik wil graag nog een paar voorbeelden laten zien
van wat anderen ermee hebben gedaan.
Deze video werd gemaakt door YouTube-gebruiker Tamez85.
Ik weet niet wie hij is,
maar hij, of zij, gebruikt onze code
om kleine buikbewegingen uit te vergroten tijdens de zwangerschap.
Het is een beetje griezelig.
(Gelach)
Mensen gebruikten het om pulserende aders in hun handen te vergroten.
En zonder proefdieren geen echte wetenschap.
Deze cavia heet Tiffany,
en deze YouTube-gebruiker beweert dat het het eerste knaagdier op Aarde is
dat ‘bewegingsuitvergroot’ is.
Je kan er ook kunst mee maken.
Een designstudente aan Yale zond mij deze video door.
Ze wilde zien of er enig verschil was
in de manier waarop haar klasgenoten bewogen.
Ze liet ze allemaal stilstaan en vergrootte dan hun bewegingen.
Het is alsof je stilstaande foto's tot leven ziet komen.
Het mooie met al die voorbeelden is
dat wij er niets mee te maken hadden.
Wij zorgden voor dit nieuwe instrument,
een nieuwe manier om naar de wereld te kijken,
en mensen vonden andere interessante,
nieuwe en creatieve manieren om het te gebruiken.
Maar dat is nog niet alles.
Met deze tool kunnen we niet alleen
op een nieuwe manier naar de wereld kijken.
Hij herdefinieert ook wat we kunnen doen
en verlegt de grenzen van wat we kunnen doen met camera's.
Als wetenschappers vroegen we ons af
welke andere vormen van fysische verschijnselen
kleine bewegingen produceren
die we met onze camera's kunnen meten.
Een dergelijk fenomeen is geluid.
Geluid is in principe een reeks
bewegende luchtdrukveranderingen.
Die drukgolven raken objecten en veroorzaken er kleine trillingen in,
dat is hoe we horen en geluid opnemen.
Maar het blijkt dat geluid ook visuele bewegingen produceert.
Niet zichtbaar voor ons,
maar wel voor een camera met de juiste beeldverwerking.
Hier twee voorbeelden.
Hier demonstreer ik mijn grote zangkwaliteiten.
(Zang)
(Gelach)
Ik nam een high-speed video van mijn keel op terwijl ik neuriede.
Op die video
is niet te veel te zien,
maar zodra we de bewegingen 100X vergroten,
kunnen we alle bewegingen
en rimpelingen in de nek zien die betrokken zijn
bij het produceren van het geluid.
Dat signaal zit in die video.
We weten ook dat zangers een wijnglas kunnen breken
als ze de juiste noot zingen.
Hier laten we een noot klinken
met de resonantiefrequentie van dat glas
door middel van een luidspreker ernaast.
Zodra we deze noot spelen en de bewegingen 250X vergroten,
kunnen we heel duidelijk zien hoe het glas trilt
en resoneert.
Geen alledaags gezicht.
De demo staat buiten klaar,
ga er eens kijken,
en speel er zelf eens mee, dan zie je het live.
Dit zette ons aan het denken. Het gaf ons dit gekke idee.
Kunnen we dit proces omkeren
en het geluid uit de video reconstrueren
door het analyseren van de kleine trillingen
die geluidsgolven creëren in objecten,
en die terug omzetten naar de geluiden die ze zelf hebben geproduceerd.
Zo kunnen we van alledaagse voorwerpen microfoons maken.
Dat is precies wat we deden.
Hier een lege zak chips op een tafel.
Daar maken wij een microfoon van
door hem te filmen met een videocamera
en de kleine bewegingen die geluidsgolven erin creëren te analyseren.
Hier is het geluid dat we speelden in de kamer.
(Muziek: "Mary Had a Little Lamb")
Deze high-speedvideo namen we op van die zak chips.
De video speelt opnieuw,
maar je ziet helemaal niets gebeuren
door ernaar te kijken.
Maar hier is het geluid dat we konden reconstrueren
door de kleine bewegingen in die video te analyseren.
(Muziek: "Mary Had a Little Lamb")
Ik noem het -- dank je wel.
(Applaus)
Ik noem het de visuele microfoon.
We halen audiosignalen uit videosignalen.
Om jullie een idee van de omvang van de bewegingen hier te geven:
een vrij hard geluid zal die zak chips
minder dan één micrometer doen verplaatsen.
Dat is één duizendste van een millimeter.
Zo klein zijn de bewegingen die we nu kunnen registreren
door te observeren hoe het licht weerkaatst op voorwerpen
en wordt opgenomen door onze camera.
We kunnen geluiden van andere objecten zoals planten opnemen.
(Muziek: "Mary Had a Little Lamb")
En ook spraak.
Hier spreekt iemand in een kamer.
Stem: Mary had een lammetje met een vacht wit als sneeuw,
en overal waar Mary kwam was het lammetje erbij.
Michael Rubinstein: Hier wordt dat geluid gereconstrueerd
met die video van die zak chips.
Stem met ruis: Mary had een lammetje met een vacht wit als sneeuw,
en overal waar Mary kwam, ging het lammetje mee.
MR: We gebruikten "Mary Had a Little Lamb"
omdat het volgens de overlevering de eerste woorden waren
die Thomas Edison sprak in zijn fonograaf in 1877.
Het was een van de eerste apparaten voor geluidsopname in de geschiedenis.
Het richtte geluiden op een diafragma
dat een naald liet trillen die het geluid graveerde
op aluminiumfolie rond een cilinder.
Hier is een demonstratie
van het opnemen en afspelen van geluid met Edisons fonograaf.
(Video) Stem: Testen, testen, een twee drie.
Mary had een lammetje met een vacht wit als sneeuw,
en overal waar Mary kwam, ging het lammetje mee.
Testen, testen, een twee drie.
Mary had een lammetje met een vacht wit als sneeuw,
en overal waar Mary kwam, ging het lammetje mee.
MR: En nu, 137 jaar later,
kunnen we geluid krijgen van vrijwel dezelfde kwaliteit
door met camera's te kijken naar voorwerpen die trillen door geluid.
We kunnen dat zelfs doen wanneer de camera
op 15 meter afstand van het object achter geluiddicht glas staat.
Dit is het geluid dat we zo konden reconstrueren.
Mary had een lammetje met een vacht wit als sneeuw,
en overal waar Mary kwam, ging het lammetje mee.
MR: Bewaking is natuurlijk de eerste toepassing waaraan je denkt.
(Gelach)
Maar het zou ook voor andere dingen nuttig kunnen zijn.
Misschien zullen we in de toekomst in staat zijn
om het bijvoorbeeld te gebruiken
om geluiden in de ruimte op te nemen.
Geluid kan niet door luchtledige ruimte, maar licht wel.
We zijn nog maar net begonnen andere mogelijke toepassingen
voor deze nieuwe technologie te verkennen.
Het laat ons fysische processen zien waarvan we weten dat ze er zijn
maar die we tot nu toe nooit met onze eigen ogen konden zien.
Dit is ons team.
Alles wat jullie zojuist zagen, is het resultaat van een samenwerking
met die fijne groep mensen hier.
Ik nodig je uit op onze website,
probeer het zelf eens uit,
en verken samen met ons deze wereld van minuscule bewegingen.
Dankjewel.
(Applaus)
Nos últimos séculos,
os microscópios revolucionaram o mundo.
Eles nos revelaram um mundo minúsculo de objetos, vida e estruturas
muito pequeno para ser visto a olho nú.
Eles são uma enorme contribuição à ciência e tecnologia.
Hoje eu gostaria de lhes apresentar um novo tipo de microscópio,
um microscópio de mudanças.
Ele não usa a óptica como um microscópio comum
para ampliar os objetos,
em vez disso, usa uma câmera de vídeo e processamento de imagem
para nos revelar as mudanças mínimas
de movimentos e de cor em objetos e pessoas,
mudanças impossíveis de serem vistas a olho nu.
Ele nos permite olhar o mundo de um modo completamente novo.
O que eu quero dizer com mudanças de cor?
Nossa pele, por exemplo, muda sua cor muito levemente
quando o sangue flui sob ela.
Essa mudança é incrivelmente sutil
e é o motivo pelo qual, quando se olha outras pessoas,
quando se olha a pessoa ao lado,
não se vê sua pele ou seu rosto mudar de cor.
Quando se vê este vídeo de Steve aqui, ele parece uma imagem estática;
mas quando o vemos usando o novo microscópio especial,
vemos, de repente, uma imagem completamente diferente.
O que se vê aqui são pequenas mudanças na cor da pele do Steve.
aumentadas 100 vezes; e assim elas se tornam visíveis.
Podemos realmente ver uma pulsação humana.
Podemos ver a velocidade em que o coração do Steve bate,
e também podemos ver a maneira real do sangue fluir em seu rosto.
Podemos fazê-lo não apenas para visualizar o pulso,
mas também para recuperar os ritmos cardíacos,
e medir esses batimentos.
Isso pode ser feito com câmeras comuns sem tocar nos pacientes.
Aqui se vê o pulso e o batimento cardíaco medidos em um bebê recém-nascido
a partir de um vídeo que fizemos com uma câmera DSLR comum,
e as medidas de batimentos cardíacos obtidas
têm a mesma exatidão que teríamos usando um monitor padrão de um hospital.
E nem precisa ser um vídeo que tenhamos gravado.
Podemos fazê-lo igualmente com outros vídeos.
Aqui eu usei um pequeno clip de “Batman Begins”
apenas para mostrar o pulso do Christian Bale.
(Risos)
Você sabe, ele deve estar usando maquiagem
e a iluminação aqui é um desafio,
mesmo assim, apenas com o vídeo, pudemos medir seu pulso
e mostrá-lo muito bem.
Como fazemos tudo isso?
Basicamente, nós analisamos as mudanças da luz que são gravadas
em cada pixel do vídeo, ao longo do tempo,
e a seguir, ampliamos tais mudanças.
Nós as aumentamos de modo a poder vê-las.
A dificuldade é que esses sinais,
as mudanças que procuramos, são extremamente sutis.
e temos que ser muito cuidadosos quando tentamos separá-las
dos ruídos que sempre existem em vídeos.
Usamos certas técnicas inteligentes de processamento de imagens
para obter uma medida precisa da cor de cada pixel no vídeo,
e a seguir o modo como a cor muda no decorrer do tempo,
e depois amplificamos as mudanças.
Nós as aumentamos para criar aqueles vídeos melhorados ou vídeos amplificados
que nos mostram realmente aquelas mudanças.
Ocorre que podemos fazê-lo não somente para mostrar pequenas mudanças de cor,
mas também movimentos minúsculos,
e isto se deve a a luz gravada por nossas câmeras
mudará não somente quando o objeto se modifica
mas também quando o objeto se movimenta.
Essa é minha filha com mais ou menos...
dois meses de idade.
É um vídeo gravado há cerca de três anos.
Como pais novatos, queríamos ter certeza de que o bebê era saudável,
que respirava, que estava viva, claro.
Eu também adquiri um desses monitores de bebês
de modo que pudesse ver minha filha quando ela dormia.
É bem semelhante ao que se vê em um monitor comum de bebês.
Você pode ver que o bebê está dormindo,
mas não se tem muitas informações ali.
Não há muita coisa que se pode ver.
Não seria melhor, mais informativo, ou mais útil.
se pudéssemos ter uma visão como esta?
Aqui captamos os movimentos e os ampliamos 30 vezes,
e então pudemos ver claramente que minha filha
estava mesmo viva e que respirava.
(Risos)
Eis uma comparação lado a lado.
De novo, no vídeo original,
não há muita coisa que se pode ver,
mas quando amplificamos os movimentos, a respiração torna-se muito mais visível.
Descobriu-se que há muitos fenômenos
que podemos revelar e ampliar com o nosso novo microscópio de movimento.
Podemos ver como nossas veias e artérias pulsam em nosso corpo.
Podemos ver que nossos olhos movem-se constantemente
com esse movimento instável.
Na verdade é o meu olho,
o vídeo foi gravado logo depois que minha filha nasceu,
e podem notar que eu não dormia muito. (Risos)
Mesmo quando uma pessoa está sentada e parada,
podemos extrair muita informação
dos seus padrões de respiração e pequenas expressões faciais.
Talvez possamos usar esses movimentos
para nos contar algo sobre nossos pensamentos e emoções.
Também podemos ampliar pequenos movimentos mecânicos,
como as vibrações de motores,
que ajudam os engenheiros a detectar
e diagnosticar problemas em máquinas,
ou perceber como os edifícios e estruturas balançam com o vento e reagem às forças.
São coisas que a sociedade sabe como medir de várias formas.
Mas medir esses movimentos é uma coisa
e ver os mesmos movimentos no momento em que acontecem
é algo totalmente diferente.
E desde que descobrimos esta nova tecnologia,
nós disponibilizamos seu código online
para que outros possam usá-la e experimentá-la.
É muito simples de usar.
Funciona nos vídeos que vocês gravam.
Nossos colaboradores no Quantum Research
até criaram esse simpático website;
faz-se o upload de vídeos, processados online;
mesmo sem terem experiência em ciência da computação e em programação,
vocês podem facilmente experimentar esse novo microscópio.
Gostaria de mostrar-lhes alguns exemplos
do que outros fizeram com ele.
Este vídeo foi feito por um usuário do YouTube chamado Tamez85.
Não sei quem é esse usuário,
mas ele ou ela, usou o nosso código para ampliar
pequenos movimentos da barriga.
durante a gravidez
É um tanto assustador.
(Risos)
As pessoas o usaram para ampliar as veias que pulsam em suas mãos.
E você sabe, não é a verdadeira ciência se não usarmos cobaias.
Parece que este porquinho-da-índia chama-se Tiffany,
e esse usuário do YouTube declara que é o primeiro roedor da Terra
que teve seu movimento ampliado.
Também é possível criar arte com ele.
Este vídeo me foi enviado por uma estudante de design de Yale.
Ela queria ver
se há alguma diferença
como seus colegas de classe se movem.
Ela os colocou em pé, parados, e então aumentou seus movimentos.
É como ver imagens estáticas ganharem vida.
E o legal em todos esses exemplos
é que não tínhamos nada a ver com eles.
Apenas fornecemos essa nova ferramenta, um modo movo de olhar o mundo,
e as pessoas descobrem outros modos
interessantes, novos e criativos de usá-la.
Mas não paramos por aqui.
Esta ferramenta não nos permite apenas olhar o mundo de um novo modo,
ela também redefine o que podemos fazer
e expande os limites do que podemos fazer com as câmeras.
Como cientistas, começamos a nos perguntar:
quais outros tipos de fenômenos físicos produzem movimentos muito pequenos
que agora podemos medir com nossas câmeras?
Um desses fenômenos que focalizamos recentemente é o som.
Sabemos que o som são mudanças na pressão do ar
que se deslocam por ele.
Essas ondas de pressão atingem os objetos
e criam pequenas vibrações neles.
É assim que podemos ouvir e gravar o som.
Mas acontece que o som também produz movimentos visuais.
Esses movimentos não são visíveis para nós
mas o são para uma câmera com o processamento adequado.
Aqui estão dois exemplos.
Esse sou eu demonstrando minhas grandes qualidades de cantor.
(Canto)
(Risos)
Gravei a minha garganta, cantarolando,
em um vídeo de alta velocidade, no qual não se vê muita coisa.
Mas quando aumentamos os movimentos 100 vezes,
podemos observar todos os movimentos e ondas
no pescoço, envolvidas na produção do som.
Esse sinal está lá no vídeo.
Sabemos que os cantores podem quebrar uma taça de vinho
se alcançarem a nota correta.
Aqui vamos tocar uma nota
que está na frequência de ressonância daquela taça
através de um alto-falante próximo a ela.
Quando tocamos essa nota e amplificamos os movimentos 250 vezes,
podemos ver muito claramente como a taça vibra
e entra em ressonância em resposta ao som.
Não é algo que se vê todos os dias.
Lá fora temos o demo já preparado
e eu os incentivo a parar
e a vocês mesmos o acionarem, e assim poderem vê-lo ao vivo.
Isso nos fez pensar e nos deu uma ideia maluca.
Será possível inverter o processo e recuperar o som através do vídeo,
analisando as vibrações mínúsculas que as ondas de som criam nos objetos,
e basicamente convertê-las de novo nos sons que as produziram?
Desse modo, podemos transformar os objetos cotidianos em microfones.
Foi exatamente o que fizemos.
Aqui está um saco vazio de batatas fritas deixado sobre uma mesa,
e vamos transformá-lo em um microfone
filmando-o com uma câmera de vídeo
e analisando os minúsculos movimentos que as ondas sonoras criam nele.
Aqui está o som que tocamos na sala.
(Música: "Mary Had a Little Lamb")
E este é um vídeo de alta velocidade desse saco de chips.
De novo, está tocando.
Não há chance de vermos qualquer coisa nesse vídeo
apenas olhando-o.
Eis o som que pudemos recuperar
analisando os minúsculos movimentos nesse vídeo.
(Música: "Mary Had a Little Lamb")
Eu o chamo… Obrigado.
(Aplausos)
Eu o chamo de microfone visual.
Na verdade, extraímos sinais de áudio de sinais de vídeo.
Somente para lhes dar uma ideia da magnitude dos movimentos aqui,
um som bem alto fará aquele saco de batatas
mover-se menos do que um micrômetro.
Isso é um milésimo de um milímetro.
São tão pequenos assim os movimentos que agora somos capazes de captar
observando como a luz é refletida pelos objetos
e é gravada pelas câmeras.
Podemos recuperar sons pelo uso de outros objetos, como plantas.
(Música: "Mary Had a Little Lamb")
E também podemos recuperar a fala.
Aqui está uma pessoa falando em uma sala
Voz: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
Michael Rubinstein: E aqui está a mesma fala recuperada
por meio do vídeo do mesmo saco de batatas.
Voz: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
MR: Usamos "Mary Had a Little Lamb"
porque dizem que foram as primeiras palavras
que Thomas Edison falou em seu fonógrafo em 1877.
Foi um dos primeiros aparelhos de gravação de som da história.
Basicamente, ele dirigia os sons para um diafragma
que fazia vibrar uma agulha
e esta gravava o som
fazendo um sulco numa folha de estanho em volta de um cilindro.
Aqui está a demonstração de gravação
e a reprodução do som com o fonógrafo de Edison.
(Vídeo) Voz: Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go
Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
MR: E agora, 137 anos depois,
podemos captar o som com qualidade bem semelhante
mas apenas observando objetos que vibram pelo som, por meio de câmeras,
e até podemos fazê-lo quando a câmera
está a uns 4,5 metros do objeto atrás de vidros a prova de som.
Esse é o som que pudemos recuperar em um caso assim.
Voz: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
MR: Claro, a espionagem é a primeira aplicação que vem à mente.
(Risos)
Mas também poderia ser útil para outras coisas.
Quem sabe, no futuro, seremos capazes de usá-lo, por exemplo,
para recuperar o som pelo espaço,
porque o som não se propaga no espaço, mas a luz o faz.
Nós apenas começamos a explorar
outros possíveis usos para essa nova tecnologia.
Ela nos deixa ver processos físicos que sabemos que existem
mas que até agora não conseguíamos ver com os nossos próprios olhos.
Essa é a nossa equipe.
Tudo o que lhes mostrei hoje
é o resultado de uma colaboração
com este grande grupo de pessoas
e eu os incentivo e os convido
a conferir nosso website,
experimentarem vocês mesmos,
e se juntarem a nós na exploração desse mundo de movimentos mínimos.
Obrigado.
(Aplausos)
За последние несколько столетий микроскопы перевернули наш мир.
Они открыли нам мир крохотных существ, объектов, структур
слишком малых, чтобы увидеть их невооружённым глазом.
Вклад микроскопов в науку и технологии огромен.
Сегодня я хотел бы рассказать вам о новом типе микроскопа —
микроскопе для обнаружения перемен.
В отличие от обычного микроскопа для увеличения маленьких объектов
здесь не используется оптика.
Вместо этого здесь используется видеокамера и метод обработки изображений,
которые делают видимыми едва уловимые движения и изменения цвета объектов,
то есть изменения, которые нельзя увидеть невооружённым глазом.
А это позволяет нам совершенно по-новому взглянуть на наш мир.
Что такое изменения цвета?
Наша кожа, например, чуть заметно меняет цвет
при пульсации крови.
Это изменение еле заметно,
поэтому когда вы смотрите на других людей,
на сидящего напротив вас человека,
вы не видите, что его лицо меняет цвет.
Вы смотрите на эту видеозапись Стива, и картинка кажется неизменной,
но если мы посмотрим на неё используя наш новый, особый микроскоп,
мы неожиданно увидим совершенно другую картину.
То, что вы видите — незначительные изменения цвета кожи Стива,
усиленные в 100 раз, чтобы они стали заметными.
Мы можем увидеть пульс человека.
Мы можем увидеть, как бьётся сердце Стива
и как кровь течёт под кожей лица.
Но мы это делаем не только чтобы увидеть пульс,
но и реально выявить частоту сердечных сокращений
и измерить её.
Мы можем сделать это с помощью обычных камер, не прикасаясь к пациентам.
Здесь вы видите пульс и частоту сердечных сокращений новорождённого,
выявленные по видео, снятому на цифровую зеркальную камеру,
и точность измерений сердечных сокращений
такая же, как и для обычного больничного монитора.
Причём не обязательно, чтобы видеозапись была именно наша.
Мы можем сделать то же самое с чужими видео записями.
В этом коротком отрывке из «Бэтмен: начало»
мы показали пульс Кристиана Бейла.
(Смех)
Скорее всего, он в гриме,
освещение здесь достаточно сложное,
но всё же нам достаточно этого видео, чтобы определить пульс
и наглядно показать его.
Как мы всё это делаем?
По сути, мы анализируем изменения в освещении
каждого пикселя изображения,
а затем усиливаем их.
Мы увеличиваем эти изменения, делая их заметными.
Сложность состоит в том, что эти сигналы,
эти изменения, которые мы отслеживаем, едва заметны,
поэтому мы должны крайне осторожно отделять их
от случайных шумов, неизбежных при видеозаписи.
Поэтому мы используем некоторые продвинутые методы обработки видео,
чтобы очень точно определить цвет каждого пикселя изображения
и то, как этот цвет меняется во времени,
а затем мы усиливаем эти изменения.
Мы усиливаем их, чтобы получить усиленные или увеличенные видео,
которые наглядно показывают нам эти изменения.
И оказывается, это можно делать не только с еле заметными изменениями цвета,
но и с еле заметными движениями,
поскольку свет, записанный нашими камерами,
будет меняться не только если меняется цвет объекта,
но и если объект перемещается.
Это моя дочь, здесь ей два месяца.
Я записал это видео примерно три года назад.
Любой молодой родитель хочет точно знать, что его ребёнок здоров,
что он дышит, что он жив, в конце-то концов.
Так что я купил детский монитор,
по нему я мог видеть свою девочку, пока она спала.
В общем-то, это единственное, что вам покажет такой монитор.
Вы увидите, что ребёнок спит,
но это не особо содержательно.
Мы не так много можем увидеть.
Не было бы лучше, информативнее, полезнее,
если бы вместо этого мы видели вот это?
Я заснял движения и увеличил их в 30 раз,
и теперь я ясно видел, что моя дочь
действительно жива и дышит.
(Смех)
Вот что мы увидим, если поставить их рядом.
Ещё раз, в исходном видео, источнике,
доступной информации немного,
но после увеличения движений дыхание становится заметным.
Оказалось, что существует множество явлений,
которые мы можем выявить и увеличить с нашим новым микроскопом.
Теперь мы видим наши вены и артерии, в которых пульсирует кровь.
Мы видим, что наши глаза постоянно находятся
в пульсирующем движении.
Это мой глаз,
а видео было снято сразу после рождения моей дочери,
когда, как видите, я сильно не высыпался. (Смех)
Даже когда человек спокойно сидит,
мы можем извлечь массу информации
о ритме дыхания или мелкой мимике.
Мы могли бы использовать эти движения,
чтобы узнать что-нибудь о наших мыслях или эмоциях.
Ещё мы можем усилить мелкие механические движения,
такие как вибрация двигателя,
что могло бы помочь инженерам найти проблемы в механизмах
или увидеть, как здания прогибаются под порывами ветра и реагируют на воздействия.
У нас есть много способов, чтобы измерить всё это,
но измерить — это одно,
а увидеть эти движения вживую —
совершенно другое.
После того, как мы создали эту технологию,
мы сделали её код доступным онлайн,
чтобы его могли использовать другие люди.
Его очень просто использовать.
Он может обрабатывать ваши видео.
Наши коллеги из Quantum Research даже создали этот отличный веб-сайт,
где вы можете загружать свои видео и обрабатывать их онлайн,
и вам необязательно уметь программировать,
чтобы экспериментировать с новым микроскопом.
Я хочу показать вам пару примеров того,
что сделали другие люди.
Это видео пользователя YouTube с ником Tamez85.
Я не знаю, кто это,
но он или она использовали наш код,
чтобы увеличить мелкие движения живота во время беременности.
Выглядит жутковато.
(Смех)
Люди увеличивали пульсацию вен на руках.
И раз уж без морских свинок не бывает науки,
вот вам морская свинка по кличке Тиффани,
и как утверждает этот пользователь YouTube — это первый грызун на планете,
которого увеличили методом изменений.
Вы можете создавать произведения искусства.
Это видео было прислано мне студенткой с отделения дизайна Йеля.
Она хотела увидеть, есть ли какие-то различия
в движениях её сокурсников.
Она засняла всех их, стоящих спокойно, а потом увеличила движения.
Это как ожившие фотографии.
Во всех этих материалах хорошо то,
что мы не имеем никакого к ним отношения.
Мы просто дали новый инструмент, новый способ взглянуть на наш мир,
и люди нашли другие новые, интересные, творческие пути его использования.
Но мы не остановились на этом.
Этот инструмент не только позволяет нам по-новому взглянуть на мир,
но и переопределяет то, что мы можем,
расширяя границы возможностей наших фотоаппаратов.
И нам как учёным стало интересно,
при каких ещё физических явлениях возникают эти мельчайшие движения,
которые мы теперь можем измерить с помощью наших фотоаппаратов?
Одним из таких явлений, на котором мы недавно сосредоточились, стал звук.
Все знают, что звук — это разница в давлении воздуха,
что распространяется по воздуху.
Волны этого давления воздействуют на предметы и заставляют их вибрировать,
таким образом мы слышим и записываем звук.
Но оказалось, что звук порождает и видимые движения.
Мы эти движения не видим,
но их видит фотоаппарат с правильной обработкой.
Вот два примера.
Это я демонстрирую свои выдающиеся навыки пения.
(Поёт)
(Смех)
А здесь я вдвое ускорил съёмку своего горла во время пения.
На этих кадрах вам мало что видно,
но при увеличении в 100 раз,
становятся видны все движения и пульсации шеи,
связанные с издаванием звуков.
И этот звук записан в этом видео.
Мы знаем, что певцы могут разбить бокал,
если возьмут нужную ноту.
Здесь мы проигрываем ноту
с такой же частотой резонанса, как у этого бокала,
через стоящие перед ним динамики.
Воспроизведя ноту и увеличив движения в 250 раз,
мы ясно видим, как бокал вибрирует
и входит в резонанс с нотой.
Такое увидишь не каждый день.
Наша демонстрационная версия установлена здесь же в холле,
и я призываю вас остановиться
и поэкспериментировать с этим самостоятельно, увидеть всё вживую.
И это заставило нас задуматься. У нас возникла одна безумная идея.
Можем ли мы обратить этот процесс и восстановить звук по видео,
по анализу малых движений, создаваемых звуковыми волнами в предметах,
и перевести их обратно в звук, который их породил?
Так мы можем превращать обычные предметы в микрофоны.
Именно это мы и сделали.
Вот на столе пустая упаковка от чипсов,
и чтобы превратить её в микрофон,
мы снимаем её на видеокамеру
и анализируем её мелкие вибрации, возникшие из-за звуковой волны.
Вот то, что прозвучало в комнате.
(Музыка: «Mary Had a Little Lamb»)
(Конец музыки)
А вот высокоскоростная съёмка этой упаковки от чипсов.
Снова звучит музыка.
Вы никогда не смогли бы увидеть что-то на этом видео
при простом просмотре,
но мы можем восстановить звук, просто анализируя
снятые нами мелкие вибрации.
(Музыка: «Mary Had a Little Lamb»)
(Конец музыки)
Я называю это... Спасибо.
(Аплодисменты)
Я называю это визуальным микрофоном.
По сути, мы извлекаем аудио сигнал из видеосигнала.
И чтобы вы поняли масштаб этих вибраций:
при достаточно громком звуке эта упаковка
пошевелится меньше, чем на микрометр.
Это одна тысячная миллиметра.
Настолько малы движения, которые мы можем выявить,
просто наблюдая за тем, как свет отражается от предметов,
и записав это на видео.
Можно извлечь звук и из других предметов, например, растений.
(Музыка: «Mary Had a Little Lamb»)
(Конец музыки)
И мы можем восстановить также речь.
Вот человек говорит в комнате.
Голос: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
Майкл Рубинштейн: А вот звук речи, восстановленный
из видео по той же упаковке от чипсов.
Голос: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, that lamb was sure to go.
МР: Мы использовали «Mary had a little lamb»,
потому что это первые слова,
которые Томас Эдисон записал с помощью фонографа в 1877 году.
Это первое звукозаписывающее устройство в истории.
Звуки в нём направляются на диафрагму,
в результате чего игла вибрирует, записывая звук на оловянную фольгу,
обёрнутую вокруг цилиндра.
Вот демонстрация записи
и воспроизведения звука на фонографе Эдисона.
(Видео) Голос: Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
Testing, testing, one two three.
Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
МР: Сегодня, спустя 137 лет,
мы можем извлечь звук такого же качества,
просто снимая на камеру вибрации предметов под воздействием звука,
мы можем это, даже если камера
находится в 4,5 метрах от объекта за звуконепроницаемым стеклом.
Вот звук, который мы смогли восстановить в нашем случае.
Голос: Mary had a little lamb whose fleece was white as snow,
and everywhere that Mary went, the lamb was sure to go.
МР: Конечно, первая область применения, которая приходит на ум — это слежка.
(Смех)
Но в действительности есть и другие способы полезного применения.
Возможно, мы сможем использовать это, например,
чтобы извлечь звук из космоса,
ведь звук не распространяется в космосе, но распространяется свет.
Мы только начинаем исследовать
другие возможности применения этой новой технологии.
Теперь мы можем наблюдать процессы, о существовании которых знаем,
но которых мы до сих пор никогда не могли увидеть собственными глазами.
Это наша команда.
Всё, что я показывал сегодня, — результат сотрудничества
группы замечательных людей, которых вы видите,
и я призываю вас и буду рад, если вы зайдёте на наш сайт,
попробуете сами
и присоединитесь к нам в исследовании мира микроскопических движений.
Спасибо.
(Аплодисменты)
Tokom proteklih nekoliko vekova mikroskopi su preokrenuli naš svet.
Otkrili su nam taj mali svet predmeta, života i struktura
koji su isuviše mali da bismo ih mogli videti golim okom.
Dali su ogroman doprinos nauci i tehnologiji.
Danas bih voleo da vam predstavim novi tip mikroskopa,
mikroskop za promene.
Njemu ne treba optika kao redovnom mikroskopu
da male objekte učini većim,
nego koristi video kameru i procesor slika
kako bi nam otkrio one najmanje pokrete i promene u boji predmeta i ljudi,
promene koje je nemoguće videti golim okom.
Tako nam dopušta da vidimo naš svet na sasvim novi način.
No, šta ja mislim pod promenom boja?
Naša koža, na primer, neznatno menja boju
kada krv teče pod njom.
Ta promena je izuzetno suptilna,
i zato kada gledate ljude,
kada pogledate osobu koja sedi pored vas,
ne vidite kako se boje menjaju na njihovoj koži ili na licu.
Kada pogledate ovaj snimak sa Stivom, primetićete da deluje kao statična slika,
ali kada pogledamo ovaj video snimljen našim novim, specijalnim mikroskopom,
odjednom primećujemo sasvim novu sliku.
Ono što vidite ovde su male promene u boji Stivove kože,
uvećane 100 puta kako bi postale vidljive.
Mi zapravo možemo da vidimo ljudski puls.
Možemo videti koliko brzo kuca Stivovo srce
ali možemo takođe videti i kako krv zapravo teče u njegovom licu.
I to možemo uraditi ne samo da bismo prikazali puls,
već da bismo, pored toga, videli
i izmerili otkucaje svog srca.
I to možemo učiniti običnim kamerama, bez dodirivanja pacijenta.
Ovde vidite puls i brzinu otkucaja srca koje smo zabeležili kod novorođene bebe
u videu koji smo snimili klasičnom DSLR kamerom,
a brzina otkucaja srca koju smo dobili
istovetna je onoj koju bi izmerio standardni monitor u bolnici.
A to zapravo ne mora da bude video koji smo mi snimili.
Mi to možemo raditi i sa drugim snimcima.
Zato sam uzeo klip iz filma "Betmen počinje"
da vam pokažem puls Kristijana Bejla.
(Smeh)
I znate, pošto je on verovatno našminkan,
osvetljenje je ovde pravi izazov,
ali svejedno, iz ovog videa ipak možemo izdvojiti njegov puls
i pokazati ga prilično uspešno.
Pa, kako to uopšte radimo?
Mi, zapravo, analiziramo promene svetla
koje se snimaju u svakom pikselu snimka tokom vremena,
I onda naglasimo te promene.
Uvećamo ih tako da ih možemo videti.
Najteži deo je to što su ti signali,
te promene koje mi tražimo, neverovatno suptilne,
pa moramo da budemo jako oprezni dok ih razdvajamo
od smetnji iz svih tih snimaka.
Zato koristimo vrlo pametne tehnike u preradi slika
kako bismo dobili najtačniju meru boje svakog piksela u videu
i načina na koji se boja vremenom menja,
i tek onda mi pojačamo te promene.
Uvećavamo ih kako bismo dobili te unapređene ili uvećane snimke
koji zapravo pokazuju sve te promene.
Ali, ispostavilo se da tako ne pokazujemo samo promene u boji
već i u malim pokretima,
jer se svetlo snimljeno našim kamerama
neće promeniti samo ako se boja objekta menja,
već i kada se objekat pokreće.
Ovo je moja ćerka kada je imala oko dva meseca.
Ovaj video sam napravio pre tri godine.
Kao novi roditelji, želimo da budemo sigurni da su naša deca zdrava,
da dišu, da su živa, naravno.
Pa sam i ja nabavio jedan bebi monitor
da bih mogao da gledam svoju ćerku dok spava.
Ovo je otprilike ono što vidite preko standardnog bebi monitora.
Možete videti bebu kako spava,
ali nema nekih daljih informacija.
Ne možemo da vidimo puno toga.
Zar ne bi bilo bolje, ili informativnije, ili korisnije,
kada bismo mogli da vidimo ovakvu sliku.
Zato sam ovde izdvojio pokrete i uveličao ih 30 puta
i tek tada sam jasno video da je moja ćerka
zaista živa i da diše.
(Smeh)
Uporedite ova dva snimka.
Dakle, u izvornom, originalnom videu,
nema puno toga da se vidi,
ali tek kada uvećamo pokrete, disanje postaje lako vidljivo.
Na kraju se ispostavilo da ima puno pojava
koje možemo otkriti i uvećati sa našim novim mikroskopom za pokrete.
Možemo videti kako vene i arterije pulsiraju u našim telima.
Možemo videti kako se naše oči konstantno kreću
uz ovo drhtanje.
Ovo je zapravo moje oko,
i ovaj video je snimljen taman posle rođenja moje ćerke,
pa možete videti da nisam dovoljno spavao. (Smeh)
Čak i kada osoba sedi mirno,
ima puno informacija koje možemo dobiti
o načinu njenog disanja i izrazima lica.
Možda te pokrete možemo iskoristiti
da saznamo nešto o našim mislima i emocijama.
Možemo takođe uvećati i male mehaničke pokrete,
poput vibracija u motorima,
što može pomoći inžinjerima pri utvrđivanju mašinskih problema,
a možemo videti kako se zgrade i građevine njišu na vetru i kako reaguju na silu.
Sve su to stvari koje naše društvo zna da izmeri na različite načine,
ali meriti te pokrete je jedna stvar,
zbilja videti kako se ti pokreti prave
je nešto potpuno drugačije.
Otkad smo otkrili ovu novu tehnologiju, postavili smo naš kod
na internet da bi i drugi mogli
da ga koriste i eksperimentišu sa njim.
Vrlo je jednostavan.
Funkcioniše i na vašim privatnim snimcima.
Naši saradnici iz "Quanta Research" napravili su ovaj sjajan sajt
gde možete postaviti svoje snimke i preraditi ih onlajn.
Pa čak i ako nemate nikakvog iskustva iz informatike i programiranja,
vrlo lako možete eksperimentisati sa ovim novim mikroskopom.
I voleo bih da vam pokažem nekoliko primera
onoga šta su drugi napravili sa tim.
Dakle, ovaj video je napravio YouTube korisnik zvani Tamez85.
Ja ne znam ko je taj korisnik,
ali on, ili ona, uzeo je naš kod
i povećao sitne pokrete u stomaku tokom trudnoće
Pomalo je jezivo.
(Smeh)
Ljudi su njime uvećavali pulsiranje vena u njihovim rukama.
Ipak, znate da se ne radi o pravoj nauci ako ne koristite zamorčad,
a ovo zamorče se očito zove Tifani,
a ovaj korisnik na Jutjubu tvrdi da je ona prvi glodar na Zemlji
čiji su pokreti ovako uvećani.
Ovako možete praviti i umetnička dela.
Ovaj video mi je poslala studentkinja dizajna sa Jejla.
Želela je da vidi ima li razlike u tome
kako se kreću njene kolege.
Svima im je naredila da stoje mirno i onda uvećala njihove pokrete.
To je kao da gledate kako mrtva priroda oživljava.
Lepa stvar u vezi sa svim ovim eksperimentima
je to što mi nismo imali ništa sa njima.
Samo smo obezbedili ovu novu alatku, nov način gledanja na svet,
a onda su drugi ljudi našli interesantne, nove i kreativne načine da ga upotrebe.
Ali, nismo tu stali.
Ova alatka ne samo da nam je dozvolila da gledamo svet novim očima,
nego je redefinisala ono što mi radimo
i pogurala granice onoga što možemo da učinimo sa našim kamerama.
Kao naučnici počeli smo da se pitamo,
koje druge fizičke pojave stvaraju sitne pokrete
koje sada možemo izmeriti našim novim kamerama?
Jedna takva pojava na koju smo se nedavno fokusirali je zvuk.
Kao što svi znamo, zvuk zapravo predstavlja promene
u vazdušnom pritisku koje putuju kroz vazduh.
Ti talasi pritiska udaraju o objekte i stvaraju male vibracije u njima,
i tako mi čujemo i snimamo zvuk.
No, ispostavilo se da zvuk uz to stvara i vizuelne pokrete.
Ti pokreti su nama nevidljivi,
ali ih naša kamera vidi kada se dobro podesi.
Evo vam dva primera.
Ovde ja demonstriram svoje sjane glasovne sposobnosti.
(Pevanje)
(Smeh)
Dok sam tako brujao, snimio sam ubrzani video svog grla.
Opet, ako pažljivo pogledate video,
neće biti puno toga što ćete moći da vidite,
ali kada uvećamo pokrete 100 puta, možemo videti sve pokrete i talase
koji učestvuju u stvaranju zvuka u mom vratu.
Taj signal je tu u tom snimku.
Takođe znamo da pevači mogu da razbiju čašu za vino
ako pogode pravu notu.
Pa hajde da odsviramo notu
koja je u rezonantnoj frekvenciji te čaše
na zvučniku koji se nalazi pored nje.
Kada odsviramo tu notu i uvećamo pokrete 250 puta,
sasvim jasno ćemo videti kako čaša vibrira
i rezonira u odgovoru na zvuk.
To nije nešto što viđate svakog dana.
Zapravo imamo postavljenu demonstraciju tu
pa vam preporučujem da svratite
i poigrate se s time, da zapravo vidite to kako se dešava uživo.
Ali ovo nas je nateralo da razmislimo. Dalo nam je ludačku ideju.
Možemo li zapravo da obrnemo ovaj proces i izdvojimo zvuk iz snimka
analizom malih vibracija koje zvučni talasi stvaraju u predmetima
i da ih na kraju konvertujemo natrag u zvuk koji ih je stvorio?
Ovako sasvim obične predmete možemo pretvoriti u mikrofone.
I to je upravo ono što smo uradili.
Dakle, ovo je prazna kesica čipsa koja se nalazi na stolu
i mi ćemo da pretvorimo tu kesicu čipsa u mikrofon
tako što ćemo je usnimiti kamerom
i analizirati male pokrete koje zvučni talasi stvaraju u njoj.
Ovo je zvuk koji smo pustili u toj sobi.
(Muzika: „Meri je imala malo jagnje“)
A ovo je taj ubrzani video kesice čipsa koji smo snimili.
Evo ga opet.
Nema šanse da primetite da se išta dešava u tom snimku
dok ga posmatrate,
ali evo zvuka kojeg smo uspeli da izdvojimo analizom
malih pokreta u tom istom snimku.
(Muzika: „Meri je imala malo jagnje“)
Ja to zovem - hvala vam.
(Aplauz)
Ja to zovem vizuelnim mikrofonom.
Mi smo, u suštini, izdvojili audio signale iz video signala.
Samo da dobijete uvid u to o kakvom se nivou pokreta ovde radi,
od prilično glasnog zvuka, kesica čipsa
će se pomeriti manje od mikrometra.
To je hiljaditi deo milimetra.
Toliko su mali pokreti koje sada možemo da uočimo
posmatranjem toga kako se svetlo odbija o predmet,
što su uspele da zabeleže naše kamere.
Možemo da izdvojimo zvuk iz drugih objekata poput biljaka.
(Muzika: " Meri je imala malo jagnje")
A možemo da izdvojimo i govor.
Evo jedne osobe koja govori u prostoriji.
Glas: „Meri je imala malo jagnje runa belog kao sneg,
i svuda gde je Meri išla, jagnje je moralo za njom“
Majkl Rubinštajn: Opet ću vam pustiti isti govor, ali ovaj put
izdvojen iz istog onog snimka sa kesicom čipsa.
Glas: „Meri je imala malo jagnje runa belog kao sneg,
i svuda gde je Meri išla, jagnje je moralo za njom“
MR: Uzeli smo pesmu „Meri je imala malo jagnje“
zato što se veruje da su to prve reči
koje je Tomas Edison izgovorio u svoj fonograf 1877. godine.
To je bio jedan od prvih aparata za snimanje zvuka u istoriji.
On je u osnovi upućivao zvukove na dijafragmu
koja je vibrirala iglu, a ova je zapravo urezivala zvuk na list kalaja
omotan oko cilindra.
Evo demonstracije snimka
i ponovnog puštanja zvuka sa Edisonovog fonografa.
(Video) Glas: „Test, test, jedan dva tri.
Meri je imala malo jagnje runa belog kao sneg,
I svuda gde je Meri išla, jagnje je moralo za njom.
Test, test, jedan dva tri.
Meri je imala malo jagnje runa belog kao sneg,
I svuda gde je Meri išla, jagnje je moralo za njom“
MR: I sada, 137 godina kasnije,
u mogućnosti smo da dobijemo zvuk prilično sličnog kvaliteta
i to samo kada posmatramo kamerom kako predmeti vibriraju od zvuka,
a to možemo postići čak i kada kamera stoji
na 4,5 metra od objekta iza zvučno izolovanog stakla.
Dakle, ovo je zvuk koji smo uspeli da izdvojimo u ovom slučaju.
Glas: „Meri je imala malo jagnje runa belog kao sneg,
I svuda gde je Meri išla, jagnje je moralo za njom“
MR: Naravno, nadzor će vam verovatno prvo pasti na pamet.
(Smeh)
Ali to može biti korisno i za neke druge stvari.
Možda ćemo u budućnosti moći to da iskoristimo, na primer,
za izdvajanje zvukova iz svemira,
jer zvuk ne može da putuje svemirom, ali svetlost može.
Tek smo počeli da istražujemo
druge potencijalne upotrebe ove tehnologije.
Omogućava da vidimo fizičke procese za koje znamo da postoje,
ali koje do sada nismo mogli da vidimo sopstvenim očima.
Ovo je naš tim.
Sve što sam vam pokazao danas je rezultat saradnje
fantastičnih ljudi koje vidite ovde,
i ohrabrujem vas i pozivam vas da posetite naš sajt,
da ga sami isprobate,
i priključite nam se u istraživanju ovog sveta malih pokreta.
Hvala vam.
(Aplauz)