Огромный мир крохотных движений | Майкл Рубинштейн | TEDxYouth@BeaconStreet

«Микроскоп движений» — это инструмент для обработки видео, который увеличивает крохотные движения и изменения цвета, недоступные невооружённому глазу. Исследователь Майкл Рубинштейн показывает удивительные видео, в которых с помощью этой технологии определяет человеческий пульс и сердцебиение всего лишь из отрывка записи. Он воссоздаёт разговор, усилив порождённые звуковой волной вибрации в упаковке чипсов. Вы должны своими глазами увидеть и поверить как в высокое, так и в низменное применение этих технологий.

Это выступление записано на мероприятии TEDx, организованном независимо от TED Conferences.

За последние несколько столетий
микроскопы перевернули наш мир.

Они открыли нам мир крохотных
существ, объектов, структур

слишком малых, чтобы увидеть их
невооружённым глазом.

Вклад микроскопов в науку
и технологии огромен.

Сегодня я хотел бы рассказать вам
о новом типе микроскопа —

микроскопе для обнаружения перемен.

В отличие от обычного микроскопа
для увеличения маленьких объектов

здесь не используется оптика.

Вместо этого здесь используется
видеокамера и метод обработки изображений,

которые делают видимыми едва уловимые
движения и изменения цвета объектов,

то есть изменения, которые нельзя увидеть
невооружённым глазом.

А это позволяет нам совершенно по-новому
взглянуть на наш мир.

Что такое изменения цвета?

Наша кожа, например,
чуть заметно меняет цвет

при пульсации крови.

Это изменение еле заметно,

поэтому когда вы смотрите
на других людей,

на сидящего напротив вас человека,

вы не видите, что его лицо меняет цвет.

Вы смотрите на эту видеозапись Стива,
и картинка кажется неизменной,

но если мы посмотрим на неё
используя наш новый, особый микроскоп,

мы неожиданно увидим
совершенно другую картину.

То, что вы видите — незначительные
изменения цвета кожи Стива,

усиленные в 100 раз,
чтобы они стали заметными.

Мы можем увидеть пульс человека.

Мы можем увидеть, как бьётся сердце Стива

и как кровь течёт под кожей лица.

Но мы это делаем не только
чтобы увидеть пульс,

но и реально выявить частоту
сердечных сокращений

и измерить её.

Мы можем сделать это с помощью обычных
камер, не прикасаясь к пациентам.

Здесь вы видите пульс и частоту
сердечных сокращений новорождённого,

выявленные по видео, снятому
на цифровую зеркальную камеру,

и точность измерений сердечных сокращений

такая же, как и для обычного
больничного монитора.

Причём не обязательно,
чтобы видеозапись была именно наша.

Мы можем сделать то же самое
с чужими видео записями.

В этом коротком отрывке
из «Бэтмен: начало»

мы показали пульс Кристиана Бейла.

(Смех)

Скорее всего, он в гриме,

освещение здесь достаточно сложное,

но всё же нам достаточно этого видео,
чтобы определить пульс

и наглядно показать его.

Как мы всё это делаем?

По сути, мы анализируем
изменения в освещении

каждого пикселя изображения,

а затем усиливаем их.

Мы увеличиваем эти изменения,
делая их заметными.

Сложность состоит в том, что эти сигналы,

эти изменения, которые мы отслеживаем,
едва заметны,

поэтому мы должны
крайне осторожно отделять их

от случайных шумов,
неизбежных при видеозаписи.

Поэтому мы используем некоторые
продвинутые методы обработки видео,

чтобы очень точно определить цвет
каждого пикселя изображения

и то, как этот цвет меняется во времени,

а затем мы усиливаем эти изменения.

Мы усиливаем их, чтобы получить
усиленные или увеличенные видео,

которые наглядно показывают нам
эти изменения.

И оказывается, это можно делать не только
с еле заметными изменениями цвета,

но и с еле заметными движениями,

поскольку свет,
записанный нашими камерами,

будет меняться не только если
меняется цвет объекта,

но и если объект перемещается.

Это моя дочь, здесь ей два месяца.

Я записал это видео
примерно три года назад.

Любой молодой родитель хочет точно знать,
что его ребёнок здоров,

что он дышит,
что он жив, в конце-то концов.

Так что я купил детский монитор,

по нему я мог видеть свою девочку,
пока она спала.

В общем-то, это единственное,
что вам покажет такой монитор.

Вы увидите, что ребёнок спит,

но это не особо содержательно.

Мы не так много можем увидеть.

Не было бы лучше, информативнее, полезнее,

если бы вместо этого мы видели вот это?

Я заснял движения и увеличил их в 30 раз,

и теперь я ясно видел, что моя дочь

действительно жива и дышит.

(Смех)

Вот что мы увидим,
если поставить их рядом.

Ещё раз, в исходном видео, источнике,

доступной информации немного,

но после увеличения движений
дыхание становится заметным.

Оказалось, что существует
множество явлений,

которые мы можем выявить и увеличить
с нашим новым микроскопом.

Теперь мы видим наши вены и артерии,
в которых пульсирует кровь.

Мы видим, что наши глаза
постоянно находятся

в пульсирующем движении.

Это мой глаз,

а видео было снято
сразу после рождения моей дочери,

когда, как видите, я сильно не высыпался.
(Смех)

Даже когда человек спокойно сидит,

мы можем извлечь массу информации

о ритме дыхания или мелкой мимике.

Мы могли бы использовать
эти движения,

чтобы узнать что-нибудь
о наших мыслях или эмоциях.

Ещё мы можем усилить
мелкие механические движения,

такие как вибрация двигателя,

что могло бы помочь инженерам
найти проблемы в механизмах

или увидеть, как здания прогибаются под
порывами ветра и реагируют на воздействия.

У нас есть много способов,
чтобы измерить всё это,

но измерить — это одно,

а увидеть эти движения вживую —

совершенно другое.

После того, как мы создали
эту технологию,

мы сделали её код доступным онлайн,

чтобы его могли использовать другие люди.

Его очень просто использовать.

Он может обрабатывать ваши видео.

Наши коллеги из Quantum Research
даже создали этот отличный веб-сайт,

где вы можете загружать свои видео
и обрабатывать их онлайн,

и вам необязательно уметь
программировать,

чтобы экспериментировать
с новым микроскопом.

Я хочу показать вам пару примеров того,

что сделали другие люди.

Это видео пользователя YouTube
с ником Tamez85.

Я не знаю, кто это,

но он или она использовали наш код,

чтобы увеличить мелкие движения
живота во время беременности.

Выглядит жутковато.

(Смех)

Люди увеличивали пульсацию вен на руках.

И раз уж без морских свинок
не бывает науки,

вот вам морская свинка по кличке Тиффани,

и как утверждает этот пользователь
YouTube — это первый грызун на планете,

которого увеличили методом изменений.

Вы можете создавать
произведения искусства.

Это видео было прислано мне студенткой
с отделения дизайна Йеля.

Она хотела увидеть,
есть ли какие-то различия

в движениях её сокурсников.

Она засняла всех их, стоящих спокойно,
а потом увеличила движения.

Это как ожившие фотографии.

Во всех этих материалах хорошо то,

что мы не имеем никакого к ним отношения.

Мы просто дали новый инструмент,
новый способ взглянуть на наш мир,

и люди нашли другие новые, интересные,
творческие пути его использования.

Но мы не остановились на этом.

Этот инструмент не только позволяет нам
по-новому взглянуть на мир,

но и переопределяет то,
что мы можем,

расширяя границы возможностей
наших фотоаппаратов.

И нам как учёным стало интересно,

при каких ещё физических явлениях
возникают эти мельчайшие движения,

которые мы теперь можем измерить
с помощью наших фотоаппаратов?

Одним из таких явлений, на котором мы
недавно сосредоточились, стал звук.

Все знают, что звук —
это разница в давлении воздуха,

что распространяется по воздуху.

Волны этого давления воздействуют
на предметы и заставляют их вибрировать,

таким образом мы слышим и записываем звук.

Но оказалось, что звук порождает
и видимые движения.

Мы эти движения не видим,

но их видит фотоаппарат
с правильной обработкой.

Вот два примера.

Это я демонстрирую свои выдающиеся
навыки пения.

(Поёт)

(Смех)

А здесь я вдвое ускорил съёмку
своего горла во время пения.

На этих кадрах вам мало что видно,

но при увеличении в 100 раз,

становятся видны все движения
и пульсации шеи,

связанные с издаванием звуков.

И этот звук записан в этом видео.

Мы знаем, что певцы могут разбить бокал,

если возьмут нужную ноту.

Здесь мы проигрываем ноту

с такой же частотой резонанса,
как у этого бокала,

через стоящие перед ним динамики.

Воспроизведя ноту
и увеличив движения в 250 раз,

мы ясно видим, как бокал вибрирует

и входит в резонанс с нотой.

Такое увидишь не каждый день.

Наша демонстрационная версия
установлена здесь же в холле,

и я призываю вас остановиться

и поэкспериментировать с этим
самостоятельно, увидеть всё вживую.

И это заставило нас задуматься.
У нас возникла одна безумная идея.

Можем ли мы обратить этот процесс
и восстановить звук по видео,

по анализу малых движений,
создаваемых звуковыми волнами в предметах,

и перевести их обратно в звук,
который их породил?

Так мы можем превращать обычные
предметы в микрофоны.

Именно это мы и сделали.

Вот на столе пустая упаковка от чипсов,

и чтобы превратить её в микрофон,

мы снимаем её на видеокамеру

и анализируем её мелкие вибрации,
возникшие из-за звуковой волны.

Вот то, что прозвучало в комнате.

(Музыка: «Mary Had a Little Lamb»)

(Конец музыки)

А вот высокоскоростная съёмка
этой упаковки от чипсов.

Снова звучит музыка.

Вы никогда не смогли бы увидеть
что-то на этом видео

при простом просмотре,

но мы можем восстановить звук,
просто анализируя

снятые нами мелкие вибрации.

(Музыка: «Mary Had a Little Lamb»)

(Конец музыки)

Я называю это... Спасибо.

(Аплодисменты)

Я называю это визуальным микрофоном.

По сути, мы извлекаем аудио сигнал
из видеосигнала.

И чтобы вы поняли масштаб
этих вибраций:

при достаточно громком звуке
эта упаковка

пошевелится меньше,
чем на микрометр.

Это одна тысячная миллиметра.

Настолько малы движения,
которые мы можем выявить,

просто наблюдая за тем,
как свет отражается от предметов,

и записав это на видео.

Можно извлечь звук и из других
предметов, например, растений.

(Музыка: «Mary Had a Little Lamb»)

(Конец музыки)

И мы можем восстановить также речь.

Вот человек говорит в комнате.

Голос: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

Майкл Рубинштейн: А вот звук речи,
восстановленный

из видео по той же упаковке от чипсов.

Голос: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
that lamb was sure to go.

МР: Мы использовали
«Mary had a little lamb»,

потому что это первые слова,

которые Томас Эдисон записал
с помощью фонографа в 1877 году.

Это первое звукозаписывающее
устройство в истории.

Звуки в нём направляются на диафрагму,

в результате чего игла вибрирует,
записывая звук на оловянную фольгу,

обёрнутую вокруг цилиндра.

Вот демонстрация записи

и воспроизведения звука
на фонографе Эдисона.

(Видео) Голос: Testing,
testing, one two three.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

Testing, testing, one two three.

Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

МР: Сегодня, спустя 137 лет,

мы можем извлечь звук
такого же качества,

просто снимая на камеру вибрации предметов
под воздействием звука,

мы можем это, даже если камера

находится в 4,5 метрах от объекта
за звуконепроницаемым стеклом.

Вот звук, который мы смогли восстановить
в нашем случае.

Голос: Mary had a little lamb
whose fleece was white as snow,

and everywhere that Mary went,
the lamb was sure to go.

МР: Конечно, первая область применения,
которая приходит на ум — это слежка.

(Смех)

Но в действительности есть и другие
способы полезного применения.

Возможно, мы сможем
использовать это, например,

чтобы извлечь звук из космоса,

ведь звук не распространяется в космосе,
но распространяется свет.

Мы только начинаем исследовать

другие возможности применения
этой новой технологии.

Теперь мы можем наблюдать процессы,
о существовании которых знаем,

но которых мы до сих пор никогда
не могли увидеть собственными глазами.

Это наша команда.

Всё, что я показывал сегодня, —
результат сотрудничества

группы замечательных людей,
которых вы видите,

и я призываю вас и буду рад,
если вы зайдёте на наш сайт,

попробуете сами

и присоединитесь к нам в исследовании
мира микроскопических движений.

Спасибо.

(Аплодисменты)