Бачити невидимі рухи, чути безшумні звуки. Класно? Моторошно? Ми й самі не знаємо

Зустрічайте "мікроскоп руху" - інструмент для обробки відео, здатний відтворити крихітні зміни в русі та кольорі, які неможливо побачити неозброєним оком. Дослідник Майкл Рубінштейн демонструє нам один за одним приголомшливі кліпи, показуючи, як нові технології відстежують пульс і серцебиття всього лиш із короткого відеозапису. Подивіться, як йому вдається відтворити розмову, підсилюючи рухи звукових хвиль, що відбиваються від пакетика чіпсів. Щоб повірити в це, ви мусите побачити неймовірно-натхненні й зловісні способи застосування цієї технології.

За останні декілька століть
мікроскопи змінили наш світ.

Вони відкрили нам крихітний світ
предметів, життів та структур,

яких ми досі не могли побачити неозброєним
оком через їхній малий розмір.

Вони зробили величезний внесок
у науку й технологію.

Сьогодні я б хотів представити
новий вид мікроскопа.

Мікроскоп для спостереження
за змінами.

В ньому немає лінз,
як у звичайному мікроскопі,

які б збільшували предмети,

але в нього є відеокамера та
система для обробки зображень,

які виявляють найменші рухи та
зміни кольору предметів та людей,

зміни, що неможливо побачити
неозброєним оком.

Він дає нам змогу поглянути на світ
у зовсім інший спосіб.

Що ж я маю на увазі під
змінами кольору?

Наприклад, наша шкіра
поступово змінює колір,

коли кров тече під нею.

Ці зміни ледь помітні,

і ось чому, коли ви
дивитесь на людину,

що сидить поряд з вами,

ви не помічаєте, як
її шкіра змінює колір.

Коли ми дивимось на відео Стіва,
нам здається, що він не рухається,

але якщо ми поглянемо на це відео
через наш спеціальний мікроскоп,

раптово з'явиться зовсім
інша картинка.

Все, що ми тут бачимо - це маленькі
зміни в кольорі шкіри Стіва

збільшені в 100 разів,
аби бути помітнішими.

Ми навіть можемо розгледіти пульс людини.

А також як швидко б'ється серце Стіва,

як кров приливає
до шкіри його обличчя.

Ми можемо зробити це не лише
для того, аби уявити собі пульс,

а щоб відновити нормальний
серцевий ритм

та виміряти його.

Ми можемо зробити це за допомогою
звичайної камери, не торкаючись пацієнта.

Зараз ви бачите пульс та серцевий ритм,
який ми виміряли у новонародженого

за допомогою відео, знятого
на звичайний дзеркальний фотоапарат.

Отримані показники точно
співпадають з тими,

що ми могли б одержати
зі звичайного монітора в лікарні.

Для цього нам навіть
не потрібно знімати відео.

Фактично, ми можемо зробити
це і з інших відео.

Зараз я покажу вам короткий уривок з
фільму "Бетмен: початок",

щоб ви побачили пульс Крістіана Бейла.

(Сміх)

Напевно, у нього багато гриму,

та й освітлення заважає.

Але все рівно, з цього відео
ми змогли дізнатись його пульс

і показати його вам.

Так от, як нам це все вдається?

Загалом ми аналізуємо зміни
світла, що записується,

у кожному пікселі відеозапису
за певний відрізок часу,

а потім збільшуємо ці зміни.

Ми збільшуємо їх настільки,
щоб ми могли їх бачити.

Проблема в тому, що ті сигнали,

ті зміни, які ми намагаємось розгледіти,
є ледь помітними,

тому потрібно бути вкрай обережним,
коли намагаєшся відокремити їх

від шуму, що завжди є на відео.

Ми використовуємо розумні
технології обробки відео,

щоб отримати найточніші дані
про колір у кожному пікселі,

і про те, як він змінюється
за період часу,

а потім ми посилюємо ці зміни.

Ми їх збільшуємо, щоб створити такий вид
покращеного, або просунутого відео,

що зображає ці зміни.

Виявляється, ми можемо показати не лише
найменші зміни кольору,

а й непомітні рухи,

тому що колір, записаний на камеру,

зміниться не лише,
якщо предмет змінює колір,

а й якщо він рухається.

Це моя дочка у віці приблизно 2 місяці.

Це відео я записав роки три тому.

Як усі молоді батьки, ми хотіли одного -
бути впевненими, що наші діти здорові,

що вони дихають, і звісно,
що вони - живі.

Я купив радіоняню,

аби спостерігати за донькою,
коли вона спить.

За допомогою звичайної радіоняні
ми побачимо доволі багато.

Ви можете спостерігати,
як спить дитина,

але цього замало.

Чи не було б краще чи інформативніше,
або корисніше,

якби ми могли дивитись на щось отаке.

На цьому відео я зняв рухи,
які я потім збільшив у 30 разів,

після чого я зміг переконатись,
що моя донька дійсно жива та дихає.

(Сміх)

Тут ми бачимо наочне порівняння.

І знову ж таки, на оригінальному відео

ми майже нічого не помічаємо,

але якщо збільшити рухи,
дихання видно набагато краще.

Насправді існує багато явищ,

які можна виявити та збільшити
за допомогою цього мікроскопа.

Можна побачити, як вени та артерії
пульсують у нашому тілі.

Можна побачити, як наші очі

постійно коливаються.

А ось і моє око,

це відео я зняв одразу ж
після народження доньки.

Як бачите, я спав не дуже багато.
(Сміх)

Навіть коли людина сидить нерухомо,

ми можемо отримати багато даних
про її спосіб дихання,

дрібні порухи обличчя.

Можливо, ми навіть можемо
використати ці дані,

аби прочитати думки чи емоції.

Ми також можемо збільшити
механічні рухи,

такі як вібрації двигуна,

що може допомогти механікам знайти
та визначити проблеми,

або як будинки та споруди хитаються
від вітру, та як на них діють сили.

Людство знає безліч способів,
як виміряти всі ці речі,

але виміряти ці рухи - це одне,

а спостерігати за ними -

зовсім інше.

З моменту, коли ми винайшли
цю нову технологію,

ми виклали програму онлайн, щоб інші могли
користуватись нею і експериментувати.

Вона дуже проста для користування.

Вона працює з вашими власними відео.

Наші колеги з Quanta Research
навіть розробити чудовий сайт,

де ви можете завантажити власне відео
та обробити його онлайн,

навіть якщо у вас немає досвіду
в інформатиці або програмуванні,

ви легко зможете поекспериментувати
з новим мікроскопом.

Зараз я покажу вам пару прикладів,

як ним користувались інші.

Це відео створив
користувач YouTube - Tamez85.

Мені невідомо, хто він,

але він чи вона використали нашу програму,

щоб збільшити крихітні рухи живота
під час вагітності.

Трохи моторошно.

(Сміх)

Люди використовували цю програму,
щоб збільшувати пульсування вен на руках.

І що ж це буде за наука
без тестування на морських свинках?

Ось цю звати Тіффані.

Цей користувач YouTube стверджує,
що це перший гризун на Землі,

чиї рухи було збільшено.

Разом з цією програмою
ви можете навіть творити.

Це відео надіслала мені студентка
факультету дизайну Уельського університету.

Вона хотіла поглянути,
чи є різниця в тому,

як рухаються її одногрупники.

Вона попросила їх не рухатись,
і потім збільшила їхні рухи.

Виглядає начебто оживають картинки.

Найприємніше в тих прикладах те,

що нам нічого не потрібно
робити для цього.

Ми створили цей інструмент,
спосіб по-новому поглянути на світ,

а люди знайшли інші цікаві,
новаторські способи користування ним.

Ми не зупинились на цьому.

Цей інструмент дає нам змогу
не лише поглянути на світ по-новому,

а й переосмислити наші можливості

та розширити межі використання наших камер.

Як науковці, ми почали розмірковувати,

які ще фізичні явища
створюють крихітні рухи,

що їх ми тепер можемо виміряти
за допомогою нової камери?

І один такий феномен, на якому
ми зосередилися недавно, - це звук.

Звук, як ми всі знаємо, - це здебільшого зміни

тиску повітря, що рухаються по повітрю.

Ці хвилі тиску вдаряють об'єкти,
і ті створюють незначні коливання,

що є тим, що ми чуємо,
і як записуємо звук.

Але виявляється, що звук
також виробляє візуальні рухи.

Ті рухи, що є непомітними для нас,

але помітні на камері
з правильною обробкою.

Ось два приклади.

Це я демонструю свої чудові
здібності до співу.

(Спів)

(Сміх)

Я зняв високошвидкісне відео
свого горла, коли я наспівував.

Знову ж таки, якщо ви
дивитеся на це відео,

не надто багато
ви зможете побачити,

але як тільки ми збільшили рухи в 100 разів,
ми бачимо всі рухи й пульсацію

в області шиї, які беруть участь
у виробленні звуку.

Цей сигнал є в цьому відео.

Ми також знаємо, що співаки
можуть розбити келих вина,

якщо потраплять у правильну ноту.

Так от, ми збираємося зіграти ноту,

яка є в резонансі
частоти цього скла

через гучномовець,
що поруч із ним.

Після того ми граємо цю ноту
і збільшуємо рухи в 250 разів -

дуже чітко бачимо, як скло вібрує

і резонує у відповідь на звук.

Таке не побачиш щодня.

Але це змусило нас задуматися.
Це наштовхнуло нас на божевільну ідею.

Чи можемо ми повернути цей процес
навспак і відновити звук з відео,

аналізуючи найдрібніші вібрації,
що їх звукові хвилі створюють в об'єктах,

і перетворити їх назад
у ті звуки, що їх ми виробляємо?

Таким чином, ми зможемо перетворити
предмети побуту в мікрофони.

Саме це ми й зробили.

Ось порожній пакетик з-під чіпсів,
що лежав на столі,

і ми збираємося перетворити
той пакетик чіпсів у мікрофон,

знімаючи його відеокамерою

та аналізуючи крихітні рухи,
що звукові хвилі створюють в ньому.

Ось звук, який ми грали в кімнаті.

(Музика: "У Мері було маленьке ягнятко")

І це високошвидкісне відео
ми записали з цього пакетика чіпсів.

Знову грає.

Ви ніяк не зможете побачити,
що відбувається на цьому відео,

просто глянувши на нього,

але ось звук, який ми змогли
відновити, просто проаналізувавши

крихітні рухи в цьому відео.

(Музика: "У Мері було маленьке ягнятко")

Я називаю це ... - Дякую.

(Оплески)

Я називаю це візуальний мікрофон.

Ми вирізали аудіосигнали
із відеосигналів.

Щоб ви розуміли, про який
масштаб рухів тут йдеться:

досить гучний звук змусить пакет чіпсів
порухатися не більше, ніж на мікрометр.

Це одна тисячна міліметра.

Ось якими крихітні є рухи,
що ми тепер в змозі виявити,

просто спостерігаючи, як світло
відбивається від об'єктів

і записується нашими камерами.

Ми можемо відновити звук
із інших об'єктів, як-от рослин.

(Музика: "У Мері було маленьке ягнятко")

Окрім того, ми можемо відновити мову.

До прикладу, голос людини в кімнаті.

Голос: "У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,

скрізь, куди Мері ходить,
ягня упевнено йде за нею".

Майкл Рубінштейн: А ось та ж
мова, відновлена

з цього відео,
з того ж таки пакетика чіпсів.

Голос: "У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,

скрізь, куди що Мері ходить,
ягня упевнено йде за нею".

МР: Ми використали пісню
"У Мері було маленьке ягнятко",

тому що вважається,
що це були перші слова,

що їх Томас Едісон сказав
у фонограф в 1877 році.

Це був один із перших звукозаписувальних
пристроїв в історії.

Він спрямовував звуки на діафрагму,

що змушувала вібрувати голку, і та
вигравіювала звук на фользі,

якою було обгорнуто циліндр.

Ось демонстрація запису і
відтворення звуку з фонографа Едісона.

(Відео) Голос: Тестування,
перевірка. Один, два, три.

У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,

скрізь, куди Мері ходила,
ягня впевнено йшло за нею.

Тестування, перевірка.
Один, два, три.

У Мері було маленьке ягнятко
чия шерсть була біла, як сніг,

скрізь, куди Мері ходила,
ягня упевнено йшло за нею.

МР: І тепер, через 137 років,

ми в змозі отримати звук
аналогічної якості,

всього лишень спостерігаючи через камеру,
як предмети вібрують від звуку,

і ми можемо зробити це,
навіть якщо камера

віддалена від об'єкта майже на 5 метрів,
і розташована за звуконепроникним склом.

Це звук, який ми відновили
в цьому випадку.

Голос: У Мері було маленьке ягнятко,
чия шерсть була біла, як сніг,

скрізь, куди Мері ходила,
ягня упевнено йшло за нею.

МР: Звичайно, найперше на думку спадає
використати цей винахід для стеження.

(Сміх)

Але ним можна скористатися і з іншою метою.

Можливо, в майбутньому ми зможемо
використовувати це, наприклад,

щоб відновлювати звук в космосі,

бо звук не поширюється
в космосі, на відміну від світла.

Ми тільки почали вивчати

інші можливі способи застосування
цієї нової технології.

Вона дає нам змогу бачити фізичні процеси,
про які ми знаємо,

але яких ми досі не могли
побачити на власні очі.

Це наша команда.

Все, що я показав вам сьогодні -
це результат співпраці

з цією великою групою
людей, яких ви бачите тут.

Я закликаю вас і запрошую
ознайомитися з нашим сайтом,

заходьте на нього

і приєднуйтесь до нас у вивченні
світу крихітних рухів.

Дякую.

(Оплески)