Uvidět neviditelné pohyby, slyšet tichý zvuk. Cool? Strašidelné? Nemůžeme se rozhodnout

Poznejte "mikroskop pohybu", nástroj zpracování videa, který zvětší malé změny v pohybu a barvě, neviditelné pro lidské oko. Vědec v oblasti videa Michael Rubinstein nám přehraje úžasné klipy, které ukazují, jak tato technologie vysleduje lidský puls a srdeční rytmus jen z krátkého videozáznamu. Sledujte, jak rekonstruuje rozhovor zvětšením pohybů způsobených zvukovými vlnami na balíčku od chipsů. Tyto působivé i děsivé aplikace nové technologie musíte vidět, abyste jim uvěřili.

Během několika posledních století nám
mikroskopy pomohly změnit pohled na svět.

Odhalily nám miniaturní svět
věcí, života a struktur,

které jsou příliš malé na to,
abychom je prostým okem viděli.

Jsou ohromným přínosem
pro vědu a techniku.

Dnes vám představím nový typ mikroskopu,

mikroskop změn.

Nepoužívá, jako normální mikroskop,

ke zvětšení malých věcí optiku,

ale videokameru a techniky
zpracování obrazu

k odhalení těch nejmenších změn
v pohybu a barvách věcí i lidí.

Změn tak malých, že je
lidské oko nepostřehne.

To nám umožňuje se na svět
dívat úplně novým způsobem.

Co mám na mysli tou změnou barvy?

Například naše kůže mění
lehounce svou barvu,

když pod ní protéká krev.

Tato změna je neuvěřitelně drobná,

a proto, když se díváme na ostatní lidi,

když se podíváte na člověka,
co sedí vedle vás,

tak nezpozorujete v jeho obličeji
ani na kůži žádnou změnu barvy.

Když si přehrajeme video Steva,
tak nám připadá jako statický obraz;

ale když se na toto video podíváme
naším novým speciálním mikroskopem,

najednou vidíme jinou věc.

To, co vidíme, jsou malé změny
v barvě Steveova obličeje,

stokrát zvětšené,
a tedy pro nás viditelné.

Můžeme dokonce i vidět jeho puls.

Můžeme nejen vidět, jak rychle
Steveovo srdce bije,

ale též kudy přesně krev
proudí v jeho obličeji.

Náš mikroskop můžeme použít
nejen k vizualizaci tepu,

ale též ke zjištění srdečního rytmu

a jeho změření.

A zvládáme to s pomocí normálních kamer,
bez dotyku s pacientem.

Tady vidíte tep a srdeční rytmus,
který jsme změřili u kojence

z videa pořízeného normální DSLR kamerou.

Takto získané měření

je stejně přesné jako měření získané
ze srdečního monitoru v nemocnici.

Dokonce to ani nemusí být video,
které jsme sami nahráli.

Zvládneme to i s cizími videi.

Tady jsem jen vzal krátký záběr
z filmu "Batman začíná",

abych ukázal puls Christiana Balea.

(Smích)

Víte, patrně má na sobě makeup,

takže světlo je zde trochu problematické,

ale stejně, jen z tohoto videa,
jsme vyextrahovali jeho puls

a názorně ho ukázali.

Takže jak to vše dokážeme?

V podstatě analyzujeme
změny světla v záznamu,

pro každý pixel v průběhu času,

a pak tyto změny zvětšíme.

Zvětšíme je, abychom je lépe viděli.

Záludná část je, že ty signály,

ty změny, co se snažíme změřit,
jsou extrémně malé,

takže je musíme opatrně oddělit

od šumu, který je vždy
ve videích přítomen.

Proto používáme chytré
techniky zpracování obrazu,

abychom získali velmi přesně
barvu každého pixelu ve videu.

Z toho zjistíme, jak se ta barva
v průběhu času mění,

a nakonec tyto změny zvětšíme.

Zvětšíme je, abychom vytvořili
takto vylepšená videa,

která názorně ukazují změny.

Ale ukázalo se, že můžeme udělat
to samé nejen k zobrazení změn barev,

ale též miniaturních pohybů.

A to díky tomu, že světlo,
které kamera zaznamená,

se změní nejen tehdy,
když objekt změní barvu,

ale i když se pohne.

Tady je má dcera,
když jí byly asi dva měsíce.

Toto video jsem pořídil
asi tak tři roky zpátky.

Jako čerství rodiče si chceme být jistí,
že jsou naše děti zdravé,

že dýchají a že jsou naživu.

Pořídil jsem si baby monitor,

abych mohl vidět dceru, když spí.

Toto je v podstatě to samé,
co uvidíte se standardním monitorem.

Vidíte, že díte spí,
ale víc informací se nedozvíte.

Moc toho nelze vidět.

Nebylo by lepší,
víc informativní či užitečné,

kdybychom se na to mohli podívat takto?

Tady jsem zvětšil
všechny pohyby třicetkrát,

a teď můžete jasně vidět, že má dcera
je skutečně živá a že dýchá.

(Smích)

Tady je porovnání vedle sebe.

A znovu, v původním videu,

toho není příliš vidět.

Ale jakmile zvětšíme změny,
dýchání je mnohem viditelnější.

A jak se ukazuje,
existuje spousta věcí,

které můžeme ukázat a zvětšit
naším novým pohybovým mikroskopem.

Můžeme vidět, jak naše
žíly a cévy pulzují.

Můžeme vidět, že se
naše oči stále pohybují

v tomto viklavém pohybu.

Toto je mé oko.

Video bylo též pořízeno krátce poté,
co se má dcera narodila,

takže můžete vidět, že jsem
toho moc nenaspal. (Smích)

I o člověku, který v klidu sedí,

je hodně informací,
které můžeme získat:

jeho vzor dýchání
či malé výrazy tváře.

Možná můžeme využít tyto pohyby,

aby nám prozradili něco
o našich myšlenkách či emocích.

Můžeme též zvětšit malé mechanické pohyby,

jako vibrace motorů,

což může pomoci inženýrům detekovat a
diagnostikovat problémy se stroji,

nebo vidět budovy a stavby,
jak se kývají ve větru.

To jsou všechno věci, které dnes
umíme měřit různými způsoby,

ale měření pohybů je jedna věc,

zatímco schopnost vidět,
jak se právě dějí,

je věc úplně jiná.

Jakmile jsme vytvořili
tuto novou technologii,

zpřístupnili jsme ji online, aby i ostatní
ji mohli vyzkoušet a experimentovat s ní.

Je velmi jednoduché ji použít.

Umí pracovat s vašimi vlastními videi.

Naši kolegové z Quanta Research
dokonce vytvořili tuto stránku,

kde můžete nahrát svá videa
a zpracovat je online,

takže i pokud nemáte žádné zkušenosti
s informatikou či programováním,

můžete snadno experimentovat
s naším novým mikroskopem.

Chtěl bych vám ukázat pár příkladů toho,

jak ostatní experimentovali.

Toto video bylo vytvořeno
uživatelem YouTube s přezdívkou Tamez85.

Nevím, kdo ten uživatel je,

ale on nebo ona použil náš program

ke zvětšení malých pohybů břicha
během těhotenství.

Je to trochu strašidelné.

(Smích)

Lidé náš program použili
ke zvětšení pulzujících žil v rukách.

A jak víte, nic není skutečná věda,
dokud nepoužijete morčata.

Toto morče se patrně jmenuje Tiffany.

Tento uživatel YouTube tvrdí,
že je to první hlodavec na Zemi,

jehož pohyb byl takto zvětšen.

Lze vytvořit i nové umění.

Toto video mi zaslala studentka
designu z univerzity Yale.

Chtěla vidět, jestli jsou rozdíly v tom,

jak se její spolužáci pohybují.

Nechala je všechny v klidu stát,
a pak zvětšila jejich pohyby.

Je to jako vidět fotografii ožít.

A skvělá věc na všech
těchto příkladech je,

že my s nimi nemáme nic společného.

My jsme jen zpřístupnili nový nástroj,
nový způsob, jak se dívat na svět,

a potom lidé přišli s novými, zajímavými
a kreativními způsoby, jak jej využít.

Ale my jsme u toho nezůstali.

Tento nástroj nám nejen
dává nový pohled na svět,

ale také redefinuje to, co umíme dělat,

a posouvá limity toho,
co zvládneme s kamerou.

Takže jsme jako vědci začali bádat:

jaké další fyzikální jevy
produkují miniaturní pohyby,

které by naše kamery mohly zachytit?

A jeden z těchto jevů, kterému se
v poslední době věnujeme, je zvuk.

Zvuk jsou ve své podstatě změny v tlaku,

které se pohybují vzduchem.

Tyto tlakové vlny narážejí do předmětů
a vytváří v nich malé vibrace,

díky kterým slyšíme a zaznamenáváme zvuk.

Ale ukazuje se, že zvuk
produkuje i vizuální pohyby.

Tyto pohyby nejsou viditelné pro nás,

ale jsou viditelné pro kameru
se správným zpracováním.

Takže tady máme dva příklady.

Tady prezentuji své
skvělé pěvecké schopnosti.

(Zpěv)

(Smích)

Vytvořil jsem vysokorychlostní
video svého krku.

Pokud se na něj podíváme,

moc toho neuvidíme,

ale pokud zvětšíme pohyby stokrát,
můžeme je vidět na krku spolu s vlnami,

které souvisí s tvorbou zvuku.

Ten signál je tam, ve videu.

Též víme, že zpěváci
zvládnou rozbít sklenici,

pokud trefí správný tón.

Takže tady pouštíme tón,

který má rezonanční frekvenci sklenice,

do reproduktoru vedle ní.

Po zapnutí a zvětšení pohybů 250 krát

můžeme jasně vidět, jak sklo vibruje

a rezonuje kvůli zvuku.

To není něco, co vidíte každý den.

Ale to nás donutilo se zamyslet.
A přivedlo nás to k šílenému nápadu.

Můžeme otočit tento proces
a získat zvuk z videa tím,

že zanalyzujeme miniaturní vibrace,
vytvořené zvukovými vlnami v objektech,

a převést je zpět na zvuk?

Tímto způsobem můžeme proměnit
obyčejné věci v mikrofony.

A přesně to jsme udělali.

Tady máme prázdný obal
od čipsů ležící na stole

a my ho proměníme v mikrofon tím,

že ho nahrajeme videokamerou

a zanalyzujeme miniaturní pohyby
vytvořené zvukem.

Tento zvuk jsme přehráli v místnosti.

(Hudba: "Mary Had a Little Lamb")

Nahráli jsme vysokorychlostní video
obalu od chipsů.

Hudba zase hraje.

Na tom videu nemáte šanci nic zpozorovat,

ale tady je zvuk, který jsme
zrekonstruovali z toho videa

analýzou miniaturních pohybů.

(Hudba: "Mary Had a Little Lamb")

Říkáme tomu - díky.

(Potlesk)

Říkáme tomu vizuální mikrofon.

Opravdu extrahujeme zvukový signál
ze signálu videa.

Abyste měli představu o velikosti pohybů,
které se zde odehrávají:

velmi hlasitý zvuk způsobí,
že se ten obal pohne o méně než mikrometr.

To je tisícina milimetru.

Tak miniaturní pohyby
teď zvládneme rozeznat

pouhým pozorováním
odrazů světla od objektů

našimi kamerami.

Můžeme získat zvuk
i z jiných předmětů, třeba květin.

(Hudba: "Mary Had a Little Lamb")

Zvládneme též extrahovat řeč.

Tady v místnosti hovoří člověk.

Hlas: Mary měla jehňátko
s vlnou bílou jako sníh,

a všude kam Mary šla,
jehňátko šlo s ní.

Michael Rubinstein: Tady je ta řeč získaná

z videa z obalu od chipsů.

Hlas: Mary měla jehňátko
s vlnou bílou jako sníh,

a všude kam Mary šla,
jehňátko šlo s ní.

MR: Použili jsme "Mary Had a Little Lamb",

protože to měla být první slova,

která pronesl Thomas Edison
do svého fonografu v roce 1877.

Byl to první zaznamenaný zvuk v historii.

V podstatě navedl zvuk na membránu,

která rozvibrovala jehlu
a ta vyryla zvuk na alobal,

který byl obalen kolem válečku.

Zde je ukážka záznamu a
přehrání zvuku Edisonovým fonografem.

(Video) Hlas: Test, test, jedna dvě tři.

Mary měla jehňátko
s vlnou bílou jako sníh,

a všude kam Mary šla,
jehňátko šlo s ní.

Test, test, jedna dvě tři.

Mary měla jehňátko
s vlnou bílou jako sníh,

a všude kam Mary šla,
jehňátko šlo s ní.

MR: A nyní, o 137 let později,

můžeme získat zvuk v podobné kvalitě

pouhým pozorováním objektů kamerou,
jak kvůli zvuku vibrují,

a dokonce to zvládneme s kamerou

vzdálenou 4.5 metru, za zvukotěsným sklem.

V tomto případě jsme zvládli
zrekonstruovat tento zvuk.

Hlas: Mary měla jehňátko
s vlnou bílou jako sníh,

a všude kam Mary šla,
jehňátko šlo s ní.

MR: První využití, které napadne
každého, je odposlech.

(Smích)

Ale může to být dobré i pro jiné věci.

Možná díky tomu například
zvládneme v budoucnu

zrekonstruovat zvuk napříč vesmírem,

neboť zvuk se ve vesmíru nešíří,
ale světlo ano.

Jen začínáme objevovat

další využití této nové technologie.

Díky ní lze vidět fyzické procesy,
o kterých víme, že existují,

ale které jsme zatím nebyli schopni
pozorovat vlastníma očima.

Toto je náš tým.

Vše, co jsem vám dnes ukázal,
je výsledkem spolupráce

s touto skvělou skupinou lidí

a já vám doporučuji navštívit
naši internetovou stránku,

vyzkoušejte si to sami,

a pojďte s námi objevovat
svět miniaturních pohybů.

Díky.

(Potlesk)