Pogledajte nevidljivi pokreti, poslušajte nečujne zvukove. Zgodno ili pak jezivo? Ne znamo ni mi

Upoznajte "mikroskop za pokrete", alat za obradu snimaka koji reproducira majušne promjene u pokretu i boji koje su nevidljive golim okom. Istraživač videa Michael Rubinstein pokazuje nam niz zapanjujućih snimaka koje pokazuju kako ova tehnologija može pratiti puls i otkucaje srca pojedinca samo na temelju snimke. Gledajte kako reproducira razgovor pojačavajući pokrete zvučnih valova koji se odbijaju od vrećice čipsa. To je oduševljenja vrijedna, a opet pomalo zlokobna primjena ove tehnologije u koju nećete vjerovati dok je ne vidite vlastitim očima.

Tijekom posljednjih stoljeća
mikroskopi su promijenili naš svijet.

Otkrili su nam maleni svijet
predmeta, života i struktura

koje su premale
da bismo ih vidjeli golim okom.

One su ogroman doprinos
znanosti i tehnologiji.

Danas vam želim predstaviti
novu vrstu mikroskopa -

mikroskop za promjene.

Ne koristi optiku
kao običan mikroskop

koji uvećava manje objekte,

već koristi video-kameru
i prerađuje sliku

ne bi li nam otkrio najmanje pokrete
i promjene boje predmeta i ljudi,

pokrete koje je nemoguće
vidjeti golim okom.

to nam omogućava da svijet
promotrimo na potpuno nov način.

Na što mislim pod "promjene u boji"?

Npr. naša koža gotovo
nezamjetno mijenja boju

dok krv teče ispod nje.

To je izuzetno neprimjetna promjena,

a upravo zato kada gledate druge ljude,

kada gledate osobu koja sjedi do vas,

ne vidite kako njezina koža
ili njezino lice mijenja boju.

Kada gledamo ovaj video o Steveu,
izgleda nam kao statična slika,

ali nakon što ga pogledamo
kroz naš nov, poseban mikroskop,

odjednom vidimo sasvim drugačiju sliku.

Ovdje vidite male promjene
u Steveovoj boji kože

koja je povećana 100 puta
ne bi li te promjene postale vidljive.

Možemo zaista vidjeti čovjekov puls.

Možemo vidjeti koliko brzo
kuca Steveovo srce,

ali možemo vidjeti i kako mu točno
krv teče u lice.

To možemo učiniti ne samo
za vizualizaciju pulsa

nego i za umirivanje otkucaja srca

i mjerenje brzine njegova otkucaja.

To možemo učiniti pomoću običnih
kamera, bez da uopće dotaknemo pacijenta.

Ovdje vidite puls i otkucaje srca
neonatalne bebe izvučenog

iz videa snimljenog
običnom DSLR-kamerom,

a broj otkucaja srca jednako je

precizan kao i onaj kojeg dobijete
klasičnim pregledom u bolnici.

To čak ne mora biti ni video
koji smo mi osobno snimili.

Možemo to učiniti i s drugim videima.

Ovdje imam kratki isječak
iz filma "Batman: Početak",

samo da vam pokažem Baleov puls.

(Smijeh)

Samo da znate, vjerojatno je našminkan,

osvjetljenje je pravi izazov.

a ipak, samo na osnovu snimke
možemo izvući njegov puls

i prilično ga precizno prikazati.

Kako sad to?

Analiziramo snimljene promjene u svjetlu

na svakom snimljenom pikselu

i onda ih dodatno pojačamo.

Povećamo ih kako bismo ih mogli vidjeti.

Problematično je to što su ti signali,

te promjene koje tražimo iznimno suptilni

i moramo biti jako oprezni
kad ih pokušavamo razdvojiti

od buke koje uvijek ima na snimkama.

Služimo se pametnim tehnikama
računalne obrade slike

ne bismo li dobili iznimno točna
mjerenja boje na svakom pikselu,

a onda i mjerenja postupnih promjena boje

koje zatim pojačamo.

Povećamo ih ne bismo li stvorili
onakve povećane videe

koji uistinu pokazuju te promjene,

ali ispada da to nije dobro samo za
malene promjene u boji

već i za malene pokrete,

a to je zato što će se svjetlo
koje naše kamere snimaju

promijeniti ne samo ako se
boja predmeta promijeni

već i ako se predmet pokrene.

Ovo je moja kćer s otprilike dva mjeseca.

Video je snimljen prije neke tri godine.

Kao mladi roditelji svi mi želimo
da nam djeca budu zdrava,

da dišu i, naravno, da su živa.

Stoga sam i ja nabavio "baby monitor"

ne bih li pazio na kćer i dok spava.

Sve to imate i na klasičnom baby monitoru.

Vidite da dijete spava, ali nemate
nikakvih dodatnih informacija.

Nema se baš što vidjeti.

Ne bi li bilo bolje,
informativnije i korisnije

kad bismo mogli vidjeti ovo?

Pokrete sam uvećao trideset puta.

Po njima sam jasno vidio
da mi je kćer živa i da diše.

(Smijeh)

Ovdje imamo usporedni prikaz.

Kao što sam već rekao,
u originalnom videu

nema se baš što vidjeti,

no kada uvećamo pokrete,
disanje postaje uočljivije.

Izgleda da ima mnogo fenomena

koje možemo otkriti i povećati
našim novim mikroskopom za pokret.

Možemo vidjeti kako nam vene
i arterije pulsiraju tijelom.

Možemo vidjeti kako nam se oči

ljuljuškaju.

Ovo je moje oko.

I video je snimljen
odmah nakon rođenja kćeri,

dakle nisam baš puno spavao. (Smijeh)

Čak i kad osoba mirno sjedi,

mnogo informacija možemo izvući

iz njezinog disanja i
mikrofacijalnih ekspresija.

Možda ih možemo iskoristiti

kako bismo saznali nešto
o našim mislima ili emocijama.

Možemo povećati i male mehaničke pokrete

poput vibracija motora koje bi

inženjerima pomogle u pronalaženju
i dijagnosticiranju mehaničkih problema

ili u izučavanju kako se građevine
njišu na vjetru i reagiraju na sile.

Sve su to stvari koje čovječanstvo
može izmjeriti na razne načine,

ali njihovo je mjerenje jedna stvar,

a njihovo promatranje
dok se zaista događaju

potpuno je druga stvar.

Otkad smo otkrili tu novu tehnologiju,

objavili smo taj kod online
ne bi li ga i drugi mogli isprobati.

Vrlo je jednostavan za uporabu.

Možete ga koristiti
na vlastitim snimkama.

Naši suradnici u Quanta Researchu
stvorili su ovu zgodnu stranicu

gdje možete učitati svoje snimke
i tamo ih obrađivati,

pa čak i ako nemate nikakvog iskustva
s računarstvom i programiranjem,

možete vrlo lako eksperimentirati
s ovim novim mikroskopom.

Htio bih vam pokazati
tek nekoliko primjera

tuđih eksperimenata.

Ovaj je video napravio korisnik YT-a
pod korisničkim imenom "Tamez85".

Ne znam tko je to,

ali on/a je iskoristio naš kod

ne bi li uvećao male pokrete trbuha
tijekom trudnoće.

Malo je jezivo.

(Smijeh)

Ljudi su ga koristili ne bi li povećali
pulsirajuće vene na rukama.

To ne bi bila prava znanost
da se nije koristio zamorac,

ovo je zamorac Tiffany,

a ovaj korisnik YT-a tvrdi da je to
prvi glodavac na Zemlji

čije su kretnje uvećane.

Možete ga koristiti i u umjetničke svrhe.

Ovo mi je poslala
studentica dizajna na Yaleu.

Htjela je vidjeti
postoji li ikakva razlika

u načinu kretanja njenih kolega.

Natjerala ih je da mirno stoje,
a onda je uvećala njihove pokrete.

Kao da gledate kako
nepomične slike oživljavaju.

Ono što je dobro sa svim tim primjerima

jest to da mi nismo imali
nikakve veze s njima.

Mi smo ljudima samo dali taj novi alat,
nov način gledanja na svijet,

a onda su oni našli nove, zanimljive
i kreativne načine njegova korištenja.

No nismo se zaustavili samo na tome.

Taj alat ne samo da nam omogućava
da svijet promatramo na drugi način

već i redefinira što možemo raditi

i pomiče granice toga što možemo
raditi s našim kamerama.

Kao znanstvenici počeli smo se pitati

koji još fizički fenomeni
proizvode malene pokrete

koje bismo mogli izmjeriti kamerama.

Jedan takav fenomen na koji smo se
nedavno usredotočili jest zvuk.

Zvuk, kao što već znamo,
predstavlja promjene

u tlaku zraka koje putuju zrakom.

Ti tlačni valovi udaraju o predmete
i u njima stvaraju malene vibracije,

a tako čujemo i snimamo zvukove.

No ispada da zvuk proizvodi
i vizualne pokrete.

To su pokreti koji nama nisu vidljivi,

ali jesu vidljivi kameri
koja je za to opremljena.

Evo dva primjera.

Tu ja demonstriram
svoje sjajne pjevačke sposobnosti.

(Pjevanje)

(Smijeh)

Ubrzao sam video svog grla
dok sam pjevušio.

Ako se zagledate u video,

nemate tu što vidjeti,

ali kad pokrete uvećamo 100 puta,
vidimo sve pokrete i mreškanja

u vratu koja su zadužena
za proizvodnju zvuka.

Taj je signal u videu.

Znamo da pjevači mogu razbiti čaše za vino

ako pogode pravi ton.

Sada ćemo odsvirati ton

koja je u istoj frekvenciji kao i čaša

kroz zvučnik pored nje.

Kad odsviramo taj ton
i povećamo pokrete 250 puta,

jasno vidimo kako čaša vibrira

i odjekuje kao reakcija na zvuk.

To se ne vidi baš svaki dan,

što nas je natjeralo na razmišljanje.
Došli smo na jednu ludu ideju.

Mogli bismo preokrenuti taj proces
i povratiti zvuk iz videa

analizirajući malene vibracije
koje zvukovi stvaraju na predmetima

i ponovno ih pretvoriti
u zvukove koji su ih i proizveli.

Na taj način obične predmete
možemo pretvoriti u mikrofone.

I učinili smo upravo to.

Ovo je prazna vrećica čipsa
koja je bila na stolu

i pretvorit ćemo je u mikrofon

snimajući je kamerom

i analizirajući majušne pokrete
koje stvaraju zvučni valovi.

Ovo je sviralo u sobi.

(Glazba: "Mary Had a Little Lamb")

Ovo je ubrzani video
snimljene vrećice čipsa.

Ponovno puštamo.

Nema šanse da možete vidjeti
da se na tom videu nešto događa

samo gledajući ga,

ali evo zvuka koji smo uspjeli dobiti
samo analizirajući

malene pokrete na toj snimci.

(Glazba: "Mary Had a Little Lamb")

Ja to nazivam -- hvala vam.

(Pljesak)

Nazivam to vizualnim mikrofonom.

Izdvajamo zvučne signale iz videosignala.

Samo da vam malo približim
tu skalu pokreta --

prilično glasan zvuk pomaknut će
vrećicu čipsa za manje od mikrometra.

To je tisućina milimetra.

Toliko su maleni pokreti
koje sada možemo izvući

samo promatranjem
kako svjetlo odskakuje od predmeta

i kako ga naše kamere hvataju.

Možemo povratiti zvukove
i iz drugih predmeta, poput biljaka.

(Glazba: "Mary Had a Little Lamb")

A možemo povratiti i govor.

Ovdje osoba govori u prostoriji.

Glas: Marija je imala malo janje
čija vuna bijaše bijela poput snijega

i gdjegod da bi Marija pošla,
pošlo bi i janje s njom.

Michael Rubinstein:
A evo i tog govora koji smo povratili

samo iz videa one iste vrećice čipsa.

Glas: Marija je imala malo janje
čija vuna bijaše bijela poput snijega

i gdjegod da bi Marija pošla,
pošlo bi i janje s njom.

MR: Koristili smo "Mary Had a Little Lamb"

zato što su to prve riječi

koje je Thomas Edison 1877. godine
izgovorio u svoj fonograf.

Bio je to jedan od prvih uređaja
za snimanje glasa u povijesti.

Uređaj je zvukove
preusmjeravao u dijafragmu

od koje je vibrirala iglica koja je
gravirala zvuk u alu-foliju

koja je bila omotana oko cilindra.

Evo demonstracije snimanja i
reprodukcije zvuka Edisonovim gramofonom.

(Video) Glas: Test, test, jedan, dva, tri.

Marija je imala malo janje
čija vuna bijaše bijela poput snijega

i gdjegod da bi Marija pošla,
pošlo bi i janje s njom.

Test, test, jedan, dva, tri.

Marija je imala malo janje
čija vuna bijaše bijela poput snijega

i gdjegod da bi Marija pošla,
pošlo bi i janje s njom.

MR: A sada, 137 godina kasnije

možemo dobiti zvuk slične kvalitete,

ali putem kamera - promatranjem kako
predmeti vibriraju na zvukove,

a možemo to raditi i onda kad je kamera

udaljena od predmeta pet metara,
iza zvučno izoliranog stakla.

Ovo je zvuk koji smo uspjeli povratiti
u jednom takvom slučaju.

Marija je imala malo janje
čija vuna bijaše bila bijela poput snijega

i gdjegod da bi Marija pošla,
pošlo bi i janje s njom.

MR: Naravno, odmah se sjetite
mogućnosti nadzora.

(Smijeh)

Ali može biti korisno
i za neke druge stvari.

U budućnosti ćemo ga možda
moći koristiti i za, npr.

reprodukciju zvukova iz svemira

jer zvuk ne može putovati svemirom,
ali svjetlo može.

Tek smo počeli istraživati

druge mogućnosti korištenja
te nove tehnologije.

Daje nam da vidimo fizikalne procese
koji znamo da postoje,

ali koje nismo mogli vidjeti
vlastitim očima - sve dosad.

Ovo je naš tim.

Sve što sam vam danas pokazao
rezultat je suradnje

s ovom sjajnom grupom ljudi
koju tu vidite,

a potičem vas da posjetite
našu web-stranicu,

sami isprobate

i pridružite nam se
u otkrivanju svijeta mini-pokreta.

Hvala vam.

(Pljesak)