Većina nas shvata pokret kao nešto izrazito vizuelno.
Ako hodam po ovoj bini ili mrdam rukama dok govorim,
taj pokret je nešto što možete da vidite.
Ali postoji ceo svet važnih pokreta koji je nevidljiv za ljudsko oko,
i proteklih nekoliko godina,
počeo sam da shvatam da kamere
često mogu da vide pokret koji ljudsko oko ne može.
Pokazaću vam na šta mislim.
Sa leve strane, možete videti snimak nečijeg zgloba,
a sa desne strane, snimak bebe koja spava,
ali da vam nisam rekao da su ovo video snimci,
možda biste pomislili da gledate u dve najobičnije slike,
zato što u oba slučaja,
ovi snimci deluju potpuno mirno.
Zapravo, dosta nevidljivih pokreta imamo ovde,
i ako biste dotakli zglob na levoj strani,
osetili biste puls,
a kada biste držali bebu, s desne strane,
ostetili biste podizanje i spuštanje njenih grudi
dok udiše i izdiše.
Ovi pokreti su od velikog značaja,
ali su obično jako mali da bi ih mi uočili,
pa zbog toga, moramo da ih posmatramo
kroz direktni kontakt, kroz dodir.
Ali pre nekoliko godina,
moj kolega sa MIT-a je razvio nešto što oni zovu mikroskopom pokreta,
što je zapravo softver koji nalazi ove male pokrete, snima ih
i uvećava pa time postaju dovoljno veliki da ih mi vidimo.
Dakle, ako primenimo softver na levi snimak,
omogućava nam da vidimo puls na zglobu,
a ako bismo merili puls,
mogli bismo čak i izmeriti otkucaj srca ove osobe.
A ako primenimo isti softver na snimak desno,
moći ćemo da vidimo svaki udisaj bebe,
i možemo ovo da iskoristimo kao nedirektno nadgledanje njenog disanja.
Dakle, ova tehnologija je jako moćna, zato što ove pojave
u normalnim uslovima doživljavamo kroz dodir,
i pamtimo ih vizuelno i neinvazivno.
Pre par godina, počeo sam da radim sa ljudima koji su napravili taj softver,
i odlučili smo da pratimo jednu ludu ideju.
Pomislili smo, kul je što možemo da upotrebimo softver
da predočimo majušne pokrete poput ovog,
a možemo to shavatiti kao način kojim pojačavamo naš osećaj za dodir.
Ali šta ako bismo mogli da učinimo isto sa osećajem sluha?
Šta ako bismo mogli da koristimo video za beleženje zvučnih vibracija,
koje su samo druga vrsta pokreta,
i pretvorimo sve što vidimo u mikrofon?
Sad, ovo je pomalo čudna ideja,
pa me pustite da vam predočim.
Obični mikrofoni funkcionišu tako što pretvaraju vibriranje
unutrašnje dijafragme u elektornski signal,
a ta dijafragma je dizajnirana da se pomera uporedo sa zvukom,
pa se njeno vibriranje beleži i interpretira kao audio zapis.
Međutim, zvuk uzrokuje da svi objekti vibriraju.
A te vibracije su obično neprimetne i jako brze za nas da bismo ih uočili.
Dakle, šta ako bi ih beležili kamerom velike brzine,
a zatim upotrebili softver da pojačamo sićušne vibracije
sa našeg brzog snimka,
i analiziramo te vibracije da bismo shvatili kakvi ih zvuci stvaraju?
Ovo bi nam dozvolilo da prebacimo vidljive predmete u vizuelne mikrofone sa distance.
Pa smo ovo i isprobali.
Evo jednog od eksperimenata,
gde smo uzeli ovu biljku u saksiji, koju možete da vidite sa desne strane,
i snimili smo kamerom velike brzine,
dok je zvučnik u blizini puštao ovaj zvuk.
(muzika: "Meri je imala malo jagnje")
A evo snimka koji smo snimili,
a snimili smo ga pri 1000 sličica u sekundi,
ali čak i kada pogledate bliže,
sve što vidite su neki listovi
koji jednostavno samo stoje i ne rade bilo šta,
zato što je naš zvuk pomerao ove listove samo za mikrometar ili dva.
To je desetohiljaditi deo centimetra,
što predstavlja između stotog i hiljaditog dela piksela
na ovoj slici.
Dakle, možete škiljiti koliko god želite,
ali toliko mali pokret je vizuelno prilično nevidljiv.
Ali ispostavlja se da nešto što može da bude čulno nevidljivo
i dalje može biti numerički značajno,
time što sa adekvatnim algoritmima,
možemo uzeti ovaj tih, naizgled miran snimak
i vratimo ovaj zvuk.
(muzika: "Meri je imala malo jagnje")
(Aplauz)
Kako je ovo moguće?
Kako možemo dobiti toliko informacija iz toliko sitnih pokreta?
Pa, recimo da se ti listovi pomeraju za jedan mikrometar,
i recomo da to pomera našu sliku za jedan hiljaditi deo piksela.
To možda ne deluje mnogo,
ali jedna sličica snimka
može da sadrži stotine hiljada piksela u sebi,
pa tako ako iskombinujemo sve ove sitne pokrete koje vidimo
preko cele slike,
odjednom hiljaditi deo piksela
može doprineti nečemu jako bitnom.
Lično, bili smo prilično zapanjeni kada smo ovo otkrili.
(Smeh)
Ali i sa pravim algoritmom,
i dalje nam je nedostajao jako bitan deo slagalice.
Vidite, postoji veliki broj faktora koji utiču kada i koliko dobro će
ova tehika raditi.
U pitanju je objekat i koliko je on daleko;
zatim, kamera i sočiva koja koristite;
koliko je objekat osvetljen i koliko je jak vaš zvuk.
I sa odgovarajućim algoritmom,
moramo biti jako pažljivi sa našim prvim eksperimentima,
zato što ako bilo koji od ovih faktora bude poremećen,
ne postoji način da shvatimo šta je u pitanju.
Zauzvrat bismo dobili samo buku.
Pa prema tome, većina naših prvih eksperimenata je ovako izgledala.
Evo mene,
dole levo možete videti kameru velike brzine,
koja je usmerena ka kesici čipsa,
a cela stvar je osvetljena ovim jakim lampama.
Kao što sam rekao, morali smo da budemo jako pažljivi sa prvim eksperimentima,
i to je ovako izgledalo.
(Snimak) Eb Dejvis: Tri, dva, jedan, kreni.
Meri je imala malo jagnje! Malo jagnje! Malo jagnje!
(Smeh)
ED: Dakle, ovaj eksperiment je izgledao potpuno smešno.
(Smeh)
Mislim, vičem na kesicu čipsa,
(Smeh)
i osvetili smo je toliko jakom svetlošću,
da smo bukvalno istopili prvu kesicu kada smo probali ovo. (Smeh)
Ali koliko god smešno izgledao ovaj eksperiment,
bio je, zapravo, jako bitan,
zato što smo mogli da povratimo zvuk.
(Audio) Meri je imala malo jagnje! Malo jagnje! Malo jagnje!
(Aplauz)
ED: Ovo je bilo značajno,
zato što je to bio prvi put da smo uspeli da povratimo razumljiv ljudski govor
tihog snimka jednog objekta.
Dakle, ovo nam je dalo ovakve rezultate,
i vremenom smo mogli da počnemo da modifikujemo eksperiment
koristeći različite objekte ili pomerajući objekat dalje,
koristeći slabije svetlo ili tiši zvuk.
Analizirali smo sve ove ekperimente
dok nismo zaista shvatili granice naše tehnike,
zato što kada smo jednom shvatili granice,
smislili bismo kako da ih gurnemo dalje.
A to nas je dovelo do eksperimenta poput ovog,
gde ja, ponovo, govorim kesi čipsa,
ali ovog puta smo pomerili kameru oko 4,5 m dalje,
van, iza zvučno izolovanog prozora,
i cela ova stvar je osvetljena samo prirodnom svetlošću.
I evo snimka koji smo snimili.
A ovako se stvari čuju iznutra, pored kese čipsa.
(Audio) Meri je imala malo jagnje, čije je runo bilo belo kao sneg
i kuda god je Meri išla, jagnje je išlo s njom.
ED: A ovo smo uspeli da povratimo sa našeg tihog snimka
snimljenog van, iza tog prozora.
(Audio) Meri je imala malo jagnje čije je runo bilo belo kao sneg,
i kuda god je Meri išla, jagnje je išlo s njom.
(Aplauz)
ED: A postoje, takođe, i drugi načini kako da pomerimo granice.
Time, ovde imamo tiši eksperiment,
gde smo snimili jedne slušalice priključene na laptop,
gde je naš cilj bio da muziku koja je puštena na laptopu
povratimo sa tihog snimka
sa ove dve male plastične bubice,
i uspeli smo da uradimo to tako dobro
da smo mogli naše rezultate koristiti čak i na Šazemu.
(Smeh)
(Muzika: "Pod pritiskom", grupa Kvin)
(Aplauz)
A možemo i poboljšati stvari menjajući hardver koji koristimo.
Jer su eksperimenti koje sam vam pokazao do sada
napravljeni kamerom, kamerom velike brzine,
koja može da napravi snimak oko 100 puta brže
u odnosu na većinu mobilnih telefona,
ali takođe smo našli način da upotrebimo ovu tehniku
sa mnogo običnijim kamerama,
i uradili smo to tako što smo iskoristili nešto što se zove pokretni okidač.
Vidite, većina fotoaparata snima slike jedan po jedan red,
tako da ako se predmet pomeri tokom snimanja jedne slike,
postoji kratko kašnjenje između svakog reda
i zbog ovoga ostaju blagi tragovi
koji se kodiraju u svaki frejm snimka.
Otkrili smo da analizom ovih tragova
zapravo možemo povratiti zvuk koristeći izmenjenu verziju našeg algoritma.
Evo eksperimenta koji smo uradili,
gde smo snimili kesicu bombona
dok se iz zvučnika u blizini čulo
ista muzika od pre: "Meri je imala malo jagnje",
ali ovog puta smo koristili običan fotoaparat iz prodavnice
i sada ću vam pustiti zvuk koji smo povratili,
i ovog puta će zvučati izmenjeno,
ali slušajte i vidite da li još uvek možete da prepoznate muziku.
(Audio: "Meri je imala malo jagnje")
Opet, to zvuči izmenjeno,
ali ovde je zaista neverovatno to što smo ovo mogli da uradimo
sa nečim što bukvalno možete otići
i kupiti u lokalnoj prodavnici bele tehnike.
U ovom trenutku,
mnogi ljudi vide kako ovo radi
i odmah pomisle na nadgledanje.
Da budem iskren, nije teško zamisliti
kako biste mogli koristiti ovu tehnologiju da špijunirate nekoga.
Ali imajte na umu da trenutno već postoji dosta veoma razvijene tehnologije
za nadgledanje.
Zapravo, ljudi su decenijama koristili lasere
kako bi prisluškivali sa udaljenosti.
Ali ono što je ovde zaista novo,
zaista drugačije,
je da sada imamo način da prikažemo vibracije na predmetu,
što nam daje novi objektiv kroz koji možemo gledati svet
i taj objektiv možemo koristiti
da saznamo, ne samo o silama poput zvuka od kojih predmet vibrira,
nego i o samom predmetu.
Želim da se udaljim
i razmislim o tome kako to može da promeni način na koji koristimo video,
jer video obično koristimo da posmatramo stvari
i pokazao sam vam upravo kako ga možemo koristiti
da slušamo stvari.
Ali tu je važan način na koji saznajemo stvari o svetu -
kroz interakciju.
Guramo i vučemo i pritiskamo i čačkamo stvari.
Tresemo ih da vidimo šta će se desiti.
A video nam još uvek ne dozvoljava to,
makar ne u tradicionalnom smislu.
Želim da vam pokažem neke nove radove,
a ovo je zasnovano na zamisli koju sam imao pre nekoliko meseci,
ovo je zapravo prvi put da to pokazujem pred publikom.
Osnovna ideja je da ćemo koristiti vibracije u video snimku
da snimimo predmete na način koji će nam dozvoliti interkaciju sa njima
i da vidimo kako reaguju na nas.
Evo predmeta,
i u ovom slučaju to je žičana figura u obliku čoveka,
i taj predmet ćemo snimiti običnim fotoaparatom.
Dakle, nema ničeg posebnog u vezi sa ovim fotoaparatom.
Zapravo, ovo sam pre radio sa svojim telefonom.
Ali želimo da vidimo da predmet vibrira,
i kako bi se to desilo,
samo malo ćemo udariti površinu gde predmet stoji
dok snimamo ovaj video.
To je to: samo pet sekundi običnog video snimka,
dok lupamo po površini
i iskoristićemo vibracije iz tog videa,
kako bismo saznali strukturna i materijalna svojstva našeg predmeta
i iskoristićemo te informacije da stvorimo nešto novo i interaktivno.
Evo šta smo stvorili.
Izgleda kao obična slika,
ali ovo nije slika i nije video,
jer sada mogu da uzmem miš
i da budem u interakciji sa ovim predmetom.
Ovde možete videti
simulaciju toga kako bi ovaj predmet
odgovorio na nove sile koje do sada nismo videli,
i to smo stvorili iz samo pet sekundi običnog video snimka.
(Aplauz)
Ovo je zaista moćan način da se posmatra svet
jer nam dozvoljava da predvidimo kako će predmeti odgovoriti
na nove situacije
i možete da zamislite, na primer, kako gledate stari most
i pitate se šta bi se desilo, kako bi se ponašao taj most
kada bih prešao preko njega svojim automobilom.
A to je pitanje na koje verovatno želite da odgovorite
pre nego što počnete da vozite preko tog mosta.
Naravno, biće nekoliko ograničenja za ovu tehniku,
kao što ih je bilo i sa vizuelnim mikrofonom,
ali otkrili smo da funkcioniše u mnogim situacijama
gde to ne biste očekivali,
naročito ako radite sa dužim snimcima,
Na primer, evo video zapisa koji sam napravio
gde je žbun ispred mog stana,
a njemu nisam radio ništa
osim što sam ga snimao jedan minut,
lagan povetarac izazvao je dovoljno vibracija
da smo mogli da saznamo dovoljno o ovom žbunu da napravimo simulaciju.
(Aplauz)
Možete da zamislite da ovo date filmskom režiseru
i date mu da kontroliše, na primer,
jačinu i pravac vetra u snimku nakon što je on nastao.
Ili, u ovom slučaju, uperili smo fotoaparat u zavesu koja visi
i u ovom snimku čak ni ne možete da vidite bilo kakvo kretanje,
ali snimanjem videa dugog dva minuta,
prirodne vazdušne struje u prostoriji
stvorile su dovoljno suptilnog, neprimetnog kretanja i vibracija
da možemo da saznamo dovoljno da stvorimo ovu simulaciju.
Ironično je to
kako smo nekako priviknuti da imamo ovakvu vrstu interaktivnosti
kod virtuelnih predmeta,
što se tiče video igara i 3D modela,
ali kako bismo dobili ove informacije iz pravih predmeta iz stvarnosti,
koristeći proste, obične video snimke,
to je nešto novo što ima dosta potencijala.
Evo neverovatnih ljudi koji su sa mnom radili na ovom projektu.
(Aplauz)
Ono što sam vam pokazao danas je samo početak.
Samo smo zagrebali površinu toga
što možete da uradite sa ovim načinom prikazivanja slika,
jer nam to daje novi metod
da snimimo svoju okolinu, prostom, dostupnom tehnologijom.
Gledajući u budućnost,
biće zaista zanimljiva za istraživanje toga
šta nam ovo može reći o svetu.
Hvala vam.
(Aplauz)