Privește mişcări invizibile, ascultă sunete silenţioase.

Faceţi cunoştinţă cu „microscopul mişcărilor”, un instrument de video-procesare care redă mici schimbări ȋn mişcare şi culori, imposibil de văzut cu ochiul liber. Cercetătorul video Michael Rubinstein ne rulează secvenţe care ne lasă cu gura căscată arătându-ne cum această tehnologie poate reda pulsul sau ritmul cardiac al unei persoane doar printr-un video. Urmăriţi-l cum resintetizează o conversaţie amplificând mişcările generate de unde sonore care ricoşează ȋntr-o pungă de chipsuri. Trebuie să vezi utilizările inspiraţionale şi ciudate ale acestei tehnologii ca să crezi.

În ultimele secole,
microscoapele ne-au revoluţionat lumea.

Ne-au dezvăluit o lume minusculă
a obiectelor, vieţii şi structurilor,

prea mici să le vedem cu ochiul liber.

Au o contribuţie imensă
în ştiinţă şi tehnologie.

Azi vreau să vă prezint
un nou tip de microscop,

un microscop pentru schimbări.

Nu foloseşte optica,
precum un microscop obişnuit

pentru a mări obiecte mici,

ci foloseşte o cameră video
şi procesarea imaginilor

pentru a dezvălui mişcări imperceptibile,

schimbări de culori la obiecte şi oameni,

schimbări imposibil de perceput
cu ochiul liber.

Şi ne permite să privim lumea
ȋntr-un mod cu totul nou.

Ce vreau să zic prin schimbări de culoare?

Pielea, de exemplu,
ȋşi schimbă culoarea foarte puţin

când sângele curge sub ea.

Schimbarea e insesizabilă,

de aceea, când te uiţi la alţi oameni,

când te uiţi
la persoana care stă lângă tine

nu le vezi pielea sau fața
schimbându-și culoarea.

Când urmărim acest videoclip cu Steve,
ȋl vedem ca o imagine statică,

dar când îl urmărim
prin noul nostru microscop special,

observăm imediat
o imagine cu totul diferită.

Vedeţi mici schimbări
ale culorii pielii lui Steve,

amplificate de 100 de ori
pentru a deveni vizibile.

Putem vedea şi pulsul uman.

Putem vedea
cât de repede bate inima lui Steve,

dar vedem efectiv modul ȋn care
curge sângele prin faţa lui.

Putem face asta
nu doar ca să vizualizăm pulsul,

ci şi pentru măsurarea ritmului cardiac.

Şi facem asta cu camere video obişnuite
şi fără să atingem pacienţii.

Aici vedeți pulsul şi ritmul cardiac
al unui copil aflat in perioada neonatală

dintr-un video
realizat cu o cameră obişnuită DSLR,

iar măsurarea ritmului cardiac evaluată
este la fel de precisă

ca cea a unui aparat standard
folosit ȋn spitale.

Nici nu trebuie să fie neapărat
înregistrarea noastră.

Putem face la fel
şi cu alte video înregistrări.

Am luat o scurtă secvenţă
din filmul „Batman – Începuturi"

doar ca să arăt pulsul lui Christian Bale.

(Râsete)

Şi probabil poartă machiaj,

luminozitatea e destul de problematică,

totuşi, plecând de la video
am reușit să extragem pulsul

şi să-l arătăm destul de bine.

Deci cum facem toate astea?

Analizăm schimbările de luminozitate

ȋnregistrate ȋn clip de fiecare pixel
în timp

şi apoi amplificăm acele schimbări.

Le facem mai mari
ca să le putem observa.

Partea complicată sunt acele semnale,

acele schimbări pe care le urmărim
sunt extrem de subtile

deci trebuie să fim foarte atenţi
când ȋncercăm sa le separăm

de zgomotul existent mereu în videouri.

Folosim tehnici inteligente
de procesare a imaginilor

pentru a obţine o măsurare precisă
a culorii fiecărui pixel din video

şi apoi schimbarea în timp a culorii

după care amplificăm schimbările.

Le intensificăm pentru a crea
clipuri ȋmbunătăţite sau amplificate

care ne revelează acele schimbări.

Dar putem face asta
nu doar pentru schimbări infime de culoare

dar și micromişcări,

şi asta pentru ca lumina ȋnregistrată
ȋn camerele noastre

se schimbă nu numai când
culoarea obiectului se schimbă,

ci şi dacă obiectul se mișcă.

Aceasta e fiica mea când avea 2 luni.

E un filmuleţ ȋnregistrat acum 3 ani.

Ca părinţi, toţi vrem să ne asigurăm
că ne sunt sănătoşi copiii,

că respiră, că sunt vii, bineȋnţeles.

Mi-am luat şi eu un monitor
pentru bebeluşi

ca să ȋmi pot vedea fiica dormind.

Cam asta vedem
cu un monitor standard de bebeluşi.

Vezi copilul dormind,
dar nu ai prea multe informaţii.

Nu vezi prea multe.

N-ar fi mai bine, mai informativ
sau mai folositor,

dacă am putea vedea lucrurile aşa?

Aici am luat mişcările
şi le-am amplificat de 30 de ori.

şi așa am văzut clar că fiica mea
era cu adevărat vie și respira.

(Râsete)

Iată o comparaţie ȋntre cele două.

În filmuleţul sursă, ȋn videoul original,
nu vedem prea multe,

dar când amplificăm mişcările,
respiraţia devine mult mai vizibilă.

Şi există multe fenomene

ce pot fi dezvăluite şi amplificate
cu noul nostru microscop de mişcare.

Vedem cum venele şi arterele
pulsează ȋn organismele noastre.

Vedem că ochii se mişcă continuu

ȋntr-o mişcare oscilatorie.

Acesta este ochiul meu,

iar înregistrarea a fost făcută
la scurt timp după ce s-a născut fiica mea

aşa că vedeți
că nu prea reuşeam să dorm.

(Râsete)

Chiar şi când o persoană stă nemişcată,

putem extrage multe informaţii

despre obiceiurile lor de respiraţie,
microexpresiile lor faciale.

Poate am putea folosi aceste mişcări

pentru a ne analiza gândurile şi emoţiile.

Putem amplifica şi mici mişcări mecanice,

precum vibraţii ȋn motoare,

care pot ajuta inginerii să
identifice problemele maşinilor,

sau să observe clădiri şi structuri

oscilând ȋn bătaia vântului
şi reacţionând la forţe.

Astea sunt măsurători pe care societatea
ştie să le facă ȋn diferite moduri,

dar să măsori mişcările
este una,

iar să vezi în timp real,

e cu totul altceva.

De când am descoperit
această nouă tehnologie,

am publicat codul online ca alții să-l
utilizeze şi să-l experimenteze.

Este uşor de utilizat.

Poate funcţiona şi pe clipurile voastre.

Colaboratorii de la Quantum Research
au şi creat un website

unde poţi încărca
și procesa videourile online,

chiar dacă n-ai deloc experienţă
ȋn ştiinţa computerelor sau programare,

poţi experimenta totuşi
cu acest nou microscop.

Aş dori să vă arăt doar câteva exemple

de ce au făcut alţii cu microscopul.

Acest video a fost făcut
de un utilizator YouTube, Tamez85.

Nu ştiu cine este acest utilizator,

dar el sau ea a folosit codul nostru

să amplifice mici mişcări
ale pântecului ȋn timpul sarcinii.

E ciudat.

(Râsete)

Alţi oameni l-au folosit pentru a-şi amplifica
pulsul venelor de pe mână.

Şi nu-i ştiinţă adevarată
până nu-i testată pe cobai,

se pare că numele acestui
porcuşor de Guinea este Tiffany,

iar acest utilizator YouTube susține
că e prima rozătoare de pe pămant

ale cărei mişcări au fost amplificate.

Puteţi realiza şi artă cu el.

O studentă la design de la Univ. Yale
mi-a trimis acest fimuleţ.

Vroia să vadă dacă este vreo diferenţă

ȋntre modurile ȋn care se mişcă
colegii ei de clasă.

I-a pus pe toţi să stea ȋn picioare
nemişcaţi şi le-a amplificat mişcările.

E ca şi cum ai vedea
fotografii statice prinzând viaţă.

Iar interesant la toate aceste exemple

este că noi nu am ne-am implicat.

Noi doar am pus la dispoziţie
acest nou instrument,

un nou mod de a privi lumea,

iar oamenii găsesc noi moduri
creative şi interesante de a-l folosi.

Dar nu ne-am oprit aici.

Acest instrument ne permite nu doar
să privim lumea cu alţi ochi,

ci şi redefineşte şi extinde limitele

şi extinde limitele a ceea
ce putem face cu camerele video.

Ca oameni de ştiinţă,
am ȋnceput să ne ȋntrebăm

ce alte tipuri de fenomene fizice
produc micromişcări

pe care le-am putea vizualiza acum
cu camerele video?

Un astfel de fenomen pe care
ne-am concentrat recent este sunetul.

Sunetul, ştim cu toţii,
e compus din schimbări

ȋn presiunea aerului
care călătoresc prin aer.

Undele de presiune lovesc obiecte,
generând mici vibraţii ȋn interiorul lor,

care ne permit să auzim
şi să ȋnregistrăm sunete.

Dar sunetul produce şi mişcări vizuale.

Nouă ne sunt imperceptibile,

dar ele sunt vizibile pe o cameră video
cu procesarea potrivită.

Iată două exemple.

Aici sunt eu demonstrându-mi
grozavul talent muzical.

(Muzică)

(Râsete)

Mi-am făcut un video la viteză mare
al gâtului ȋn timp ce fredonam.

Dacă te holbezi la video
nu vezi mare lucru,

dar amplificand mişcările de 100 de ori,
vedem mişcările şi unduirile gatului

implicate ȋn producerea sunetului.

Semnalul este acolo ȋn video.

Cântăreţii pot sparge un pahar de vin
dacă ating nota corectă.

Vom cânta o notă ȋn frecvenţa
de rezonanţă a acelui pahar

printr-un difuzor care se află alături.

Când cântăm nota şi amplificăm
mişcările de 250 de ori,

vedem clar cum vibrează paharul

şi rezonează ca răspuns la sunet.

Nu e ceva ce vedeţi ȋn fiecare zi.

Dar ne-a dat de gândit.
Ne-a dat ideea asta nebună.

Putem oare să inversăm procesul
şi să redăm sunetul din video

analizând micile vibraţii
create de undele de sunet ȋn obiecte,

şi practic să le convertim din nou
în sunetele care le-au produs?

Astfel am putea transforma
orice obiect ȋntr-un microfon.

Şi exact asta am făcut.

Iată o pungă goală de chipsuri
care stă pe o masă.

Vom transforma punga de chipsuri
ȋntr-un microfon

filmând-o cu o cameră video
şi analizând micromişcările

pe care undele de sunet
le creează ȋn interiorul său.

Iată sunetul care s-a auzit ȋn cameră.

(Muzică: "Mary avea un mieluşel")

Și iată inregistrarea de mare viteză
a pungii de chipsuri.

Şi cântă din nou.

E imposibil să vedeţi ce se intâmplă
ȋn video, doar utându-vă la el,

dar iată sunetul pe care l-am redat
când am analizat

micromişcările din video.

(Muzică: "Mary avea un mieluşel")

Eu ȋl numesc... Mulţumesc.

(Aplauze)

Eu ȋl numesc microfonul vizual.

Extragem semnale audio din semnale video.

Doar ca să vă dau o idee
despre magnitudinea mişcărilor,

un sunet destul de puternic va mişca
punga mai puţin de un micrometru.

Asta-i a mia parte dintr-un milimetru.

Atât de mici sunt mişcările
pe care le putem extrage acum

doar observând cum ricoşează lumina
de pe suprafața obiectelor

şi e ȋnregistrată de camerele video.

Putem sintetiza sunete plecând
şi de la alte obiecte, ca plantele.

(Muzică: "Mary avea un mieluşel")

Putem resintetiza şi sunete vorbite.

Iată o persoană
care vorbeşte ȋntr-o cameră.

Voce: „Mary avea un mieluşel,
cu lâna albă ca zăpada,

și oriunde mergea Mary,
mieluşelul o urma."

Michael Rubinstein: şi iată
sunetul vocii redat

din acelaşi video
cu aceeaşi pungă de chipsuri.

Voce: "Mary avea un mieluşel,
cu lâna albă ca zăpada,"

și oriunde mergea Mary,
mieluşelul o urma."

MR: Am folosit „Mary avea un mieluşel"

pentru că se spune
că acestea au fost primele cuvinte

pe care Thomas Edison le-a spus
ȋn fonograful lui din 1877.

A fost printre primele instrumente
de ȋnregistrări sonore din istorie.

Practic, direcţiona sunetele
ȋntr-o diafragmă

care făcea acele să vibreze,
gravând sunetul

pe o foiță de staniol
ce acoperea un cilindru.

Iată o demonstraţie de ȋnregistrare
şi redare cu fonograful lui Edison.

(Video) Voce: Test, test, unu, doi, trei."

„Mary avea un mieluşel,
cu lâna albă ca zăpada

oriunde mergea Mary,
mieluşelul o urma."

Test, test, unu, doi, trei.

„Mary avea un mieluşel,
cu lâna albă ca zăpada

Oriunde mergea Mary,
mieluşelul o urma."

MR: Şi acum, după 137 de ani,

reușim să redăm sunetul
cu o calitate aproape egală,

doar înregistrând vibrațiile cu camera,
obiecte care vibrează la sunete

şi putem face asta când camera

e la 4,5 m depărtare de obiect,
ȋn spatele unui geam izolat fonic

Acesta e sunetul pe care am reușit
să-l redăm ȋn acest caz.

Voce: Mary avea un mieluşel
cu lâna albă ca zăpada,

oriunde mergea Mary
mieluşelul o urma."

MR: Bineȋnţeles, supravegherea
e prima utilizare la care ne gândim.

(Râsete)

Dar poate fi folositor
şi pentru alte lucruri.

Poate ȋn viitor ȋl vom putea folosi,
de exemplu,

pentru a reda sunetele ȋn spaţiu,

pentru că sunetul nu poate călători
ȋn spaţiu, doar lumina.

Doar am ȋnceput să explorăm

toate utilizările posibile
pentru această nouă tehnologie.

Ne permite să vedem procese fizice
care ştim că există,

dar pe care nu le-am putut vedea
cu ochii până acum.

Aceasta este echipa noastră.

Tot ce v-am arătat astăzi
este rezultatul colaborării

acestui grup grozav de oameni
pe care ȋi vedeţi.

Vă ȋncurajez şi vă invit
să ne vizitaţi site-ul,

să ȋncercaţi şi voi,

şi să vă alăturaţi nouă ȋn explorarea
acestei lumi de micromişcări.

Mulţumesc.

(Aplauze)