Se osynliga rörelser, höra tysta ljud. Häftigt? Läskigt? Vi kan inte bestämma oss.

Möt ”rörelsemikroskopet”, ett videobearbetningsverktyg som spelar upp små förändringar i rörelse och färg som är omöjliga att se med blotta ögat. Videoforskaren Michael Rubinstein spelar upp klipp efter häpnadsväckande klipp som visar hur den här tekniken kan mäta en människas puls och hjärtslag bara med hjälp av lite film. Se honom återskapa en konversation genom att förstärka rörelser från ljudvågor som studsar på en chipspåse. Den här teknikens wow-inspirerande och lömska användningsområden kan du tro på först när du ser dem.

Under de senaste århundradena

har mikroskopen revolutionerat vår värld.

De har avslöjat en liten värld
av objekt, liv och strukturer

som är för små för att vi
ska kunna se dem med blotta ögat.

De är ett enormt bidrag
till forskning och teknik.

Idag skulle jag vilja introducera
en ny sorts mikroskop,

ett mikroskop för förändringar.

Det använder inte optik
som ett vanligt mikroskop

för att göra små objekt större.

Istället använder den en videokamera
och bildbehandling

för att avslöja de minsta rörelserna

och färgförändringarna
hos saker och människor

förändringar som är omöjliga för oss
att se med blotta ögat,

Och det låter oss se på världen
på ett helt nytt sätt,

Så vad menar jag med färgförändringar?

Vår hud, till exempel,
ändrar färg en liten aning

när blodet flödar under den.

Den förändringen är otroligt subtil,

så att när du tittar på andra,

när du tittar på personen bredvid dig,

så ser du inte att deras hud
eller deras ansikte ändrar färg.

När vi tittar på filmen av Steve här,
så ser det ut som en statisk bild,

men när vi tittar på den här filmen
genom vårt nya specialmikroskop,

så ser vi plötsligt en helt annan bild.

Vad ni ser här är små förändringar
i färgen på Steves hud,

förstorade 100 gånger
så att de blir synliga.

Vi kan faktiskt se en mänsklig puls.

Vi kan se hur fort Steves hjärta slår,

men vi kan också se på vilket sätt
blodet flödar i hans ansikte.

Och vi kan göra det, inte bara för
att visualisera pulsen,

utan också för att hämta in
vår hjärtfrekvens,

och mäta vår hjärtfrekvens.

Vi kan göra det här med vanliga kameror
och utan att röra vid patienterna.

Så, här ser ni pulsen och hjärtfrekvensen
hos en nyfödd bebis, som vi har tagit ut

från en film som har spelats in
med en vanlig DSLR-kamera.

Och den hjärtfrekvens
vi kan mäta upp

är lika exakt som en som man kan mäta upp
med standardutrustning på ett sjukhus.

Och filmen behöver inte ens
ha spelats in av oss.

Vi kan i huvudsak göra det
även med andra filmer.

Så jag tog bara ett kort klipp
från "Batman begins" här

bara för att visa Christian Bales puls.

(Skratt)

Och som ni vet har han antagligen smink,

ljussättningen här är rätt utmanande,

men ändå kan vi ta ut hans puls
från den här filmen

och visa upp den ganska tydligt.

Så, hur gör vi allt det här?

I grund och botten analyserar vi
förändringar i det inspelade ljuset

i varje pixel i filmen över tid.

Och sen skruvar vi upp förändringarna.

Vi gör dem större så att vi kan se dem.

Det svåra är att de signalerna,

de förändringar som vi är ute efter
är extremt subtila,

så vi måste vara väldigt försiktiga
när vi försöker separera dem

från störningar
som alltid finns på filmer.

Så vi använder några smarta
bildbehandlingstekniker

för att få ett väldigt exakt mått
på färgen i varje pixel i filmen

och sen på hur färgen förändras över tid.

Därefter förstärker vi de förändringarna.

Vi förstorar dem för att skapa
den sortens förstärkta filmer

som faktiskt kan visa upp
de förändringarna.

Men det visar sig att vi inte bara
kan göra det här för

att visa små färgförändringar,

utan också små rörelser,

och det beror på att det ljus
som spelas in på våra kameror

inte bara ändrar sig
om objektets färg ändrar sig

utan också om objektet rör sig.

Det här är min dotter när hon var
ungefär två månader gammal.

Jag spelade in den här filmen
för ungefär tre år sen.

Och som nyblivna föräldrar
vill vi alla säkerställa

att våra barn mår bra, att de andas,
att de lever - förstås.

Så även jag skaffade en sån där babyvakt

så att jag kunde se min dotter
när hon låg och sov.

Och det här är ungefär vad man kan se
med en vanlig babyvakt.

Man kan se att barnet sover, men det finns
inte så mycket information att hämta.

Vi kan inte se särskilt mycket.

Skulle det inte vara bättre,
mer informativt, mer användbart

om vi istället kunde se bilden så här.

Så här tog jag rörelserna
och förstorade dem 30 gånger,

och så kunde jag tydligt se
att min dotter fortfarande var vid liv

och andades.

(Skratt)

Här är en jämförelse sida vid sida.

Så, igen, i källfilmen, i ursprungsfilmen

så kan vi inte se så mycket,

men när vi förstorar rörelserna
blir andningen mycket mer synlig.

Det visar sig att det finns
en lång rad fenomen

som vi kan avslöja och förstora
med vårt nya rörelsemikroskop.

Vi kan se hur våra vener och artärer
pulserar i våra kroppar.

Vi kan se att våra ögon konstant rör sig

i en svajig rörelse.

Och det där är faktiskt mitt öga,

och igen, den här filmades
strax efter att min dotter föddes,

så det syns att jag inte fick
så mycket sömn.

(Skratt)

Även när en person sitter still

så finns det massor med
information att hämta

om andningsmönster,
små ansiktsuttryck.

Kanske kan vi använda rörelserna

till att berätta något om
våra tankar eller känslor.

Vi kan också förstora
små mekaniska rörelser,

som vibrationer i motorer,

som kan hjälpa maskinister att upptäcka
och diagnosticera maskinproblem,

eller se hur byggnader och konstruktioner
rör sig i vind eller andra krafter.

Det här är saker som vi redan kan mäta
på olika sätt i samhället,

men att mäta rörelserna är en sak,

och att faktiskt se rörelserna
medan de pågår

är en helt annan sak.

Och redan när vi upptäckte
den här nya tekniken

gjorde vi koden tillgänglig online
så att andra kunde experimentera med den.

Den är väldigt enkel att använda.

Den kan fungera på dina egna filmer.

Våra partners på Quantum Research
har skapat den här fina webbplatsen

där man kan ladda upp filmer
och behandla dem online,

så även om du inte har någon erfarenhet
av datorvetenskap eller programmering

så kan du ändå enkelt experimentera
med det nya mikroskopet.

Och jag skulle vilja visa
bara några exempel

av vad andra har gjort med det.

Den här filmen är gjord
av en YouTube-användare

som kallar sig Tamez85.

Jag vet inte vem användaren är,

men han, eller hon, har använt vår kod

till att förstora små magrörelser
under en graviditet.

Det är ganska läskigt.

(Skratt)

Folk har använt den till att förstora
pulserande vener på händerna.

Och du vet att det inte är riktig
forskning om det inte innefattar marsvin,

och tydligen heter det
här marsvinet Tiffany,

och den här YouTube-användaren påstår
att det är den första gnagaren på jorden

som har fått sina rörelser förstorade.

Man kan också skapa konst med den.

Jag fick den här filmen
av en designstudent från Yale.

Hon ville se om det fanns några skillnader

i hur hennes klasskamrater rör sig.

Hon fick dem att stå still
och förstorade sen rörelserna.

Det är som att se stillbilder få liv.

Och det fina med de här exemplen

är att vi inte hade något
med dem att göra.

Vi tillhandahöll bara ett nytt verktyg,
ett nytt sätt att se på världen,

och sen hittar folk andra intressanta,
nya och kreativa sätt att använda det.

Men vi stannade inte vid det.

Det här verktyget låter oss inte bara
se på världen på ett nytt sätt,

det omdefinierar vad vi kan göra

och flyttar gränserna
för vad vi kan göra med våra kameror.

Så, som vetenskapsmän
började vi fundera på

om det fanns andra fysiska fenomen
som skapar små rörelser

som vi kunde mäta med våra kameror?

Och ett sånt fenomen
som vi nyligen fokuserade på är ljud.

Ljud är, som vi alla känner till,
i huvudsak förändringar

i lufttryck som förflyttas genom luften.

De tryckvågorna träffar objekt
och skapar små vibrationer i dem,

det är så vi hör och så vi spelar in ljud.

Men det visar sig att ljud
också producerar synliga rörelser.

Det är rörelser
som inte är synliga för oss

men som är synliga för kameran,
med rätt behandling.

Här är två exempel.

Det här är jag som visar upp
min fantastiska sångförmåga.

(Sjunger)

(Skratt)

Och jag gjorde en höghastighetsfilm
av min hals medan jag hummade.

Igen, om du stirrar på filmen

så är det inte så mycket som syns,

men när vi förstorar rörelserna 100 gånger
ser vi alla rörelser och krusningar

i halsen som är involverade
i att producera ljudet.

Den signalen syns där i filmen.

Vi vet också att sångare
kan spräcka ett vinglas

om de träffar rätt ton.

Så här ska vi spela en ton

som ligger inom glasets resonansfrekvens

genom en högtalare precis bredvid.

När vi spelar tonen
och förstorar rörelserna 250 gånger,

så kan vi väldigt tydligt se
hur glaset vibrerar

och resonerar som svar på ljudet.

Det här är ingenting
som man är van vid att se.

Men det fick oss att tänka till.
Vi fick en galen idé.

Kan vi faktiskt invertera processen
och hämta in ljud från filmen

genom att analysera de små vibrationerna
som ljudvågorna orsakar i objekten,

och egentligen konvertera dem
tillbaka till de ljud som producerade dem.

På det här sättet kan vi omvandla
vardagliga saker till mikrofoner.

Så det var precis vad vi gjorde.

Här är en tom chipspåse
som låg på bordet,

och vi ska göra om chipspåsen
till en mikrofon

genom att filma den med en kamera

och analysera de små rörelserna
som ljudvågorna skapar i den.

Här är ljudet som vi spelade i rummet.

(Musik: "Mary har ett litet lamm")

Och här är en höghastighetsfilm
av chipspåsen som vi spelade in.

Den spelar igen.

Det finns ingen möjlighet att se
vad vad som händer i filmen

bara genom att titta på den,

men här är ljudet som vi kunde återskapa

genom att analysera
de små rörelserna i filmen.

(Musik: "Mary har ett litet lamm")

Jag kallar det för... Tack.

(Applåder)

Jag kallar det för
den visuella mikrofonen.

Vi extraherar faktiskt ljudsignaler
från videosignaler.

Och bara för att ge er en känsla
för rörelseskalan här:

Ett ganska högt ljud skulle få chipspåsen
att röra sig mindre än en mikrometer.

Det är en tusendels millimeter.

Så små är de rörelser
som kan vi nu dra ut

bara genom att observera
hur ljuset studsar på objekt

och spelas in av våra kameror.

Vi kan hämta in ljud
från andra objekt, som växter.

(Musik: "Mary har ett litet lamm")

Och vi kan hämta in tal.

Här talar en person i ett rum.

Röst: Mary har ett litet lamm
med ull så len och vit

och vart än lilla Mary går,
går lammet också dit.

Michael Rubinstein:
Och här är samma tal igen,

inhämtat från den här filmen
med samma chipspåse.

Röst: Mary har ett litet lamm
med ull så len och vit

och vart än lilla Mary går,
går lammet också dit.

MR: Vi använde "Mary har ett litet lamm"

därför att det påstås
att de var de första orden

som Thomas Edison talade in
i sin fonograf 1877.

Det var en av historiens
första ljudinspelningsmaskiner.

Den riktade helt enkelt in ljuden
på ett membran som vibrerade en nål

som egentligen graverade in ljudet
på aluminiumfolie

som var lindad runt cylindern.

Här är en demonstration av in- och
uppspelning av ljud med Edisons fonograf.

(Video) Röst: Testar, testar, ett två tre.

Mary har ett litet lamm
med ull så len och vit,

och vart än lilla Mary går,
går lammet också dit.

Testar, testar, ett två tre.

Mary har ett litet lamm
med ull så len och vit,

och vart än lilla Mary går,
går lammet också dit.

MR: Och nu, 137 år senare,

kan vi få ut ljud
med i princip samma kvalitet,

men genom att bara titta på objekt
som vibrerar till ljud via kameror,

vi kan till och med göra det när kameran

är 4,5 m bort från objektet
bakom ljudisolerat glas.

Det här är det ljud
vi kunde hämta in i det fallet.

Röst: Mary har ett litet lamm
med ull så len och vit,

och vart än lilla Mary går,
går lammet också dit.

MR: Och självklart är övervakning
det första som dyker upp på näthinnan.

(Skratt)

Men det kan faktiskt komma till nytta
i andra sammanhang också.

Kanske kommer vi i framtiden
till exempel kunna

hämta in ljud genom rymden,

därför att ljud kan inte färdas
i rymden, men det kan ljus.

Vi har bara börjat att utforska

andra möjliga användningsområden
för den här nya teknologin.

Det låter oss se fysiska processer
som vi vet finns där

men som vi aldrig har kunnat observera
med blotta ögat förrän nu.

Det här är vårt team.

Det som jag har visat här idag
är resultatet av samarbete

med den här fantastiska gruppen,

och jag uppmuntrar och välkomnar er
att kolla in vår webbplats,

testa själva,

och göra oss sällskap i utforskandet
av de små rörelsernas värld.

Tack.

(Applåder)