Melihat gerakan yang tak nampak, Mendengar suara yang sunyi. Keren? Seram? Kita tidak bisa putuskan

Temuilah "mikroskop gerak", sebuah alat pemrosesan video yang memperbesar perubahan kecil pada gerakan dan warna yang tidak mungkin dilihat dengan mata telanjang. Peneliti video Michael Rubinstein memutar adegan-adegan mencengangkan yang menampilkan bagaimana teknologinya dapat melacak denyut nadi seseorang dan detak jantung. Saksikan ketika dia menciptakan kembali sebuah percakapan dengan memperkuat gerakan dari gelombang suara yang memantul dari bungkus keripik. Aplikasi yang sangat menginspirasi dan menyeramkan dari teknologi ini, Anda harus melihat untuk percaya

Selama beberapa abad ini, mikroskop
telah mengubah dunia kita.

Mikroskop telah menampakkan dunia tentang
objek, kehidupan dan struktur yang kecil

Yang terlalu kecil untuk dilihat
dengan mata telanjang.

Mikroskop adalah kontribusi yang besar
bagi sains dan teknologi

Hari ini saya akan memperkenalkan
jenis baru dari mikroskop

Sebuah mikroskop untuk perubahan.

Dia tidak menggunakan optik
seperti mikroskop pada umumnya

Untuk membuat objek kecil lebih besar,

Tetapi dia menggunakan kamera
video dan pengolahan gambar

Untuk menampakkan gerakan terkecil
dan perubahan warna pada objek dan manusia

Perubahan yang tidak mungkin
dilihat dengan mata telanjang

Dan dia bisa membuat kita melihat
dunia dengan cara yang berbeda

Jadi apa yang saya maksud
dengan perubahan warna?

Kulit kita, contohnya, berubah
warna sangat sedikit

Ketika darah mengalir dibawahnya.

Perubahan itu sangat tidak kentara,

Sehingga ketika Anda melihat orang lain,

Ketika Anda melihat orang
duduk disebelah anda,

Anda tidak melihat kulit atau wajah
mereka berubah warna.

Ketika kita melihat video tentang Steve ini,
tampak gambar ini seperti statis

Tapi ketika kita melihat video menggunakan
mikroskop kita yang baru dan spesial,

Tiba-tiba kita melihat gambar
yang sangat berbeda.

Apa yang anda lihat ini adalah
perubahan kecil dari kulit Steve

Diperbesar 100 kali sehingga nampak.

Kita sebenarnya bisa melihat
denyut nadi manusia.

Kita bisa melihat seberapa cepat
jantung Steve berdetak.

Tapi kita juga bisa melihat cara
darah mengalir di wajahnya.

Dan kita melakukannya tidak hanya
untuk melihat denyut,

Tapi juga mendapatkan
detak jantung,

Dan mengukur detak jantung kita.

Dan kita dapat melihatnya dengan
kamera biasa tanpa menyentuh pasien.

Disini Anda melihat denyut dan
detak jantung dari bayi yang baru lahir

Dari video kita yang kita ambil
menggunakan kamera DSLR biasa.

Dan pengukuran detak jantung
yang kita dapatkan

sama akuratnya dengan yang Anda dapat
menggunakan monitor standar rumah sakit.

Dan ini bahkan tidak harus video rekaman.

Kita dapat melakukannya
pada video yang lain juga.

Jadi saya ambil adegan pendek
dari "Batman Begins" disini

Hanya untuk menampilkan
detak jantung Christian Bale

(Tawa)

Dan mungkin saja dia menggunakan make up.

Pencahayaan disini sangat menantang,

Tapi hanya dari video, kita masih
bisa mengambil denyutnya.

Dan nampaknya cukup baik.

Jadi bagaimana cara kita melakukannya?

Kita pada dasarnya menganalisa
perubahan cahaya yang direkam

Pada setiap pixel dalam video
sepanjang waktu,

Dan kemudian memperkuat
perubahan itu

Kita memperbesarnya hingga
bisa terlihat.

Bagian yang sulit adalah signalnya

Perubahan yang kita cari,
sangat tidak kentara.

Jadi kita harus sangat cermat
ketika akan memisahkannya

Dari noise yang selalu ada pada video.

Jadi kami memakai beberapa teknik
pemrosesan gambar yang cerdas

Untuk mendapat pengukuran akurat
dari warna pada tiap pixel di video,

Dan kemudian cara warna
berubah sepanjang waktu,

Dan kemudian kami memperkuat perubahan itu

Kami memperbesarnya untuk menciptakan
video yang ditingkatkan atau diperbesar

yang sebenarnya menampilkan
perubahan tersebut

Tapi ternyata tidak hanya untuk
menampilkan perubahan kecil pada warna

Tapi juga gerakan kecil.

Dan itu karena cahaya yang
terekam oleh kamera kami

akan berubah tidak hanya jika
warna dari objek berubah,

Tapi juga jika objek bergerak.

Jadi ini adalah putri saya ketika dia
berusia sekitar dua bulan.

Ini adalah video yang saya rekam
sekitar tiga tahun yang lalu.

Dan sebagai orang tua baru, kami ingin
memastikan bayi kami sehat,

Bahwa mereka bernafas,
bahwa mereka hidup,

Jadi saya juga mendapat
salah satu monitor bayi

Agar saya dapat melihat putri saya
ketika dia tidur.

Dan inilah yang akan Anda lihat dengan
monitor bayi standar.

Anda bisa melihat bayi tidur, tapi
tidak banyak informasi di sana

Tidak banyak yang bisa kita lihat

Tidakkah lebih baik, lebih
informatif, atau lebih berguna

Jika kita dapat melihat
tampilan seperti ini.

Jadi di sini saya mengambil gerakannya
dan memperbesarnya 30 kali.

Sehingga saya bisa melihat dengan jelas
bahwa putri saya hidup dan bernafas.

(Tawa)

Inilah perbandingan berpasangannya

Jadi sekali lagi, di video asal,
di video yang asli,

Tidak banyak yang bisa kita lihat,

Tapi ketika kita memperbesar gerakannya,
Pernafasannya menjadi lebih terlihat.

Dan ternyata, ada banyak fenomena

yang dapat kita ungkap dan perbesar
dengan mikroskop gerak baru kami.

Kita bisa melihat bagaimana vena
dan arteri berdenyut pada tubuh kita.

Kita bisa melihat bahwa mata kita
terus bergerak

Dengan gerakan yang bergoyang.

Dan sebenarnya itu mata saya

Dan lagi video ini diambil tepat
ketika putri saya lahir.

Jadi bisa Anda lihat bahwa
saya kurang tidur. (Tawa)

Bahkan ketika seseorang duduk diam,

Ada banyak informasi
yang bisa kita ambil

Tentang pola pernafasannya,
ekspresi wajah yang kecil

Mungkin kita bisa menggunakan
gerakan itu

Untuk memberi tahu pikiran atau emosi kita

Kita juga bisa memperbesar
gerakan mekanis yang kecil,

seperti getaran pada mesin,

Yang dapat membantu teknisi mendeteksi
dan mendiagnosa masalah mesin.

Atau melihat bagaimana bangunan bergoyang
oleh angin dan bereaksi terhadap daya

Semua hal yang masyarakat tahu bagaimana
cara mengukurnya dengan beragam cara

Tapi mengukur gerakan itu
adalah sesuatu.

Dan melihat gerakan sebenarnya
secara langsung,

Adalah sesuatu yang sangat berbeda.

Dan sejak kami menemukan
teknologi baru ini,

Kami membagikan kode ini online agar
orang lain bisa memakai dan bereksperimen

Ini sangatlah mudah
untuk digunakan.

Ini dapat bekerja pada videomu sendiri

Kolaborasi kami dengan Quanta Research
bahkan menciptakan website

Dimana Anda bisa mengunggah video
dan memprosesnya online

Bahkan jika Anda tidak memiliki pengalaman
dalam ilmu komputer atau pemrograman,

Anda masih bisa bereksperimen
dengan mikroskop yang baru ini.

Dan saya akan memberikan
beberapa contoh

Tentang orang lain telah
lakukan dengan kode ini.

Video ini dibuat oleh user Youtube
bernama Tamez85

Saya tidak tahu siapa dia,

Tapi dia menggunakan kode kami

Untuk memperbesar gerakan perut
yang kecil selama masa kehamilan.

Hal ini sedikit menyeramkan.

(Tawa)

Orang telah menggunakannya untuk
memperbesar vena yang berdenyut di tangan.

Dan ini bukanlah sains sebenarnya kecuali
Anda menggunakan kelinci percobaan.

Dan rupanya, kelinci percobaan
ini bernama Tiffany.

Dan user YouTube ini menyatakan,
dia pengerat pertama di bumi

Yang gerakannya diperbesar.

Anda juga bisa membuat seni dengan ini.

Video ini dikirim kepada saya
oleh mahasiswa desain di Yale

Dia ingin melihat apakah
ada perbedaan

Cara teman sekelasnya bergerak

Dia membuat mereka berdiri diam,
dan memperbesar gerakannya

Ini seperti melihat gambar
menjadi hidup.

Dan hal bagus dengan semua contoh di atas,

Adalah kami tidak melakukan
apapun dengannya.

Kami hanya menyediakan alat baru,
cara baru untuk melihat dunia,

Dan orang-orang menemukan cara menarik,
baru dan kreatif untuk menggunakannya

Tapi kami tidak berhenti disana.

Alat ini tidak hanya membuat kita
melihat dunia dengan cara berbeda,

Ini juga mengartikan ulang
apa yang bisa kita lakukan

Dan menembus batas apa yang bisa
kita lakukan dengan kamera kita.

Jadi sebagai ilmuwan, kami mulai penasaran

Tentang jenis fenomena fisik lain apa
yang menghasilkan gerakan kecil

Yang bisa kami ukur dengan kamera kami?

Dan fenomena yang kami fokuskan
akhir-akhir ini adalah suara.

Suara, seperti kita ketahui,
adalah perubahan

Pada tekanan udara yang mengalir di udara.

Gelombang tekanan tersebut membentur obyek
dan menciptakan getaran kecil

Yang sebagaimana kita dengar
dan merekam suara.

Tapi ternyata suara juga
menghasilkan gerakan visual.

Gerakan-gerakan yang tidak
terlihat oleh kita

Tapi nampak pada kamera dengan
pemrosesan yang benar.

Berikut adalah dua contoh.

Ini saya sedang mendemonstrasikan
keahlian menyanyi saya

(Bernyanyi)

(Tawa)

Dan saya merekam video berkecepatan
tinggi waktu saya bernyanyi

Dan jika Anda menatap video tersebut,

Tidak banyak yang bisa Anda lihat,

Tapi jika kita memperbesar gerakannya
100 kali, kita bisa lihat gerak dan riak

Pada leher yang terlibat dalam
menghasilkan suara.

Sinyal-sinyal itu ada pada video.

Kami juga tahu bahwa penyanyi bisa
memecahkan gelas wine

Jika mengenai nada yang tepat

Jadi, kami akan memainkan sebuah nada

Yang beresonansi dengan kaca

Melalui pengeras suara di sebelahnya

Ketika kami memainkan nada itu
dan memperbesar gerakannya 250 kali,

Kita dapat melihat dengan jelas
kaca itu bergetar

Dan beresonansi dalam merespon suara

Ini bukan sesuatu yang Anda
biasa lihat setiap hari

Tapi ini membuat kita berpikir.
Hal ini memberikan kita ide gila.

Bisakah kita membalik proses ini
dan mendapatkan suara dari video

Dengan menganalisa getaran kecil
yang dibuat gelombang suara pada obyek,

Dan mengubahnya kembali
menjadi suara yang membuatnya?

Dengan cara ini, kita bisa merubah
obyek sehari-hari menjadi mikrofon.

Jadi itulah yang kami lakukan.

Ini adalah bungkus kosong
kripik di atas meja

Dan kami akan mengubahnya
menjadi mikrofon

Dengan cara memfilmkannya
dengan kamera video

Dan menganalisa gerakan kecil
yang dibuat oleh gelombang suara

Inilah suara yang kami mainkan
dalam ruangan itu.

(Musik "Mary Had a Little Lamb")

Dan ini adalah video berkecepatan tinggi
yang kami rekam dari bungkus kripik itu.

lagi, Ini dimainkan

Tidak mungkin Anda bisa melihat
apapun yang terjadi pada video itu

hanya dengan melihatnya.

Tapi ini adalah suara yang didapat
hanya dengan menganalisa

gerakan kecil dalam video.

(Musik : "Mary Had a Little Lamb")

Saya menyebutnya -- Terimakasih

(Tepuk tangan)

Saya menyebutnya mikrofon visual.

Kami sebenarnya mengekstrak
sinyal audio dari sinyal video

Dan hanya untuk memberikan
skala gerakan disini,

Suara indah yang kuat akan membuat bungkus
kripik bergerak kurang dari 1 mikrometer

Itu seperseribu dari satu milimeter.

Sekecil itulah gerakan yang
sekarang dapat kita tarik

Hanya dengan melihat bagaimana
cahaya memantul pada obyek

Dan terekam oleh kamera kami

Kami dapat mendapatkan kembali
suara dari obyek lain, seperti tanaman

(Musik : "Mary Had a Little Lamb")

Dan kami juga bisa mendapatkan
kembali percakapan

Jadi ini adalah seseorang yang
sedang berbicara di ruangan

Suara : Mary memiliki sebuah domba
yang bulunya seputih salju

Dan kemanapun Mary pergi,
Domba itu juga ikut pergi

Dan ini percakapan tersebut
yang diambil kembali

dari video bungkus kripik yang sama

Mary mempunyai seekor domba
yang bulunya seputih salju

Dan kemanapun Mary pergi,
Domba itu juga ikut pergi

Kami menggunakan "Mary Had a Little Lamb"

Karena katanya itu adalah
kata-kata pertama

yang Thomas Edison bicarakan
pada fonografnya di tahun 1877

Itu adalah salah satu alat perekam suara
pertama dalam sejarah.

Itu pada dasarnya mengarahkan
suara pada diafragma

Yang menggetarkan jarum yang mengukir
suara pada kertas timah

Yang dibungkus mengelilingi silinder

Ini adalah demonstrasi rekaman dan putar
ulang suara dari fonograf Edison

Testing, Testing, satu dua tiga

Mary memiliki seekor domba
yang bulunya seputih salju

Dan kemanapun Mary pergi,
domba itu juga ikut pergi

Testing, testing, satu dua tiga.

Mary memiliki seekor domba
yang bulunya seputih salju

Dan kemanapun Mary pergi,
domba itu juga ikut pergi

Dan sekarang, 137 tahun kemudian,

Kita dapat mengambil suara dengan
kualitas yang hampir sama

Tapi hanya dengan melihat obyek
bergetar terhadap suara dengan kamera

Dan kita bahkan dapat melakukannya
ketika kamera

berada 15 kaki jauhnya dari obyek,
di belakang kaca kedap suara

Jadi ini adalah suara yang bisa
kita peroleh kembali pada kasus itu

Mary memiliki seekor domba kecil
yang bulunya seputih salju

Dan kemanapun Mary pergi,
domba itu juga ikut pergi

Dan tentu saja, pengawasan adalah
aplikasi pertama yang terpikirkan

(Tawa)

Tapi mungkin ini juga beguna
untuk hal yang lain

Mungkin di masa depan, kami bisa
menggunakannya, seperti,

Untuk mendapatkan suara
dari luar angkasa

Karena suara tidak bisa pergi ke
luar angkasa, tapi cahaya bisa

Kami hanya mulai mengeksplorasi

Penggunaan lain yang mungkin
untuk teknologi ini

Ini bisa membuat kita melihat proses
yang kita tahu ada

Tapi belum pernah bisa kita lihat
dengan mata kita hingga saat ini.

Inilah tim kami.

Semua yang saya tunjukkan pada Anda
hari ini adalah hasil kolaborasi

Dengan grup orang-orang hebat
yang Anda lihat disini

Dan saya mendorong dan menyambut
Anda untuk mengunjungi website kami

Cobalah sendiri,

Dan bergabunglah dengan kami
menjelajahi dunia gerakan kecil

Terimakasih.

(Tepuk Tangan)