Altădată, dacă voiai ca un computer să facă ceva nou, trebuia să-l programezi.
Pentru cei care nu aveți experiența asta,
programarea presupune să stabilești în cele mai mici detalii
fiecare pas pe care i-l ceri calculatorului
pentru a obține ce dorești.
Dacă vrei să faci ceva ce n-ai putea face tu însuți, atunci îți va fi foarte greu.
Foarte greu i-a fost și unui anumit Arthur Samuel.
În 1956 dorea să programeze un calculator care să-l învingă la dame.
Cum faci să programezi calculatorul în cele mai mici detalii
încât să joace dame mai bine decât tine?
I-a venit o idee:
a pus calculatorul să joace cu el însuși de mii de ori
ca să învețe să joace dame.
Ideea a mers.
În 1962 calculatorul acesta l-a învins pe campionul statului Connecticut.
Arthur Samuel a fost părintele învățării automate.
Eu îi sunt recunoscător pentru că și eu mă ocup cu învățarea automată.
Am fost președinte la Kaggle,
o comunitate cu peste 200 000 de practicanți ai învățării automate.
Kaggle organizează competiții pentru rezolvarea problemelor încă nerezolvate.
Și a avut sute de reușite.
Din poziția mea avantajoasă am aflat
ce putea face învățarea automată în trecut, ce poate face azi
și ce ar putea face în viitor.
Probabil primul mare succes al învățării automate a fost Google.
Google a demonstrat că poți găsi informații
folosind un algoritm computerizat bazat pe învățarea automată.
De atunci s-au înregistrat numeroase succese comerciale în domeniu.
Companii ca Amazon și Netflix folosesc învățarea automată
pentru a vă sugera ce ați vrea să cumpărați,
ce filme ați vrea să vedeți.
Uneori aproape că te sperie:
de exemplu LinkedIn și Facebook îți spun cine ți-ar putea fi prieten
și habar n-ai cum au procedat.
Se folosește puterea învățării automate.
Sunt algoritmi care învață din date, fără să fie programați manual.
Tot așa a avut succes și IBM
cu Watson, care a învins cei doi campioni mondiali la „Jeopardy”,
răspunzând la întrebări incredibil de subtile și complexe ca:
[Anticul „Leu din Nimrud” a dispărut din muzeul național al acestui oraș în 2003 (împreună cu multe altele).]
Tot astfel azi avem primele mașini care se conduc singure.
A face diferența între un copac și un pieton, de exemplu, e important.
Nu știm să scriem de mână astfel de programe,
dar prin învățare automată acum e posibil.
Mașina aceasta a mers peste 1 milion de km fără accidente, pe șosele obișnuite.
Acum știm: calculatoarele pot învăța,
ba chiar pot învăța să facă lucruri
pe care uneori nici noi nu știm să le facem
sau poate le fac mai bine decât noi.
Unul din cele mai uimitoare exemple de învățare automată din câte am văzut
a fost într-un proiect al meu de la Kaggle,
în care echipa lui Geoffrey Hinton de la Universitatea din Toronto
a câștigat un concurs de descoperire automată a drogurilor.
Extraordinar a fost nu că au surclasat
toți algoritmii dezvoltați de Merck sau de comunitatea academică,
ci faptul că nimeni din echipă nu avea pregătire în chimie sau biologie
și au reușit în două săptămâni.
Cum au reușit?
Au folosit un algoritm numit învățare profundă.
Succesul lor a fost atât de important
încât a apărut pe prima pagină a New York Times după câteva săptămâni.
Iată-l pe Geoffrey Hinton aici în stânga.
Învățarea profundă e un algoritm inspirat din funcționarea creierului
și astfel, teoretic, e un algoritm fără limitări în ceea ce poate face.
Cu cât îi dai mai multe date și timp de calcul, cu atât devine mai bun.
New York Times a prezentat în articol încă un rezultat al învățării profunde,
pe care vi-l arăt acum.
Demonstrează că computerele pot asculta și înțelege.
(Video) Richard Rashid: Ultimul pas pe care vreau să-l pot face
e să vorbesc cu voi în chineză.
Ideea de bază e că am stocat informații de la mulți vorbitori de chineză
și am realizat un sistem de sinteză vocală
care convertește textul chinezesc în chineza vorbită.
Apoi am folosit o probă de circa o oră cu vocea mea
pentru a modula sistemul standard încât să sune ca vocea mea.
Repet, rezultatul nu e perfect.
Există multe erori.
(În chineză)
(Aplauze)
Mai sunt multe de făcut aici.
(În chineză)
(Aplauze)
Jeremy Howard: Asta a fost o conferință de învățare automată din China.
La conferințele științifice rareori se aud aplauze spontane.
Dar la conferințele TEDx faceți cum doriți.
Tot ce ați văzut se bazează pe învățarea profundă.
(Aplauze) Mulțumesc.
Transcrierea în engleză era cu învățare profundă.
La fel și traducerea în chineză și textul din dreapta sus.
Sinteza vocii – tot învățare profundă.
Învățarea profundă e extraordinară.
E un singur algoritm, care pare să poată face orice.
Am aflat că înainte cu un an învățase și să vadă.
Într-o competiție obscură din Germania de recunoaștere a indicatoarelor rutiere,
a învățat să recunoască indicatoare rutiere precum acesta.
A recunoscut indicatoarele mai bine decât orice alt algoritm
și conform clasamentului chiar mai bine decât oamenii, de vreo două ori mai bine.
Deci până în 2011 a apărut primul calculator care vede mai bine ca oamenii.
De atunci s-au întâmplat multe.
În 2012 Google a anunțat că a pus un algoritm să se uite pe YouTube
și să ronțăie datele cu 16000 de calculatoare timp de o lună,
învățând singur despre concepte ca oamenii și pisicile
doar privind videoclipuri.
Tot cam așa învață și omul.
Oamenii nu învață din explicații despre ce văd,
ci din propria experiență cu lucrurile.
În 2012, Geoffrey Hinton, cel de adineauri
a câștigat celebra competiție ImageNet,
încercând să-și dea seama ce reprezintă 1,5 milioane de imagini.
În 2014 eroarea de recunoaștere a imaginilor a scăzut la 6%.
Din nou mai bine ca oamenii.
Mașinile se descurcă extraordinar de bine,
iar acum sunt folosite în industrie.
De exemplu, Google a anunțat anul trecut
că a cartografiat toate locurile din Franța în două ore.
Au făcut asta încărcând imagini ale străzilor
într-un algoritm de învățare profundă care citește numărul străzii.
Imaginați-vă cât ar fi durat altădată:
zeci de oameni, mulți ani.
Asta se întâmplă și în China.
Baidu este ca un fel de Google, cred.
Aici în stânga sus vedeți o poză încărcată de mine în acest sistem,
iar jos vedeți că sistemul a înțeles ce reprezintă poza
și a găsit imagini similare.
Acestea au un fundal asemănător,
direcții similare ale fețelor,
unele chiar cu limba afară.
Nu e ca și cum ai vedea textul unei pagini de internet.
Am încărcat doar o imagine.
Avem acum calculatoare care înțeleg ce văd
și astfel pot căuta în baze de date
cu sute de milioane de imagini în timp real.
Ce înseamnă faptul că văd?
Și nu numai că văd.
Învățarea profundă a ajuns mai departe.
Propoziții complexe și nuanțate ca aceasta
sunt inteligibile prin algoritmi de învățare profundă.
Aici vedeți cum un sistem de la Stanford arată prin bulina roșie de sus
că a înțeles conotația negativă a acestei propoziții.
Învățarea profundă are acum performanțe aproape umane
în a înțelege despre ce e propoziția și ce comunică ea.
Învățarea profundă se folosește la a citi în chineză
aproape de nivelul de vorbitor nativ.
Algoritmul a fost dezvoltat în Elveția
de oameni care nu vorbesc și nu înțeleg deloc chineză.
Învățarea profundă e cea mai bună soluție din lume pentru așa ceva,
chiar și față de înțelegerea umană naturală.
Iată un sistem pus la punct de compania mea,
care combină toate acestea.
Aceste imagini nu sunt însoțite de text
și pe măsură ce tastez propoziții aici
înțelege în timp real imaginile, își dă seama despre ce e vorba
și găsește imagini similare cu cele din textul scris de mine.
După cum vedeți, înțelege atât propozițiile cât și imaginile.
Știu că ați văzut ceva similar pe Google:
– tastați ceva și vă arată imagini –,
dar acolo de fapt caută pagini de internet după text.
E cu totul altceva decât a înțelege imaginile.
Calculatoarele au învățat să facă asta abia acum câteva luni.
Așadar calculatoarele nu doar văd, ci pot și citi.
Și desigur am demonstrat că înțeleg ce aud.
Atunci nu vă va mira dacă vă spun că pot să și scrie.
Iată un text pe care l-am generat ieri cu un algoritm de învățare profundă.
Iată și un text generat de un algoritm de la Stanford.
Fiecare propoziție a fost generată
de un algoritm de învățare profundă pentru a descrie imaginile.
Algoritmul nu mai văzuse un bărbat în cămașă neagră cântând la chitară.
Mai văzuse un bărbat, culoarea neagră, o chitară,
dar a generat singur o descriere nouă a acestei imagini.
Încă n-am atins performanța umană, dar ne apropiem.
La testare oamenii preferă descrierile generate de calculator
cam o dată din patru.
Sistemul are abia două săptămâni,
deci probabil într-un an algoritmul va depăși performanța umană
la cum avansează lucrurile.
Deci calculatoarele pot și să scrie.
Toate astea la un loc creează niște șanse fantastice.
De exemplu, în medicină, o echipă din Boston a anunțat că a descoperit
zeci de caracteristici relevante clinic
ale tumorilor care ajută doctorii să prezică apariția cancerului.
Similar, la Stanford
un grup a anunțat că cercetând la microscop țesuturile
au realizat un sistem cu învățare automată care reușește mai bine ca patologii umani
să prevadă proporția de supraviețuire a pacienților cu cancer.
În ambele cazuri previziunile au fost mai exacte
și au ajutat și la progresul științific.
În cazul radiologiei au apărut indicatori clinici înțeleși de om.
În cazul patologiei
sistemul computerizat a descoperit că celulele din jurul cancerului
sunt la fel de importante ca cele canceroase
în stabilirea diagnosticului.
Asta infirmă ce spun cursurile de patologie de multe decenii încoace.
În ambele cazuri, sistemele au fost realizate
de experți în medicină împreună cu experți în învățare automată,
dar anul trecut am depășit și acest prag.
Iată un exemplu de identificare a zonelor canceroase
a țesutului uman la microscop.
Sistemul prezentat aici poate identifica acele zone mai exact
sau cam la fel de exact ca patologii umani
dar a fost realizat prin învățare profundă fără competențe medicale
de oameni care nu aveau pregătire în domeniu.
La fel, iată segmentarea unui neuron.
Acum putem segmenta neuroni la fel de precis ca oamenii,
dar sistemul a fost realizat prin învățare profundă, fără cunoștințe de medicină.
Atunci eu, deși nu am pregătire în medicină,
se pare să sunt calificat să pornesc o firmă de medicină.
Ceea ce am și făcut.
Mi-a fost puțin frică să fac asta,
dar teoria pare să sugereze ca poți
să faci ceva foarte util în medicină folosind doar metode de analiză a datelor.
Din fericire reacțiile au fost fantastice, atât din partea presei,
dar și comunitatea medicală ne-a sprijinit foarte mult.
Ideea e că putem să luăm partea mijlocie a procesului medical
și s-o transformăm în analiză de date, pe cât posibil,
lăsând apoi doctorii să-și facă meseria.
Să vă dau un exemplu: acum ne trebuie 15 minute
pentru a stabili o analiză nouă pentru diagnosticul medical.
O să vă arăt acum, dar l-am redus la trei minute prin eliminarea unor părți.
În loc de crearea unei analize pentru diagnosticul medical,
o să vă arăt analiza imaginilor de mașini,
ca să înțelegem toți.
Începem cu circa 1,5 milioane de imagini de mașini
și vreau să creez ceva care le clasifică după unghiul din care au fost pozate.
Imaginile nu sunt deloc marcate, trebuie să pornesc de la zero.
Algoritmul nostru de învățare profundă găsește automat structurile din imagini.
Partea bună e că acum oamenii și calculatoarele pot colabora.
Aici vedeți cum omul
îi arată calculatorului zonele de interes
pe care să se bazeze calculatorul pentru a îmbunătăți algoritmul.
Sistemele de învățare profundă operează într-un spațiu cu 16 000 dimensiuni
și vedeți cum se rotește calculatorul prin acest spațiu
pentru a găsi noi zone de structură.
Când reușește,
omul care îl conduce poate indica zonele interesante.
Aici calculatorul a găsit anumite zone, de exemplu, cu unghiuri.
Pe măsură ce continuăm, îi dăm calculatorului mai multe date
despre ce fel de structuri căutăm.
Într-o analiză medicală aici ar putea fi un patolog care identifică zone patogene
sau un radiolog care indică nodulii cu probleme posibile.
Uneori algoritmului îi poate fi greu.
Iată un caz în care s-a încurcat: a amestecat fața și spatele mașinilor.
Aici trebuie să fim mai atenți,
să separăm manual fața și spatele
și apoi să-i spunem calculatorului că acesta e
un tip de grup care ne interesează.
Continuăm o vreme, sărim peste câte ceva
și apoi antrenăm algoritmul de învățare automată
pe baza celor câteva sute de lucruri
și sperăm că a avansat.
Vedeți, acum începe să estompeze anumite imagini,
arătând că începe să înțeleagă singur să recunoască o parte din ele.
Putem folosi acest concept de imagini similare și astfel vedeți
cum calculatorul poate găsi doar mașinile pozate din față.
Acum omul poate spune calculatorului:
„Da, ai făcut o treabă bună.”
Sigur, uneori chiar și acum separarea grupurilor e dificilă.
Aici chiar după ce am lăsat o vreme calculatorul să încerce rotațiile,
vedem că pozele făcute din stânga și cele din dreapta sunt amestecate.
Putem da calculatorului sugestii:
caută o proiecție care separă cât mai bine părțile stângă și dreaptă
folosind algoritmul de învățare profundă.
Apoi uite, sugestia a dus la succes.
A reușit să găsească un mod de a analiza obiectele încât să le separe.
Ați prins ideea:
e o situație în care omul nu e înlocuit de calculator,
ci lucrează împreună cu el.
Am înlocuit munca unei echipe de 5–6 oameni timp de vreo șapte ani,
cu ceva care îi ia 15 minute unui om care lucrează singur.
Procesul necesită 4–5 iterații.
Am ajuns la 62% de clasificare corectă a 1,5 milioane de imagini.
În acest stadiu putem începe să prelucrăm rapid secțiuni mari
și să verificăm să nu rămână greșeli,
iar dacă sunt greșeli îi spunem calculatorului.
Folosind acest proces la fiecare din diferitele grupuri
am ajuns la o proporție de succes de 80% în a clasifica cele 1,5 milioane de poze.
Acum mai rămâne doar să găsim puținele imagini care n-au fost clasificate corect
și să încercăm să înțelegem de ce.
Procedând astfel în 15 minute ajungem la proporții de clasificare de 97%.
Această tehnică ne-ar putea ajuta să rezolvăm o problemă majoră,
și anume lipsa de competență medicală din lume.
Forumul Mondial Economic spune
că ne trebuie de 10–20 de ori mai mulți medici în țările în curs de dezvoltare
și că ar dura cam 300 de ani
pentru a forma oameni și a acoperi lipsa.
Ce-ar fi dacă le-am crește eficiența folosind tehnicile de învățare profundă?
Mă bucură această șansă, dar mă și îngrijorează problemele.
Problema e că toate zonele albastre de pe harta aceasta
reprezintă locuri unde în servicii lucrează 80% dintre angajați.
Ce sunt serviciile?
Acestea sunt serviciile.
Exact asta au învățat recent calculatoarele să facă.
Deci 80% din munca din lumea dezvoltată acum știe și calculatorul s-o facă.
Ce înseamnă asta?
Lasă, o să apară alte locuri de muncă,
de exemplu în cercetarea datelor.
De fapt nu prea.
Cercetarea datelor nu cere mult timp.
Acești patru algoritmi au fost construiți de un singur om.
Poate vă gândiți că s-a mai întâmplat
și am văzut deja rezultatele: când apare ceva nou apar și alte locuri de muncă.
Dar care vor fi acestea?
E greu de estimat,
pentru că performanța umană crește încet,
dar știm că sistemul de învățare profundă crește exponențial în capacitate.
Ne aflăm aici.
Acum vedem ce se întâmplă
și ne gândim: calculatoarele sunt încă proaste, nu?
Dar în cinci ani calculatoarele vor ieși din acest grafic.
Așa că trebuie să ne gândim de pe acum la această capacitate.
Am mai văzut asta odată, desigur: la Revoluția Industrială
motoarele au produs un salt de capacitate.
Dar după un timp situația s-a stabilizat.
Au existat perturbări sociale,
dar după ce inginerii au învățat să folosească noua putere peste tot
lucrurile s-au stabilizat bine.
Revoluția Învățării Automate va diferi mult de Revoluția Industrială
pentru că lucrurile nu se vor stabiliza niciodată.
Cu cât calculatorul va fi mai bun la activități intelectuale,
cu atât vor construi calculatoare mai bune la activități intelectuale.
Atunci va avea loc o schimbare nouă pe care omenirea n-o cunoaște,
încât ce știam că e posibil nu mai e valabil.
Deja simțim efectul.
În vreme ce productivitatea capitalului a crescut în ultimii 25 de ani,
productivitatea muncii a rămas constantă, ba chiar a scăzut un pic.
Aș vrea să înceapă discuția aceasta.
Adesea când vorbesc despre asta
lumea respinge ideea.
Păi calculatoarele nu gândesc cu adevărat, nu au emoții, nu înțeleg poezia,
nu prea înțelegem cum funcționează.
Și ce dacă?
Computerele pot face azi lucruri
pentru care oamenii muncesc mult timp și sunt plătiți.
E momentul să începem să ne gândim
cum ne vom adapta structurile sociale și economice
în fața acestei noi realități.
Mulțumesc.
(Applauze)