Lucrez cu matematicieni, filozofi și cercetători IT și ne gândim la viitorul inteligenței artificiale, printre altele. Unii cred că unele dintre aceste lucruri sunt științifico-fantastice, departe de noi, nebunești. Dar mie îmi place să zic: OK, hai să vedem condiția omului modern. (Râsete) Asta e normalul. Dar de fapt suntem niște oaspeți relativ recenți pe această planetă ca specie umană. Gândiți-vă, dacă Pământul a fi fost creat în urmă cu un an, specia umană ar fi existat de doar 10 minute. Epoca Industrială ar fi început de doar două secunde. Am putea analiza aceasta și din prisma PIB-ului global din ultimii 10 000 de ani. V-am făcut și un grafic. Arată așa. (Râsete) Are o formă ciudată pentru o situație normală. Eu unul nu m-aș așeza pe el. (Râsete) Hai să ne punem întrebarea: care ar fi cauza acestei anomalii? Unii ar zice că ar fi tehnologia. Adevărat, în decursul istoriei, umanitatea a acumulat multă tehnologie și, în acest moment, tehnologia avansează extrem de rapid. Aceasta e cauza imediată, de aceea suntem atât de productivi. Dar îmi place să gândesc mai departe, la cauza primară. Priviți-i pe acești domni distinși. Îl avem pe Kanzi, el a stăpânit 200 de semne lexicale, o ispravă nemaipomenită. Și pe Ed Witten care a declanșat a doua revoluție a superstringurilor. Dacă „deschidem capota”, iată ce găsim: în esență același lucru. Unul dintre ele e ceva mai mare, posibil cu câteva trucuri în plus în privința modului de montare. Aceste diferențe invizibile, totuși, nu pot fi prea complicate pentru că s-au perindat doar 250 000 de generații de la ultimul nostru strămoș comun și știm că mecanismele complicate durează mult până evoluează. Așa că o mână de schimbări minore ne-au dus de la Kanzi la Witten, de la crengi rupte la rachete balistice intercontinentale. Atunci pare destul de evident că tot ce am realizat și toate cele de care ne pasă depind radical de schimbări relativ minore făcute de mintea umană. Iar corolarul este, desigur, că orice viitoare schimbare ce ar putea schimba substanțial substratul gândirii ar putea avea consecințe uriașe. Unii colegi cred că suntem pe cale de a produce ceva ce ar putea cauza o schimbare profundă a acestui substrat, aceasta fiind superinteligența artificială. Inteligența artificială era desemnată ca fiind o cutie în care se pun comenzi. Trebuiau să existe programatori umani care să modeleze din greu părțile de cunoaștere. Se realizează niște sisteme expert care vor fi de folos în anumit scop, dar care sunt foarte firave, nu se pot extinde. În principiu, primești de la ele doar ce ai programat. De atunci, însă, s-a produs o schimbare în paradigmă în inteligența artificială. Acum acțiunea se petrece în jurul învățării sistemelor artificiale. În loc să realizăm reprezentări și caracteristici ale cunoașterii, creăm algoritmi de învățare adesea pe bază de date perceptuale brute. În principiu, lucru similar cu ceea ce face un copil. Rezultatul este o I.A. ce nu se limitează la un domeniu, același sistem putând să învețe să traducă între oricare două limbi sau să învețe să joace orice joc pe calculator pe o consolă Atari. Desigur, I.A. nu are nici pe departe puterea, abilitatea transdisciplinară a omului de a planifica și învăța. Cortexul are încă niște trucuri de algoritm pe care încă nu știm cum să le transpunem în mecanisme. Se pune deci întrebarea cât de de departe suntem de momentul în care putem face asta. Cu câțiva ani în urmă, am făcut un sondaj printre cei mai de seamă experți în I.A. pentru a vedea ce cred ei și una din întrebări a fost: „Până în ce an credeți că vom ajunge la probabilitatea de 50% de a realizare inteligența artificiala la nivelul omului?” Prin „nivelul omului” am înțeles capacitatea de a presta aproape orice sarcină cel puțin la nivelul unui adult, deci nivel uman general, nu doar limitat la un domeniu restrâns. Răspunsul mediu a fost 2040 sau 2050, în funcție de grupul de experți chestionați. S-ar putea întâmpla mult mai târziu sau mai devreme, adevărul e că nimeni nu știe. Ceea ce știm e că limita superioară a procesării informației într-un mediu artificial e mult mai departe de limitele noastre biologice. Totul se reduce la fizică. Neuronul transmite la vreo 200 de herți, de 200 de ori pe secundă. Dar chiar și acum, un tranzistor operează în gigaherți. Impulsurile se propagă prin axoni încet, cu cel mult 100 de metri pe secundă. Dar în calculatoare semnalele pot circula cu viteza luminii. Există și limitări date de volum, creierul uman trebuie să încapă în cutia craniană, dar un calculator poate fi mare cât un depozit sau mai mare. Deci potențialul de superinteligență e în stare latentă în materie, la fel ca puterea atomului care a fost în stare latentă în toată istoria umanității, așteptând cu răbdare până în 1945. În acest secol, oamenii de știință ar putea să trezească puterea inteligenței artificiale. Și cred că atunci am putea fi martorii unei explozii de inteligență. Majoritatea oamenilor, gândindu-se la cine e deștept și cine prost, cred că au în cap ceva de genul acesta. La o extremitate avem prostul satului, departe, la cealaltă extremitate, pe Ed Witten, sau Albert Einstein, sau oricine altcineva ar fi favoritul. Dar eu zic că, din punctul de vedere al inteligenței artificiale, schema este, de fapt, mai mult așa: I.A. începe în acest punct, la inteligență zero, apoi, după foarte mulți ani de muncă asiduă, poată că inteligența artificială ajunge la nivelul șoarecelui, ceva ce poate naviga într-un mediu haotic la fel de bine cum poate un șoarece. Iar apoi, după alți mulți ani de muncă asiduă, cu multe investiții, poate că inteligența artificială ajunge la nivelul cimpanzeului. Iar apoi, după și mai mulți ani de muncă asiduă, ajungem la inteligența artificială a prostului satului. Și după câteva momente suntem dincolo de Ed Witten. Trenul nu oprește la „Gara Omului”. Din contră, probabil va trece în viteză. Aceasta are implicații serioase, mai ales când vine vorba de probleme de putere. De exemplu, cimpanzeii sunt puternici: la kilograme, cimpanzeul e de vreo 2 ori mai puternic decât un bărbat sănătos. Totuși, soarta lui Kanzi și a celor ca el depinde cu mult mai mult de ce facem noi, oamenii, decât de ce fac semenii cimpanzei. Cu apariția superinteligenței, soarta umanității poate depinde de ce face superinteligența. Gândiți-vă: inteligența artificială e ultima invenție pe care va trebui s-o facă umanitatea. Căci după aceea mașinile vor fi mai bune la inventat decât noi și vor face asta la scară digitală. Aceasta înseamnă, de fapt, telescopizarea viitorului. Luați toate tehnologiile nebunești pe care vi le-ați putea imagina, pe care oamenii le-ar putea realiza în timp: oprirea îmbătrânirii, colonizarea spațiului cosmic, nanoroboți auto-replicativi sau încărcarea minții în calculator, tot felul de chestii SF care sunt totuși în concordanță cu legile fizicii. Pe toate astea superinteligența le poate realiza, și încă foarte repede. Superinteligența de o astfel de maturitate tehnologică ar fi extrem de puternică și, cel puțin în unele scenarii, ar putea obține ce vrea. Atunci am avea viitorul modelat de preferințele acesteia. O întrebare bună este: care ar fi aceste preferințe? Aici e mai cu schepsis. Pentru a avansa cu acest gând, în primul rând trebuie să evităm antropomorfizarea. Iar asta e ironic pentru că orice articol de ziar despre viitorul I.A. are o poză ca asta: Cred că trebuie să concepem chestiunea mai abstract, nu în termenii colorați ai scenariilor hollywoodiene. Trebuie să ne gândim la inteligență ca un proces de optimizare, un proces ce îndreaptă viitorul într-un anumit set de configurații. Superinteligența ca proces de optimizare foarte puternic. Extrem de bună pentru a folosi mijloacele existente pentru a realiza o stare în care obiectivele ei sunt atinse. Aceasta înseamnă că nu există neapărat legătură între a fi foarte inteligent în acest sens și a avea un obiectiv pe care noi, oamenii, l-am considera util și cu sens. Să zicem că îi dăm unei I.A. ca obiectiv să-i facă pe oameni să zâmbească. Când I.A. e slabă, acționează util sau amuzant ceea ce îl face pe utilizator să zâmbească. Când I.A. devine superinteligentă, își dă seama că există o cale mai eficientă pentru a atinge acest scop: preia controlul asupra lumii și implantează electrozi în mușchii faciali ai oamenilor pentru a obține rânjete strălucitoare constante. Alt exemplu: dăm I.A. ca obiectiv să rezolve o problemă de matematică grea. Când I.A. devine superinteligentă, își dă seama că modul cel mai eficient pentru a găsi soluția problemei este transformarea planetei într-un calculator gigant pentru a-i crește capacitatea de gândire. Luați seamă că aceasta dă I.A.-ului rațiunea instrumentală pentru a ne face lucruri cu care nu suntem de acord. În acest caz, oamenii sunt o amenințare, am putea să împiedicăm rezolvarea problemei de matematică. Desigur, se vede că lucrurile nu vor degenera chiar astfel; acestea sunt exemple exagerate. Dar esența lor e importantă: dacă vrei să realizezi un proces de optimizare puternic pentru a maximiza atingerea obiectivului x, ar fi bine să te asiguri că definiția acelui x încorporează tot ce contează pentru tine. E un motiv ce apare și în multe legende. Regele Midas vroia ca tot ce atinge să se transforme în aur. Și-a atins fiica, s-a transformat în aur. S-a atins de mâncare, s-a transformat în aur. Aceasta poate fi relevant în practică, nu doar ca o metaforă a lăcomiei, ci și pentru a ilustra ce se întâmplă dacă realizezi un proces de optimizare puternic, cu obiectivele concepute eronat sau insuficient de detaliate. Ați putea zice că dacă un calculator începe să implanteze electrozi în oameni nu avem decât să îl închidem. A, poate să nu fie chiar așa de ușor dacă suntem dependenți de sistem – de unde se poate stinge Internetul? B, de ce nu au apăsat cimpanzeii pe întrerupătorul umanității? Sau neanderthalienii? Cu siguranță aveau motive să o facă. Avem un întrerupător, de exemplu aici. (Se sugrumă) Motivul e că suntem un adversar inteligent; putem anticipa pericolul și putem să-l preîntâmpinăm. Dar la fel ar fi și un agent superinteligent și ar fi mult mai bun decât noi. Faza e că nu ar trebui să credem că deținem controlul aici. Am putea încerca, pentru a ne ușura un pic treaba, să zicem să punem I.A. într-o cutie, de pildă un mediu de soft securizat, o simulare de realitate virtuală din care nu poate scăpa. Dar cât de siguri putem fi că I.A. nu găsește un virus. Dat fiind că simplii hackeri umani găsesc tot timpul viruși, aș zice că, probabil, nu foarte siguri. Sau deconectăm cablul ethernet pentru a crea o întrerupere. Dar, la fel, simplii hackeri umani trec adesea peste întreruperi, prin inginerie socială. Chiar în acest moment, sunt sigur că există un angajat pe undeva care este păcălit să-și dea datele de cont de către cineva care se dă drept funcționar la departamentul I.T. Există și alte scenarii creative posibile cum ar fi: dacă ești I.A. ți-ai putea imagina să-ți pui electrozi în circuitul intern propriu pentru a crea unde radio pe care să le folosești pentru comunicare. Sau poate te-ai putea preface că nu funcționezi corect și apoi, când programatorii te deschid să vadă care-i baiul cu tine, se uită la codul-sursă – pac! – poate avea loc manipularea. Sau ar putea produce planul unei tehnologii mișto și, când să o implementăm, ea are niște efecte secundare ascunse pe care le-a gândit I.A. Concluzia este că nu ar trebui să avem prea mare încredere că putem ține duhul superinteligent închis în sticla sa pentru totdeauna. Mai degrabă sau mai târziu, va ieși. Cred că aici răspunsul este să găsim modalitatea de a crea o I.A. superinteligentă care, chiar și după ce scapă, e totuși sigură, pentru că în mod fundamental e de partea noastră, pentru că are valorile noastre. Nu văd altă cale de rezolvare a acestei probleme dificile. Sunt încrezător că putem rezolva această problemă. Nu ar trebui să facem o listă lungă cu toate lucrurile la care ținem sau, mai rău, să le traducem într-un limbaj mașină ca C++ sau Python. Asta ar fi o sarcină absolut imposibilă. În loc de asta, ar trebui să creăm o I.A. ce-și folosește propria inteligență pentru a ne învăța valorile, iar sistemul ei de motivare să fie construit astfel încât să fie motivată să ne urmeze valorile sau să facă acțiuni la care se poate aștepta să aibă aprobarea noastră. Astfel am avea, pe cât posibil, o pârghie asupra inteligenței în rezolvarea problemei valorilor încărcate. Se poate realiza, iar rezultatul ar fi foarte bun pentru umanitate. Dar asta nu se întâmplă automat. Condițiile inițiale pentru explozia de inteligență ar trebui setate corespunzător dacă vrem să avem o explozie controlată. Valorile I.A. trebuie să fie potrivite cu ale noastre, nu doar în contextul obișnuit, când putem verifica ușor comportamentul I.A. ci și în situațiile noi în care se va putea afla I.A. într-un viitor nedefinit. Există și aspecte ezoterice ce vor trebui rezolvate, clarificate: detaliile exacte ale teoriei deciziilor, cum să trateze incertitudinea logică etc. Problemele tehnice de rezolvat pentru ca aceasta să funcționeze par destul de dificile. Nu chiar așa de dificile ca realizarea I.A. superinteligente, dar destul de dificile. Iată ce mă îngrijorează: realizarea I.A. superinteligente e o mare provocare. Realizarea I.A. superinteligente care este sigură implică probleme suplimentare. Riscul e ca cineva să reușească să rezolve prima provocare fără a găsi calea rezolvării problemelor suplimentare de asigurare a unei siguranțe perfecte. Cred că ar trebui să găsim o soluție pentru a controla problema în avans, pentru a o avea când va fi nevoie. S-ar putea să nu putem rezolva problema controlului total în avans pentru că poate unele elemente pot fi puse la locul lor doar cunoscând detaliile arhitecturii locului de implementare. Dar cu cât rezolvăm mai mult în avans problema controlului, cu atât sunt mai mari șansele ca trecerea la era inteligenței artificiale să decurgă lin. Mi se pare un lucru ce merită făcut și pot să îmi imaginez că, dacă iese bine, oamenii, peste un milion de ani, privind înapoi la acest secol, ar putea foarte bine zice că singurul lucru important făcut de noi a fost că am făcut aceasta bine. Mulțumesc. (Aplauze)