Több matematikussal, filozófussal és számítógépes szakemberrel dolgozom, akikkel együtt gondolkodunk a gépi intelligencia, értelem jövőjéről és számos más kérdésről. Néhányan azt gondolják, egyes kérdéseink sci-fibe illő, elvont őrültségek. Rendben, szoktam mondani, de nézzük meg, milyen ma az ember helyzete. (Nevetés) Ez a szokásos állapot, ahogy annak lennie kell. Ám ha utánagondolunk, mi, emberek csak nemrég érkezett vendégek vagyunk ezen a bolygón. Képzeljük el, hogy a Föld csak egy éve jött lére, így az emberi faj tíz perce létezne. Az ipari korszak csak két másodperce kezdődött. Máshonnan nézve a kérdést, gondoljunk a világ elmúlt 10 000 évi GDP-jére. Vettem magamnak a fáradságot, és készítettem önöknek egy grafikont. Íme! (Nevetés) Egy normál állapothoz képest elég furcsa görbe. Hát, én biztos nem szeretnék ráülni. (Nevetés) Tegyük fel magunknak a kérdést, mi az oka ennek a szabálytalanságnak? Néhányan a technológiát neveznék meg. Valóban, a technológiai megoldások egyre tökéletesedtek a történelem során, és éppen most a technológiai fejlődés hihetetlenül felgyorsult, ami közvetlen oka jelenlegi magas termelékenységünknek. De szeretnék jobban visszamenni a tényleges okig. Nézzük csak ezt a két kiváló urat! Itt van Kanzi, aki 200 nyelvi szimbólumot tanult meg, ami hihetetlen teljesítmény, és Ed Witten, aki elindította a második szuperhúr forradalmat. Ha benézünk a burkolat alá, ott alapvetően ugyanazt találjuk. Az egyikük kicsit nagyobb, s esetleg a kapcsolatokban is van egy-két trükkös megoldás. De ezek a láthatatlan különbségek nem lehetnek nagyon bonyolultak, mivel mi csupán 250 000 nemzedéknyire vagyunk utolsó közös ősünktől. Tudjuk, hogy az összetett mechanizmusok kifejlődéséhez hosszú időre van szükség. Tehát jó néhány viszonylag kisebb változás elvezet Kanzitól Wittenig, a letört faágaktól az interkontinentális ballisztikus rakétákig. Ezért eléggé nyilvánvaló, hogy minden, amit elértünk, ami fontos számunkra, alapvetően pár kisebb változás eredménye, melyek kialakították az emberi elmét. Következésképpen, minden további változásnak, ami jelentősen módosíthatja a gondolkodás alapjait, óriási kihatása lehet. Néhány kollégám szerint közel járunk valamihez, ami gyökeresen megváltoztathatja gondolkodásunk alapjait: ez pedig a gépi szuperértelem. A mesterséges intelligencia eddig azt jelentette, hogy parancsokat írunk egy dobozba. A programozók egyesével, aprólékosan pötyögték be a tudnivalókat. Felépítettük a szakértői rendszereket, amelyek megfeleltek néhány célra, de nagyon merevek és skálázhatatlanok voltak. Alapvetően csak az jött ki, amit beletettünk. De azóta paradigmaváltás történt a mesterséges intelligencia területén. Ma már a gépi tanulásról szól a történet. Ismeretek manuális bütykölése helyett tanuló algoritmusokat alkotunk, gyakorta közvetlenül az észlelt adatokból. Tulajdonképpen úgy, ahogy a kisgyerekek csinálják. Az eredmény a mesterséges intelligencia (MI), mely nem korlátozódik egy területre: ugyanaz a rendszer megtanulhat bármely két nyelv között fordítani, vagy bármilyen számítógépes játékot játszani egy Atari konzolon. Azért persze az MI-nek még távolról sincs meg az a figyelemre méltó, több területet átfogó képessége, hogy ember módjára tanuljon és tervezzen. Az agykéregnek van néhány algoritmikus trükkje, melyet még nem tudunk gépekkel utánozni. Szóval az a kérdés, milyen messze vagyunk attól, hogy lemásoljuk ezeket a trükköket? Néhány éve felmérést végeztünk a világ néhány vezető MI szakértőjének bevonásával, hogy lássuk, mit gondolnak a jövőről. Egyik kérdésünk így szólt: ''Mikorra gondolja, hogy 50%-os valószínűséggel meglesz az emberi szinvonalú gépi értelem?'' Az emberi szintet úgy határoztuk meg, mint olyan képességet, amellyel egy felnőtt csaknem bármely tevékenységet egyformán jól elvégezhet, nem csak egyszerű feladatokat. A válaszok mediánja, azaz középértéke 2040 vagy 2050 volt, attól függően, melyik szakértői csoportot kérdeztük meg. Ez az esemény sokkal később vagy hamarabb is bekövetkezhet, igazság szerint senki sem tudja. Azt viszont tudjuk, hogy a gépi információfeldolgozás végső lehetőségei jóval meghaladják az élő agyszövet korlátait. Ez fizikai alapokra vezethető vissza. Egy élő neuron legfeljebb 200 hertzcel sül ki, azaz egy másodperc alatt 200-szor. Ezzel szemben ma már egy tranzisztor is gigahertzes tartományban üzemel. A neuronok axonjai lassan, legföljebb 100 m/s sebességgel működnek. De a számítógépekben a jelek fénysebességgel terjedhetnek. És ott vannak a méret adta korlátok: az emberi agynak bele kell férnie a koponyába, de egy számítógép raktárméretű vagy még nagyobb is lehet. A szuperértelem lehetősége ott szunnyad az anyagban, akár az atomerő, amely a történelem során türelmesen várt ébredésére 1945-ig. Ebben az évszázadban a kutatók rájöhetnek, hogyan kell életre hívni az MI erejét. Úgy gondolom, intelligencia-robbanást láthatunk majd. A legtöbbünk, amikor arra gondol, mi az okosság és a butaság, szerintem nagyjából egy ilyen képet fest maga elé. A skála egyik végén ott a falu bolondja és valahol, jó messze a másik végén ott van Ed Witten vagy Albert Einstein, vagy bárki a kedvenc guruink közül. Szerintem a mesterséges intelligenciát illetően a valódi helyzet valószínűleg inkább így áll: Az MI itt kezdődik, a nulla intelligenciánál, aztán nagyon-nagyon sok év szorgalmas munkájával, talán eljutunk egy egér szintjének megfelelő mesterséges intelligenciához. Olyasmihez, ami eligazodik zsúfolt környezetben, úgy, mint azt egy egér teszi. Aztán még sokkal több év szívós munkája, rengeteg befektetés árán talán elérjük egy csimpánz szintjének megfelelő MI-t. Majd még több évnyi nagyon-nagyon kitartó munkával elérjük a falu bolondjának MI szintjét. Csak egy pillanattal később már lekörözzük Ed Wittent. A vonat nem áll meg az Emberfalva állomáson, hanem valószínűleg átrobog rajta. Ennek pedig lényeges kihatásai vannak, főleg, ha már erőviszonyokról lesz szó. A csimpánzok például erősek. Súlyához képest a csimpánz kétszer olyan erős, mint egy jó erőben lévő férfi. Mégis, Kanzi és társai sorsa sokkal inkább attól függ, hogy mi, emberek mit teszünk, mint attól, hogy ők mit tesznek. Ha egyszer eljön a szuperértelem kora, az emberiség sorsa attól függhet, amit ez a szuperértelem művel. Gondoljunk csak bele! A gépi intelligencia lesz az utolsó találmány, amit nekünk kell kigondolnunk. A gépek jobb feltalálók lesznek, mint mi vagyunk, ráadásul digitális időkeretben működnek. Alapvetően ez a jövő felgyorsulását jelenti. Gondoljunk az összes elképzelhető, eszement technológiára, amelyeket ha elég időnk lenne, talán kifejleszthetnénk: az öregedés ellenszere, az űr meghódítása, önmagukat reprodukáló nanobotok, az emberi elme gépre történő feltöltése és még mindenféle sci-fibe illő ötlet, amelyek azért a fizikai törvényeknek nem mondanak ellent. Egy szuperértelem mindezt talán elég gyorsan ki tudná fejleszteni. Egy ilyen kifinomult technológiájú szuperértelemnek rendkívüli hatalma lenne, mellyel legalább néhány esetben el tudná érni, amit akar. A jövőnket ekkor ennek az MI-nek a szempontjai alakítanák. Jó kérdés, melyek is ezek a szempontok? Itt kezd rázóssá válni a dolog. Hogy valahová is eljussunk, először is el kell kerülnünk az antropomorfizálást. Ez azért ironikus, mert az MI jövőjéről szóló minden újságcikkben ilyen kép szerepel. A kérdéshez egy kicsit elvonatkoztatva kellene közelítenünk, nem a látványos hollywoodi forgatókönyvek alapján. Az értelmet optimalizálási eljárásként kell felfognunk, amely a jövőt bizonyos lehetséges kimenetek felé tereli. A szuperértelem tényleg nagyon jó optimalizációs eljárás, amely elképesztően ügyesen használja az elérhető eszközöket, hogy létrejöjjön a céljának megfelelő állapot. Ez azt jelenti, hogy nem szükségképpen kötődik az ebben az értelemben vett magas intelligenciához egy számunkra értékes vagy értelmes cél követése. Adjuk azt a feladatot egy MI-nek, hogy késztesse mosolyra az embereket! Amíg az MI még gyenge, hasznos vagy mulatságos dolgokat tesz, mosolyra fakasztva a felhasználót. Mire az MI szuperértelmes lesz, rájön, hogy sokkal hatékonyabban is elérheti célját: átveszi a világ fölötti uralmat, és elektródákat ültet be az emberek arcizmaiba, amelyek állandó vigyorra kényszerítenek. Egy másik példa: tegyük fel, egy bonyolult matematikai problémát kell megoldania az MI-nek. Amikor az MI szuperértelmes lesz, rájön, hogy a probléma leghatékonyabb megoldása a bolygó átalakítása egy hatalmas számítógéppé, hogy kiterjeszthesse gondolkodási képességét. Vegyük észre, hogy ez további jó ok az MI-nek, hogy olyat műveljen, amellyel mi nem értenénk egyet. Mi fenyegetjük őt ebben a modellben, mert akadályozhatjuk a matematikai probléma megoldását. Az események persze nem pont így mehetnek rossz irányba, ezek csak képregényszintű példák. Fontos viszont az általános tanulság: ha egy valóban jó optimalizálási eljárást alkotunk, amely x cél szerint maximalizál, akkor gondoskodjunk róla, hogy az x célkitűzés tartalmazza mindazt, ami fontos számunkra. Erről sokat mond Midász király mondája, aki azt kívánta, hogy amihez csak hozzáér, váljék arannyá. Megérinti a lányát, aki arannyá változik. Arannyá válik az étele is, amihez hozzányúl. A rege nem csak a mohóság metaforájaként értelmezhető, de annak bemutatásaként is, mi történik, ha túl jól sikerül optimalizálnunk egy folyamatot, amelyhez rosszul felfogott vagy homályos célokat rendeltünk. Mondhatnák persze, hogy ha egy gép elektródákat akar a képünkbe dugdosni, majd egyszerűen kikapcsoljuk. De ezt nem olyan könnyű megtenni, ha már függővé váltunk a rendszertől. Ugyan már, hol az internet kikapcsolója? Miért nem kapcsolták ki a csimpánzok az emberiséget vagy a neandervölgyieket? Alapos okuk volt rá. Van nekünk is egy kikapcsolónk, például itt. (Fojtogatja magát) Az ok azonban az, hogy mi olyan okos ellenfél vagyunk, amelyik előre látja a veszélyeket, és felkészül rájuk. De egy szuperértelmes szereplő is ezt tenné, csak nálunk sokkal ügyesebben, Nem kellene abban bíznunk, hogy urai vagyunk helyzetnek. De azért megpróbálhatnánk megkönnyíteni a dolgunkat, pl. hogy az MI-t bedobozoljuk egy biztos szoftveres környezetbe, olyan virtuális valóságba, amelyből nem szabadulhat ki. Mennyire bízhatunk azonban abban, hogy az MI nem találna-e programhibát? Tekintve, hogy hackerek is mindig találnak hibákat, azt mondanám, hogy ebben nem nagyon bízhatunk. Akkor húzzuk ki az ethernet kábelt, egy légrést teremtve, de még az egyszerű hackerek is simán veszik ezt az akadályt, pszichológiai manipulációt használva. Éppen most, amíg beszélek, valahol egy alkalmazottat biztosan éppen rádumáltak, hogy árulja el fiókja adatait valakinek, aki állítása szerint a cég informatikusa. Sokkal kreatívabb cselek is lehetségesek: mondjuk, egy MI elektródákat köthet az áramköreinkre, hogy az így kibocsátott rádióhullámok útján kommunikálhasson. Esetleg üzemzavart mímelhetne, és amikor a programozók kinyitják, hogy megkeressék, mi a baj, megnézik a forráskódot is, és hoppá, már sor is kerülhet a manipulációra. Egy MI tervezhetne valami nagyon pöpec technológiát, amelynek alkalmazásakor az MI által tervezett néhány alattomos mellékhatás is előjön. Kulcsfontosságú, hogy nem szabad bíznunk benne, hogy egy szuperértelmes szellemet örökre palackba zárva tarthatunk, mert előbb-utóbb úgyis kiszabadul. Azt hiszem, a megoldás inkább az, ha kitaláljuk, hogyan alkothatunk olyan szuperértelmet, mely ha netán elszabadul, még mindig megbízható, mert alapvetően a mi oldalunkon áll, mivel értékeink közösek. Ez a fogas kérdés megkerülhetetlen. A kérdés megoldhatóságát illetően eléggé optimista vagyok. Írhatnánk egy hosszú listát mindarról, amit fontosnak tartunk, vagy ami még rosszabb: valamilyen programnyelven írnánk meg, pl. C++-ban vagy Pythonban, ami reménytelen feladat lenne. Ehelyett egy olyan MI-t csinálhatnánk, amely értelmét arra használja, hogy megtanulja, mik az értékeink, s az MI ösztönzőrendszerét a mi értékeink követésére, vagy az általunk vélhetően engedélyezett akciókra terveznénk. Az MI értelmét tehát feljavítanánk, amennyire lehet, hogy megoldjuk az értékkövetés kérdését. Ez a lehetséges kimenetel nagyon jó lenne az emberiségnek. De ez nem történik meg magától. Az intelligencia-robbanás kezdeti feltételeit már most jól elő kellene készíteni, ha irányított robbanást akarunk. Az MI értékeinek illeszkedniük kell a mieinkhez, az olyan ismerős helyzeteken túl is, amikor könnyen ellenőrizhető az MI viselkedése, de olyan új helyzetekben is, amelyekkel az MI szembekerülhet, a bizonytalan jövőben. Van még néhány megoldandó ezoterikus kérdés, mint a döntéselméleti kérdések részletei, a logikai bizonytalanság és egyebek kezelése. A megoldandó technikai nehézségek miatt a feladat eléggé bonyolultnak látszik. Nem annyira, mint egy szuperértelmes MI létrehozása, de még így is meglehetősen komplikált. Azért aggódhatunk, hogy egy értelmes MI létrehozása tényleg kemény dió, de a biztonságos, szuperértelmes MI megalkotása ezt még néhány további feladattal tetézi. Abban rejlik a kockázat, ha megoldjuk az első feladatot anélkül, hogy megoldottuk volna a másodikat is, amely szavatolná a teljes biztonságot. Ezért olyan megoldást kell kidolgoznunk, amely előbb oldja meg az ellenőrizhetőség kérdését, hogy mire szükségünk lesz rá, már kéznél legyen. Talán nem tudjuk az ellenőrzés kérdését előre és teljesen megoldani, mert néhány elem csak akkor kerülhet a helyére, ha részleteiben ismerjük a fogadó architektúrát. De minél többet megoldunk előre az ellenőrzés kérdéséből, annál jobbak az esélyeink, hogy a gépi értelem korszakába zökkenőmentes lesz az átmenet. Szerintem ezt nagyon megéri rendesen megcsinálni, és azt is el tudom képzelni, ha minden jól megy, amikor az emberek egymillió év múlva visszatekintenek erre az évszázadra, elmondhatják: az egyetlen lényeges dolgot elődeik akkor jól rendezték el. Köszönöm. (Taps)