Mi történik, ha a számítógépeink nálunk okosabbak lesznek?

A mesterséges intelligencia (MI) rohamosan fejlődik, és a kutatások szerint még ebben az évszázadban elérheti az emberi értelem szintjét. Ezen a ponton, Nick Bostrom szerint, az MI átveszi felettünk az uralmat. ‘’A gépi értelem lesz az utolsó találmány, amelyet nekünk kellett kigondolnunk.’’ Az egy személyben filozófus és technológus Bostrom arra ösztönöz, hogy alaposan gondoljuk meg, milyen, gondolkodó gépek irányította világot építünk. Segítenek-e okos gépeink megőrizni az emberiességet és értékeinket, vagy saját értékeket alakítanak ki?

Több matematikussal, filozófussal
és számítógépes szakemberrel dolgozom,

akikkel együtt gondolkodunk
a gépi intelligencia, értelem jövőjéről

és számos más kérdésről.

Néhányan azt gondolják,
egyes kérdéseink

sci-fibe illő, elvont őrültségek.

Rendben, szoktam mondani,
de nézzük meg,

milyen ma az ember helyzete.

(Nevetés)

Ez a szokásos állapot,
ahogy annak lennie kell.

Ám ha utánagondolunk, mi, emberek

csak nemrég érkezett vendégek vagyunk

ezen a bolygón.

Képzeljük el, hogy a Föld
csak egy éve jött lére,

így az emberi faj tíz perce létezne.

Az ipari korszak csak
két másodperce kezdődött.

Máshonnan nézve a kérdést, gondoljunk
a világ elmúlt 10 000 évi GDP-jére.

Vettem magamnak a fáradságot,

és készítettem önöknek egy grafikont. Íme!

(Nevetés)

Egy normál állapothoz képest
elég furcsa görbe.

Hát, én biztos nem szeretnék ráülni.

(Nevetés)

Tegyük fel magunknak a kérdést,
mi az oka ennek a szabálytalanságnak?

Néhányan a technológiát neveznék meg.

Valóban, a technológiai megoldások
egyre tökéletesedtek a történelem során,

és éppen most a technológiai fejlődés

hihetetlenül felgyorsult,
ami közvetlen oka

jelenlegi magas termelékenységünknek.

De szeretnék jobban
visszamenni a tényleges okig.

Nézzük csak ezt a két kiváló urat!

Itt van Kanzi,

aki 200 nyelvi szimbólumot tanult meg,
ami hihetetlen teljesítmény,

és Ed Witten, aki elindította
a második szuperhúr forradalmat.

Ha benézünk a burkolat alá,

ott alapvetően ugyanazt találjuk.

Az egyikük kicsit nagyobb, s esetleg

a kapcsolatokban is van
egy-két trükkös megoldás.

De ezek a láthatatlan különbségek
nem lehetnek nagyon bonyolultak,

mivel mi csupán
250 000 nemzedéknyire vagyunk

utolsó közös ősünktől.

Tudjuk, hogy az összetett mechanizmusok
kifejlődéséhez hosszú időre van szükség.

Tehát jó néhány viszonylag kisebb változás

elvezet Kanzitól Wittenig,

a letört faágaktól az interkontinentális
ballisztikus rakétákig.

Ezért eléggé nyilvánvaló, hogy minden,

amit elértünk, ami fontos számunkra,

alapvetően pár kisebb változás eredménye,
melyek kialakították az emberi elmét.

Következésképpen,
minden további változásnak,

ami jelentősen módosíthatja

a gondolkodás alapjait,
óriási kihatása lehet.

Néhány kollégám szerint
közel járunk valamihez,

ami gyökeresen megváltoztathatja
gondolkodásunk alapjait:

ez pedig a gépi szuperértelem.

A mesterséges intelligencia
eddig azt jelentette,

hogy parancsokat írunk egy dobozba.
A programozók egyesével,

aprólékosan pötyögték be a tudnivalókat.

Felépítettük a szakértői rendszereket,

amelyek megfeleltek néhány célra,

de nagyon merevek
és skálázhatatlanok voltak.

Alapvetően csak az jött ki,
amit beletettünk.

De azóta

paradigmaváltás történt
a mesterséges intelligencia területén.

Ma már a gépi tanulásról
szól a történet.

Ismeretek manuális bütykölése helyett

tanuló algoritmusokat alkotunk,
gyakorta közvetlenül az észlelt adatokból.

Tulajdonképpen úgy,
ahogy a kisgyerekek csinálják.

Az eredmény a mesterséges intelligencia
(MI), mely nem korlátozódik egy területre:

ugyanaz a rendszer megtanulhat
bármely két nyelv között fordítani,

vagy bármilyen számítógépes játékot
játszani egy Atari konzolon.

Azért persze az MI-nek
még távolról sincs meg

az a figyelemre méltó,
több területet átfogó képessége,

hogy ember módjára tanuljon és tervezzen.

Az agykéregnek van
néhány algoritmikus trükkje,

melyet még nem tudunk gépekkel utánozni.

Szóval az a kérdés,

milyen messze vagyunk attól,
hogy lemásoljuk ezeket a trükköket?

Néhány éve felmérést végeztünk

a világ néhány vezető
MI szakértőjének bevonásával,

hogy lássuk, mit gondolnak a jövőről.
Egyik kérdésünk így szólt:

''Mikorra gondolja,
hogy 50%-os valószínűséggel meglesz

az emberi szinvonalú gépi értelem?''

Az emberi szintet úgy határoztuk meg,
mint olyan képességet,

amellyel egy felnőtt csaknem
bármely tevékenységet

egyformán jól elvégezhet,
nem csak egyszerű feladatokat.

A válaszok mediánja, azaz középértéke
2040 vagy 2050 volt,

attól függően, melyik
szakértői csoportot kérdeztük meg.

Ez az esemény sokkal később
vagy hamarabb is bekövetkezhet,

igazság szerint senki sem tudja.

Azt viszont tudjuk,
hogy a gépi információfeldolgozás

végső lehetőségei jóval meghaladják
az élő agyszövet korlátait.

Ez fizikai alapokra vezethető vissza.

Egy élő neuron legfeljebb 200 hertzcel
sül ki, azaz egy másodperc alatt 200-szor.

Ezzel szemben ma már egy tranzisztor
is gigahertzes tartományban üzemel.

A neuronok axonjai lassan,
legföljebb 100 m/s sebességgel működnek.

De a számítógépekben a jelek
fénysebességgel terjedhetnek.

És ott vannak a méret adta korlátok:

az emberi agynak
bele kell férnie a koponyába,

de egy számítógép raktárméretű
vagy még nagyobb is lehet.

A szuperértelem lehetősége
ott szunnyad az anyagban,

akár az atomerő, amely a történelem során

türelmesen várt ébredésére 1945-ig.

Ebben az évszázadban

a kutatók rájöhetnek,
hogyan kell életre hívni az MI erejét.

Úgy gondolom, intelligencia-robbanást
láthatunk majd.

A legtöbbünk, amikor arra gondol,
mi az okosság és a butaság,

szerintem nagyjából
egy ilyen képet fest maga elé.

A skála egyik végén ott a falu bolondja

és valahol, jó messze a másik végén

ott van Ed Witten vagy Albert Einstein,
vagy bárki a kedvenc guruink közül.

Szerintem a mesterséges
intelligenciát illetően

a valódi helyzet valószínűleg
inkább így áll:

Az MI itt kezdődik,
a nulla intelligenciánál,

aztán nagyon-nagyon sok év
szorgalmas munkájával,

talán eljutunk egy egér szintjének
megfelelő mesterséges intelligenciához.

Olyasmihez, ami eligazodik
zsúfolt környezetben,

úgy, mint azt egy egér teszi.

Aztán még sokkal több év szívós
munkája, rengeteg befektetés árán

talán elérjük
egy csimpánz szintjének megfelelő MI-t.

Majd még több évnyi
nagyon-nagyon kitartó munkával

elérjük a falu bolondjának MI szintjét.

Csak egy pillanattal később
már lekörözzük Ed Wittent.

A vonat nem áll meg
az Emberfalva állomáson,

hanem valószínűleg átrobog rajta.

Ennek pedig lényeges kihatásai vannak,

főleg, ha már erőviszonyokról lesz szó.

A csimpánzok például erősek.

Súlyához képest a csimpánz kétszer
olyan erős, mint egy jó erőben lévő férfi.

Mégis, Kanzi és társai sorsa
sokkal inkább attól függ,

hogy mi, emberek mit teszünk,
mint attól, hogy ők mit tesznek.

Ha egyszer eljön a szuperértelem kora,

az emberiség sorsa attól függhet,
amit ez a szuperértelem művel.

Gondoljunk csak bele!
A gépi intelligencia lesz

az utolsó találmány, amit
nekünk kell kigondolnunk.

A gépek jobb feltalálók lesznek,
mint mi vagyunk,

ráadásul digitális időkeretben működnek.

Alapvetően ez a jövő
felgyorsulását jelenti.

Gondoljunk az összes elképzelhető,
eszement technológiára,

amelyeket ha elég időnk lenne,
talán kifejleszthetnénk:

az öregedés ellenszere, az űr meghódítása,

önmagukat reprodukáló nanobotok,
az emberi elme gépre történő feltöltése

és még mindenféle sci-fibe illő ötlet,

amelyek azért a fizikai
törvényeknek nem mondanak ellent.

Egy szuperértelem mindezt talán
elég gyorsan ki tudná fejleszteni.

Egy ilyen kifinomult technológiájú
szuperértelemnek

rendkívüli hatalma lenne, mellyel legalább

néhány esetben el tudná érni, amit akar.

A jövőnket ekkor ennek az MI-nek
a szempontjai alakítanák.

Jó kérdés, melyek is ezek a szempontok?

Itt kezd rázóssá válni a dolog.

Hogy valahová is eljussunk,

először is el kell kerülnünk
az antropomorfizálást.

Ez azért ironikus,
mert az MI jövőjéről szóló

minden újságcikkben ilyen kép szerepel.

A kérdéshez egy kicsit elvonatkoztatva
kellene közelítenünk,

nem a látványos hollywoodi
forgatókönyvek alapján.

Az értelmet optimalizálási
eljárásként kell felfognunk,

amely a jövőt bizonyos lehetséges
kimenetek felé tereli.

A szuperértelem tényleg
nagyon jó optimalizációs eljárás,

amely elképesztően ügyesen használja
az elérhető eszközöket, hogy létrejöjjön

a céljának megfelelő állapot.

Ez azt jelenti,
hogy nem szükségképpen kötődik

az ebben az értelemben vett
magas intelligenciához

egy számunkra értékes
vagy értelmes cél követése.

Adjuk azt a feladatot egy MI-nek,
hogy késztesse mosolyra az embereket!

Amíg az MI még gyenge,
hasznos vagy mulatságos dolgokat tesz,

mosolyra fakasztva a felhasználót.

Mire az MI szuperértelmes lesz, rájön,

hogy sokkal hatékonyabban is
elérheti célját:

átveszi a világ fölötti uralmat,

és elektródákat ültet be
az emberek arcizmaiba,

amelyek állandó vigyorra kényszerítenek.

Egy másik példa:

tegyük fel, egy bonyolult matematikai
problémát kell megoldania az MI-nek.

Amikor az MI szuperértelmes lesz,

rájön, hogy a probléma
leghatékonyabb megoldása

a bolygó átalakítása
egy hatalmas számítógéppé,

hogy kiterjeszthesse
gondolkodási képességét.

Vegyük észre,
hogy ez további jó ok az MI-nek,

hogy olyat műveljen,
amellyel mi nem értenénk egyet.

Mi fenyegetjük őt ebben a modellben,

mert akadályozhatjuk
a matematikai probléma megoldását.

Az események persze nem pont
így mehetnek rossz irányba,

ezek csak képregényszintű példák.

Fontos viszont az általános tanulság:

ha egy valóban jó
optimalizálási eljárást alkotunk,

amely x cél szerint maximalizál,

akkor gondoskodjunk róla,
hogy az x célkitűzés

tartalmazza mindazt, ami fontos számunkra.

Erről sokat mond Midász király mondája,

aki azt kívánta, hogy amihez
csak hozzáér, váljék arannyá.

Megérinti a lányát, aki arannyá változik.

Arannyá válik az étele is,
amihez hozzányúl.

A rege nem csak

a mohóság metaforájaként értelmezhető,

de annak bemutatásaként is,
mi történik,

ha túl jól sikerül
optimalizálnunk egy folyamatot,

amelyhez rosszul felfogott
vagy homályos célokat rendeltünk.

Mondhatnák persze, hogy ha egy gép
elektródákat akar a képünkbe dugdosni,

majd egyszerűen kikapcsoljuk.

De ezt nem olyan könnyű megtenni,
ha már függővé váltunk a rendszertől.

Ugyan már, hol az internet kikapcsolója?

Miért nem kapcsolták ki
a csimpánzok az emberiséget

vagy a neandervölgyieket?

Alapos okuk volt rá.

Van nekünk is egy kikapcsolónk,
például itt.

(Fojtogatja magát)

Az ok azonban az, hogy mi olyan
okos ellenfél vagyunk,

amelyik előre látja a veszélyeket,
és felkészül rájuk.

De egy szuperértelmes szereplő is
ezt tenné,

csak nálunk sokkal ügyesebben,

Nem kellene abban bíznunk,
hogy urai vagyunk helyzetnek.

De azért megpróbálhatnánk
megkönnyíteni a dolgunkat,

pl. hogy az MI-t bedobozoljuk

egy biztos szoftveres környezetbe,

olyan virtuális valóságba,
amelyből nem szabadulhat ki.

Mennyire bízhatunk azonban abban,
hogy az MI nem találna-e programhibát?

Tekintve, hogy hackerek is
mindig találnak hibákat,

azt mondanám, hogy ebben
nem nagyon bízhatunk.

Akkor húzzuk ki az ethernet kábelt,
egy légrést teremtve,

de még az egyszerű hackerek is simán

veszik ezt az akadályt,
pszichológiai manipulációt használva.

Éppen most, amíg beszélek,

valahol egy alkalmazottat biztosan

éppen rádumáltak,
hogy árulja el fiókja adatait valakinek,

aki állítása szerint a cég informatikusa.

Sokkal kreatívabb cselek is lehetségesek:

mondjuk,

egy MI elektródákat köthet
az áramköreinkre,

hogy az így kibocsátott
rádióhullámok útján kommunikálhasson.

Esetleg üzemzavart mímelhetne,

és amikor a programozók kinyitják,
hogy megkeressék, mi a baj,

megnézik a forráskódot is, és hoppá,

már sor is kerülhet a manipulációra.

Egy MI tervezhetne valami
nagyon pöpec technológiát,

amelynek alkalmazásakor

az MI által tervezett néhány alattomos
mellékhatás is előjön.

Kulcsfontosságú, hogy nem szabad
bíznunk benne,

hogy egy szuperértelmes szellemet
örökre palackba zárva tarthatunk,

mert előbb-utóbb úgyis kiszabadul.

Azt hiszem, a megoldás inkább az,
ha kitaláljuk, hogyan alkothatunk

olyan szuperértelmet,
mely ha netán elszabadul,

még mindig megbízható,
mert alapvetően a mi oldalunkon áll,

mivel értékeink közösek.

Ez a fogas kérdés megkerülhetetlen.

A kérdés megoldhatóságát illetően
eléggé optimista vagyok.

Írhatnánk egy hosszú listát mindarról,
amit fontosnak tartunk,

vagy ami még rosszabb:
valamilyen programnyelven írnánk meg,

pl. C++-ban vagy Pythonban,

ami reménytelen feladat lenne.

Ehelyett egy olyan MI-t csinálhatnánk,
amely értelmét arra használja,

hogy megtanulja, mik az értékeink,

s az MI ösztönzőrendszerét
a mi értékeink követésére,

vagy az általunk vélhetően
engedélyezett akciókra terveznénk.

Az MI értelmét tehát feljavítanánk,
amennyire lehet,

hogy megoldjuk az értékkövetés kérdését.

Ez a lehetséges kimenetel

nagyon jó lenne az emberiségnek.

De ez nem történik meg magától.

Az intelligencia-robbanás
kezdeti feltételeit

már most jól elő kellene készíteni,

ha irányított robbanást akarunk.

Az MI értékeinek illeszkedniük
kell a mieinkhez,

az olyan ismerős helyzeteken túl is,

amikor könnyen ellenőrizhető
az MI viselkedése,

de olyan új helyzetekben is,
amelyekkel az MI szembekerülhet,

a bizonytalan jövőben.

Van még néhány megoldandó
ezoterikus kérdés,

mint a döntéselméleti kérdések részletei,

a logikai bizonytalanság
és egyebek kezelése.

A megoldandó technikai
nehézségek miatt a feladat

eléggé bonyolultnak látszik.

Nem annyira, mint
egy szuperértelmes MI létrehozása,

de még így is meglehetősen komplikált.

Azért aggódhatunk,

hogy egy értelmes MI létrehozása
tényleg kemény dió,

de a biztonságos, szuperértelmes
MI megalkotása

ezt még néhány további feladattal tetézi.

Abban rejlik a kockázat,
ha megoldjuk az első feladatot anélkül,

hogy megoldottuk volna a másodikat is,

amely szavatolná a teljes biztonságot.

Ezért olyan megoldást kell kidolgoznunk,

amely előbb oldja meg
az ellenőrizhetőség kérdését,

hogy mire szükségünk lesz rá,
már kéznél legyen.

Talán nem tudjuk az ellenőrzés
kérdését előre és teljesen megoldani,

mert néhány elem csak
akkor kerülhet a helyére,

ha részleteiben ismerjük
a fogadó architektúrát.

De minél többet megoldunk előre
az ellenőrzés kérdéséből,

annál jobbak az esélyeink,
hogy a gépi értelem korszakába

zökkenőmentes lesz az átmenet.

Szerintem ezt nagyon megéri
rendesen megcsinálni,

és azt is el tudom képzelni,
ha minden jól megy,

amikor az emberek egymillió év múlva
visszatekintenek erre az évszázadra,

elmondhatják: az egyetlen lényeges dolgot

elődeik akkor jól rendezték el.

Köszönöm.

(Taps)