Chris Anderson: Nick Bostrom.
Annyi őrült ötlettel rukkoltál már elő.
Néhány évtizeddel ezelőtt azzal,
hogy talán mind egy szimulációban élünk,
vagy talán valószínűleg éltünk.
Nemrégiben
élénk képet festettél arról,
hogyan sülhet el balul az általános mesterséges intelligencia.
Idén pedig
egy tanulmányt készülsz kiadni,
mely a sebezhető világ hipotézisét boncolgatja.
Ma este az a dolgunk, hogy ehhez képes útmutatót nyújtsunk.
Tegyünk hát így.
Miről szól a hipotézis?
Nick Bostrom: A jelen emberi lét
egyfajta strukturális jellemzőjét boncolgatja.
Kedveled az urnametaforát,
így azt használom magyarázatképp.
Képzelj el egy nagy, golyókkal teli urnát,
ahol a golyók ötletek, módszerek, lehetséges technológiák.
Az emberi kreativitás történelmét felfoghatjuk úgy is,
mint annak folyamatát, ahogyan az urnából egyik golyót a másik után húzzuk ki,
és a végeredmény eddig elég hasznos volt, ugye?
Nagy számban húztunk elő fehér golyókat,
néhány szürkés árnyalatút, vegyes eredménnyel.
A fekete golyót még nem húztuk ki –
a technológiát, amely végérvényesen lerombolja az azt felfedező civilizációt.
A tanulmány azt elemzi, milyen is lehet az a fekete golyó.
CA: Tehát a golyót úgy jellemzed,
mint amelyik elkerülhetetlenül lerombolja a civilizációt.
NB: Kivéve, ha kilépünk abból, amit én félanarchikus alapállapotnak hívok.
Egyfajta alapválasztásként.
CA: Úgy teszed meggyőzővé ezt a modellt,
hogy mutatsz néhány ellenpéldát,
ahol valójában eddig szerencsések voltunk,
hiszen akár ki is húzhattuk volna azt a halálgolyót,
még csak nem is sejtve.
Itt ez az idézet, miről szól?
NB: Gondolom, illusztrálni akarja,
milyen nehéz előre megjósolni,
hová vezetnek alapfelfedezések.
Képtelenek vagyunk megjósolni.
Abban elég jók vagyunk, hogy kihúzzuk a golyókat,
de visszatenni nem igazán tudjuk őket.
Felfedezni tudunk, visszacsinálni nem.
Ilyenképp a stratégiánk az,
hogy reméljük, az urnában nincs fekete golyó.
CA: Ha tehát egyszer kihúzzák, kint van, nem lehet visszatenni,
és szerinted eddig csak szerencsénk volt.
Mutass be nekünk párat ezen példák közül.
Különböző típusú sebezhetőségekről beszélsz.
NB: A legegyszerűbb ezt
egy olyan technológia segítségével megérteni,
amellyel könnyű nagy pusztítást véghezvinni.
A szintetikus biológia termékeny talaj lehet egy ilyen golyónak,
ám számtalan más dolog is szóba jöhet
– mondjuk a geomérnökség, igazán nagyszerű, nem?
Legyőzhetnénk a globális felmelegedést,
viszont ne legyen túl könnyű,
nem akarjuk, hogy egy random valaki a nagymamájával
képes legyen megváltoztatni a Föld klímáját.
Vagy ott vannak a halált okozó önvezető drónok,
szériagyártású, szúnyogméretű, gyilkos robotrajok.
Nanotechnológia, mesterséges általános intelligencia.
CA: A tanulmányban úgy érvelsz,
csak a szerencse kérdése volt,
hogy amikor felfedeztük az atomenergiában rejlő bombát,
az erőforrások nem voltak
sokkal könnyebben elérhetőek,
mindenki számára hozzáférhetőek a bombakészítéshez.
NB: Igen, visszagondolva az 1930-as évekre,
amikor először értünk el áttörést az atomfizikában,
egy zseni rájön, hogy nukleáris láncreakció hozható létre,
amely elvezethet a bombához.
Kicsit tovább dolgozunk rajta,
és kiderül, hogy az atombombához
magasan dúsított urán vagy plutónium szükséges,
mely anyagokhoz nehéz hozzájutni.
Ultracentrifugákra, reaktorokra,
meg nagy mennyiségű energiára van szükség.
Tegyük fel, ehelyett úgy alakul,
hogy van könnyebb mód az atomenergia felszabadítására.
Például azzal, hogy homokot sütünk a mikrohullámúban
vagy valami ilyesmi,
atomrobbanást idézhetünk elő.
Tudjuk, hogy ez fizikai képtelenség.
Ám a kellő fizika nélkül
honnan tudtuk volna, mi fog történni?
CA: Bár nem tagadhatod,
hogy mivel a földi élet kialakulása
egyfajta stabil környezetet igényelt,
amennyiben könnyedén lehetne masszív magreakciót létrehozni,
akkor a Föld sosem lett volna stabil,
sőt egyáltalán nem is létezne.
NB: Igen, kivéve, ha bizonyos dolgokat szándékosan könnyű megvalósítani,
ám véletlenszerűen nem alakulnak ki.
Például könnyen megtehetjük,
hogy egymásra halmozunk 10 farönköt,
de a természetben nem fogunk egy 10 rönkből álló farakást találni.
CA: Oké, valószínűleg ez az,
ami sokunkat a legjobban aggaszt,
és igen, a szintetikus biológia talán a leggyorsabb út,
amely a közeljövőben feltehetően odajuttat bennünket.
NB: Igen, gondoljuk csak el, mivel járhatott volna,
ha bárki képes lenne lerombolni egy várost,
mondjuk miközben délután a konyhájában tevékenykedik.
Nehéz felfogni, hogyan élhette volna túl ezt a modern civilizáció
abban a formájában, ahogy ismerjük.
Ugyanis egymillió emberből
mindig lesz néhány – bármi legyen is az oka –,
aki használni akarja azt a pusztító erőt.
És ha ezek az apokaliptikus szereplők,
egy várost akarnának lerombolni,
tényleg városok pusztulnának el.
CA: Nézzük a sebezhetőség egy másik típusát.
Beszéljünk erről.
NB: Az egyértelmű fekete golyók mellett,
melyek szimplán lehetővé teszik csomó minden felrobbantását,
mások úgy fejtenék ki hatásukat, hogy negatív ösztönzőként
az embereket rossz cselekedetekre sarkallnák.
A 2a típus alatt, nevezhetjük így,
elképzelhetünk valami olyan technológiát, amely a nagyhatalmakat arra ösztönzi,
hogy hatalmas erőiket mozgósítva vigyenek végbe pusztítást.
Az atomfegyverek eléggé a képbe illenek, ugye?
Több mint 10 billió dollárt költöttünk
70 000 atomtöltet megépítésére,
és kilövésre kész állapotban tartjuk őket.
A Hidegháború alatt bizony párszor
majdnem felrobbantottuk egymást.
Nem azért, mert bárki is úgy érezte,
jó ötlet 10 billió dollárt költeni magunk felrobbantására,
hanem a körülmények erre ösztönöztek bennünket –
rosszabb is lehetett volna.
Képzeljünk el egy megelőző csapást.
Azt követően, krízishelyzetben,
nehéz lett volna megállni
az összes atomrakéta kilövését.
Ha másért nem, legalább attól való félelmünkben, hogy a másik megteszi.
CA: A kölcsönösen biztosított megsemmisítés
viszonylag stabilizálta a Hidegháborút,
enélkül lehet nem lennénk itt.
NB: Instabilabb is lehetett volna a helyzet.
A technológia más jellemzői miatt is.
Nehezebben kötöttünk volna fegyverkezési egyezményeket,
ha atomfegyverek helyett
kisebb vagy kevésbé feltűnő dolgokról lett volna szó.
CA: Nemcsak a nagyhatalmak negatív motivációja,
hanem mindannyiunké aggaszt, ahogy a 2b pont is mutatja.
NB: Igen, vegyük például a globális felmelegedést.
Elkényelmesedettségünk okán
olyan dolgokat teszünk,
amelyeknek külön-külön nincs ugyebár jelentős hatása.
Ám ha emberek milliárdja tesz így,
összesítve már romboló hatással bírnak.
A globális felmelegedés most sokkal rosszabb is lehetne.
Vegyük a klímaérzékenységi paramétert.
Ez mutatja meg, mennyivel lesz melegebb,
ha bizonyos mennyiségű üvegházhatású gázt bocsájtunk ki.
Ám tegyük fel,
hogy a kibocsájtott üvegházhatású gázzal
2100-ra mondjuk nem 3,5-4 fokkal,
hanem 15 vagy 20 fokkal
emeljük a hőmérsékletet.
Akkor lennénk igazán rossz helyzetben.
Vagy tegyük fel, nehezebb lenne megújuló energiát előállítani.
Vagy több lenne a földben rejlő fosszilis üzemanyag.
CA: Nem tagadhatod, hogy ebben az esetben –
hogy ha az, amit ma teszünk,
tíz fok különbséget eredményezett volna egy általunk is belátható időszakon belül,
az emberiség keményen dolgozott volna valamilyen megoldáson.
Hülyék vagyunk, de talán mégsem annyira.
Vagy talán mégis.
NB: Nem fogadnék rá.
(Nevetés)
Más jellemzőket is elképzelhetnek.
Jelenleg kicsit nehézkes a megújulókra és hasonlókra való átállás,
de meg lehet csinálni.
Lehetséges lenne kissé másfajta fizikával,
viszont sokkal többe került volna megtenni ezeket.
CA: Mit gondolsz, Nick?
Ha ezeket a lehetőségeket összerakjuk:
ez a Föld, ez az emberiség,
sebezhető világnak számít?
Tartogat a jövőnk egy halálgolyót?
NB: Nehéz megmondani.
Szerintem szép számmal akadnak az urnában különböző fekete golyók,
ez a helyzet.
Talán akadnak ott aranygolyók is,
amelyek segítenek a feketék elleni védekezésben.
Fogalmam sincs, milyen sorrendben kerülnek elő.
CA: Egy lehetséges elméleti kritikája ennek a gondolatnak,
hogy e nézet szerint a jövőnk alapvetően eldöntetett.
Vagy van golyó, vagy nincs.
Bizonyos tekintetben
ez nem az a jövő, amiben hinni szeretnék.
Azt akarom hinni, hogy a jövőnk nincs elrendelve,
hogy a ma döntései határozzák meg,
milyen golyót húzunk ki az urnából.
NB: Úgy vélem, ha a felfedezéseket tovább folytatjuk,
végül ki fogjuk húzni az összes golyót.
Szerintem van egyfajta enyhe technológiai elrendeltség,
mert elég valószínű,
hogy nem találunk olyan társadalmat,
amely pattintott kőbaltát és sugárhajtású repülőt használ.
A technológiát szinte úgy is felfoghatjuk, mint egy adag "megengedést".
A technológia számtalan dolgot tesz számunkra lehetővé,
és különbözőképp hat a világra.
Hogy ezt hogyan használjuk, az emberi választáson múlik.
Ha a sebezhetőség e három típusára gondolunk,
elég valószínű, hogyan döntenénk a használatukat illetően.
Egy 1-es típusú sebezhetőség – ez a nagy pusztítóerő – kapcsán
eléggé valószínű feltételezés,
hogy egy millió emberből
néhány felhasználná rombolás céljából.
CA: Számomra az egyetlen zavaró érv,
hogy tulajdonképp van egyfajta elképzelésünk az urna tartalmáról,
ami valószínűsíti, hogy a sorsunk megpecsételődött.
Tudniillik, ha hisznek a gyorsító erőben,
hogy a technológia eredendően felgyorsul,
hogy eszközöket építünk, melyek erősebbé tesznek,
hogy egy ponton eljutnak arra a szintre,
ahol az egyén képes lesz mindannyiunkat elpusztítani,
és az végzetesnek tűnik ránk nézve.
Nem aggasztó ez az érvelés?
NB: Dehogynem.
(Nevetés)
Szerintem...
Egyre erősebbek leszünk
és egyre könnyebben használjuk az erőket,
ám feltalálhatunk olyan technológiákat is, melyek kontrollálni képesek,
ahogy az emberek használják az erőket.
CA: Beszéljünk erről, a lehetséges reakcióról.
Feltételezve, hogy a jelenleg már létező
lehetőségek kapcsán úgy gondolkodunk
– nemcsak a szintetikus biológiáról, hanem pl. a kiberháborúról,
a mesterséges intelligenciáról stb. –,
hogy a jövőben pusztulás várhat ránk.
Mik a lehetséges reakciók?
Négy lehetőséget említesz válaszként.
NB: A technológiai fejlődést korlátozni nem tűnik ígéretes megoldásnak,
ha általában véve meg akarnánk állítani a technológiai fejlődést.
Nem megvalósítható,
és nem is kívánatos út, még ha meg is tehetnénk.
Úgy hiszem, igen kevés terület az,
ahol le akarnánk lassítani a technológiai fejlődést.
Gondolom, nem akarnak gyorsabb fejlődést biológiai fegyverek esetében,
vagy mondjuk az izotópok szétválasztásában,
mellyel könnyebb lenne atomfegyvereket gyártani.
CA: Régebben egyetértettem ezzel.
Ám szeretnék most ellenvetéssel élni,
mindenekelőtt,
mert az elmúlt évtized történéseit nézve,
mindig is teljes gázzal mentünk előre,
ez oké, ez az egyetlen lehetőségünk.
Ám ha a globalizációt és annak gyorsulását,
ha a "Haladj gyorsan és zúzd a dolgokat" mottó stratégiáját nézzük,
és hogy mi lett annak a sorsa,
majd megnézzük a szintetikus biológia kínálta lehetőségeket,
nem tudom, tényleg gyorsabban kellene-e haladnunk,
vagy bármilyen korlátozás nélkül,
egy olyan világ felé, ahol a DNS-nyomtató
minden háztartásban és gimnáziumi laborban elérhető.
Vannak korlátozások, ugye?
NB: Ott van egyrészről, hogy nem megvalósítható.
Ha úgy hisszük, kívánatos megállítani,
ott a megvalósíthatóság kérdése.
Az nem igazán segít, ha egy nemzet valahogy...
CA: Nem, ha egy nemzet teszi, nem segít,
de megállapodásokat korábban is kötöttünk.
Úgy éltük túl a nukleáris fenyegetést,
hogy felléptünk
és átestünk az egyezkedés fájdalmas folyamatán.
Csak csodálkozom, hogy mivel ez globálisan elsődleges,
nem lenne-e logikus megpróbálni,
mondjuk azzal, hogy szigorúan szabályozzuk,
hol lehet szintetikusbiológiai kutatásokat végezni,
ez nem olyasvalami, ugye, amit demokratizálni akarnánk?
NB: Teljes mértékben egyetértek
– például nem rossz,
ha a DNS-szintetizáló elérhető,
ne olyan termék legyen, hogy minden labor rendelkezzen vele,
hanem inkább szolgáltatás.
Mondjuk négy-öt hely a világon,
ahová digitális lenyomatot küldhetnek, és DNS-t kapnak vissza, nem?
Aztán lenne rá lehetőség,
ha egy nap tényleg szükség volna rá,
hogy legyenek véges számú ellenőrzőpontok.
Úgy értem, ha egyfajta speciális lehetőségeket akarnánk,
ahol szigorúbban lehet ellenőrizni.
CA: Alapvetően abban hiszel,
hogy a visszatartás nem vezet eredményhez.
Valaki, valahol – mondjuk, Észak-Koreában –,
valaki eljut oda és felfedezi ezt a tudást,
ha van mit felfedezni.
NB: A jelen körülmények között ez valószínű.
És nem csak a szintetikus biológiában.
Szerintem a világon bármely mélyreható, új változásból
lehet fekete golyó.
CA: Nézzünk egy másik lehetséges reakciót.
NB: Ez itt szintén csak korlátozott hatással bír.
Újra az 1-es típusú sebezhetőséget véve,
ha csökkenthető lenne
a világ lerombolásában érdekeltek száma,
ha csak nekik lenne hozzáférésük, eszközeik,
az jó lenne.
CA: Ezen a képen elképzeled,
amint drónok repkednek mindenfelé,
arcfelismerővel.
Ha kiszúrnak valakit szociopata viselkedéssel,
megöntözik szeretettel, megjavítják.
NB: Ez olyan, mint egy hibrid kép.
Az eltávolítás egyszerre jelenthet bebörtönzést vagy kivégzést,
de azt is, hogy szebb színben lássák a világot.
Ám a lényeg,
tegyük fel, jó eredményeket értünk el,
és felére csökkent az effajta egyének száma.
Ha meggyőzéssel élnénk,
nagy erőkkel kell szembeszállnunk,
amelyek ugyanúgy igyekeznek hatni az emberekre:
pártok, vallás, oktatás.
De tegyük fel, felére csökken a számuk,
viszont a kockázat nem csökkenne a felére.
Talán öt-tíz százalékkal.
CA: Tehát nem ajánlod, hogy ezzel tegyük kockára az emberiség jövőjét.
NB: Szerintem jó dolog elrettenteni és meggyőzni az embereket,
de nem szabad erre, mint egyetlen biztosítékra támaszkodnunk.
CA: És a harmadik?
NB: Szerintem két általános módszer jöhet szóba,
hogy megerősítsük a világot
egy egész seregnyi sebezhetőséggel szemben.
Lehet, mindkettő szükséges lesz.
Az egyik nagyon hatékony képesség
a megelőző rendszabályozás.
Időben közbe tudnánk lépni.
Ha bárki veszélyes dologba fogna,
valós időben közbe tudnánk lépni, megakadályozni.
Ehhez totális megfigyelés szükségeltetik,
mindenkit, mindenkor megfigyelnének.
CA: Ez a "Különvélemény" egy formája.
NB: Talán lennének MI algoritmusok,
nagy központokkal, amelyek ezeket figyelik stb.
CA: Tudod, hogy a tömeges megfigyelés manapság nem túl népszerű?
(Nevetés)
NB: Persze; ezért képzeljük el,
hogy egy ilyen nyakláncot kellene állandóan viselnünk,
benne 360 fokos kamerával.
De hogy emészthetőbb legyen,
hívhatjuk "szabadságcédulának" vagy valami ilyesmi.
(Nevetés)
CA: Oké.
Ez aztán a beszélgetés, barátaim,
és pont emiatt ilyen elképesztő a beszélgetés.
NB: Valójában egész nagy beszélgetés folyik erről,
csakis erről.
Ez rengeteg problémát, kockázatot jelent, nem?
Erről később beszélhetünk.
A másik, a végső,
a másik általános megerősítési lehetőség
a kormányzási szakadék egyfajta betömése.
A megfigyelés például mikroszintű kormányzási szakadék,
megakadályozni bárkit, hogy valami nagyon törvénytelent csináljon.
Ez a kormányzási szakadék pedig
makroszinten, világszinten is látható.
Megbízhatóan szükségünk van arra a képességre,
hogy útját álljuk a legsúlyosabb globális koordinációs hibáknak,
így kerülve el a nagyhatalmak közti háborúkat,
fegyverkezési versenyeket,
a közösségek katasztrófáit,
hogy lehetőségük legyen a 2a típusú sebezhetőségekkel foglalkozni.
CA: A globális kormányzás
manapság idejétmúlt fogalom,
de tagadhatod-e a tényt, hogy a történelem során,
az emberiség történelmében,
a technológiai erő növekedésének minden szakaszában
újraszervezték és egyfajtaképp központosították a hatalmat.
Például ha egy huligánbanda
átvehetné a társadalom fölötti uralmat,
a válasz az, hogy egy nemzetállamban,
központosított erőkkel, rendőri vagy katonai erővel
ez nem lehetséges.
A logikus az, hogy ha egyetlen személy, vagy egy csoport,
ki tudná irtani az emberiséget,
azt jelenti, valamikor rá is kell lépjünk erre az útra,
valamilyen formában, nem?
NB: Tény, hogy a politikai szervezettség nagy mértékben nőtt
az emberi történelem során.
Először vadászó-gyűjtögető horda,
majd fejedelemség, városállamok, nemzetek,
most nemzetközi szervezeteink vannak, és így tovább.
Ismétlem,
hangsúlyozom,
hogy a tömeges megfigyelésnek
és a globális kormányzásnak
nyilvánvalóan komoly hátulütői, jelentős kockázatai vannak.
Csak rá szeretnék mutatni, hogy ha szerencsénk van,
lehet olyan világ is, ahol ezek lesznek a fekete golyó
túlélésének egyetlen esélyei.
CA: Ennek az elméletnek a logikája,
nekem úgy tűnik,
az, hogy nem lehet minden a miénk.
Igen, valahogy úgy.
Hogy úgy mondjam, sokunk naiv álma az,
hogy a technológia mindig a jó erőket szolgálja majd,
ne álljunk meg, folytassuk, amilyen gyorsan csak lehet,
ne figyeljünk oda következményekre,
ez nem választási lehetőség.
Meg tudjuk csinálni.
Ha megvan,
el kell fogadnunk
néhány kellemetlen velejáróját is,
és mintegy önmagunkkal kell fegyverkezési versenybe szállni:
ha akarjuk a hatalmat, korlátoznunk kell,
és jobb, ha kitaláljuk, hogyan korlátozhatjuk.
NB: Szerintem ez is egy lehetőség,
igen csábító lehetőség, bizonyos értelemben a legkönnyebb,
és talán működhet is.
De azt jelenti, a fekete golyó kihúzását nézve alapvetően sebezhetőek vagyunk.
Szerintem kis koordinációval,
ha mondjuk megoldottuk
a makro- és mikrokormányzási problémát,
akkor minden golyót kihúzhatunk az urnából,
és élvezhetjük ezek előnyeit.
CA: Ha viszont egy szimulációban élünk, számít ez egyáltalán?
Csak újrabootolunk.
(Nevetés)
NB: Akkor... én...
(Nevetés)
Erre nem számítottam.
CA: Szóval, mit gondolsz?
Ha összeillesztjük a részleteket, mennyire biztos, hogy halálra vagyunk ítélve?
(Nevetés)
Szeretem, ahogy nevetnek a kérdés hallatán.
NB: Mint egyének,
az idővel, amúgy is halálra vagyunk ítélve,
romlunk és öregszünk és hasonlók, nem?
(Nevetés)
Valójában ez kissé trükkös.
Ha a valószínűségre is kíváncsi, akkor először is:
kik vagyunk?
Ha nagyon öregek, a halál lehet természetes.
Ha nagyon fiatalok, lehet még száz évünk –
a valószínűség azon is múlhat, kiről van szó.
Aztán a küszöbérték: mi számít a civilizáció pusztulásának?
A tanulmányban nemcsak az egzisztenciális katasztrófákat
veszem figyelembe.
Ez csak meghatározás kérdése.
Mondjuk egymilliárd halott
vagy a GDP 50%-os csökkenése,
ám attól függően, mi a küszöbérték,
eltérő valószínűségi becslések jönnek ki.
Ám lehet, rémült optimistának tartanak.
(Nevetés)
CA: Te egy rémült optimista vagy,
és szerintem épp most rémítettél meg egy csomó másik ...
embert is.
(Nevetés)
NB: A szimulációban.
CA: Egy szimulációban.
Nick Bostrom, az elméd lenyűgöz,
köszönöm, hogy halálos rémületbe kergettél bennünket.
(Taps)