Így pusztíthatja el a civilizáció önmagát – és négy mód, ahogy ezt megelőzhetjük

Az emberiség dolgozik a "fekete golyón": egy olyan technológiai áttörésen, amely, Nick Bostrom filozófus szerint, mindannyiunkat elpusztíthat. Ebben, a Chris Andersonnal, a TED elnökével folytatott éles elméjű, meglepően könnyed beszélgetésben Bostrom felvázolja azokat a sebezhetőségeket, amelyekkel szembe kell nézzünk, ha (vagy amikor) a felfedezéseink felett elveszítjük a kontrollt – és felfedi azt is, hogyan akadályozhatjuk meg önnön jövőbeli pusztulásunkat.

Chris Anderson: Nick Bostrom.

Annyi őrült ötlettel rukkoltál már elő.

Néhány évtizeddel ezelőtt azzal,

hogy talán mind egy szimulációban élünk,

vagy talán valószínűleg éltünk.

Nemrégiben

élénk képet festettél arról,

hogyan sülhet el balul
az általános mesterséges intelligencia.

Idén pedig

egy tanulmányt készülsz kiadni,

mely a sebezhető világ
hipotézisét boncolgatja.

Ma este az a dolgunk,
hogy ehhez képes útmutatót nyújtsunk.

Tegyünk hát így.

Miről szól a hipotézis?

Nick Bostrom: A jelen emberi lét

egyfajta strukturális
jellemzőjét boncolgatja.

Kedveled az urnametaforát,

így azt használom magyarázatképp.

Képzelj el egy nagy, golyókkal teli urnát,

ahol a golyók ötletek, módszerek,
lehetséges technológiák.

Az emberi kreativitás
történelmét felfoghatjuk úgy is,

mint annak folyamatát, ahogyan az urnából
egyik golyót a másik után húzzuk ki,

és a végeredmény eddig
elég hasznos volt, ugye?

Nagy számban húztunk elő fehér golyókat,

néhány szürkés árnyalatút,
vegyes eredménnyel.

A fekete golyót még nem húztuk ki –

a technológiát, amely végérvényesen
lerombolja az azt felfedező civilizációt.

A tanulmány azt elemzi,
milyen is lehet az a fekete golyó.

CA: Tehát a golyót úgy jellemzed,

mint amelyik elkerülhetetlenül
lerombolja a civilizációt.

NB: Kivéve, ha kilépünk abból, amit én
félanarchikus alapállapotnak hívok.

Egyfajta alapválasztásként.

CA: Úgy teszed meggyőzővé ezt a modellt,

hogy mutatsz néhány ellenpéldát,

ahol valójában eddig szerencsések voltunk,

hiszen akár ki is húzhattuk
volna azt a halálgolyót,

még csak nem is sejtve.

Itt ez az idézet, miről szól?

NB: Gondolom, illusztrálni akarja,

milyen nehéz előre megjósolni,

hová vezetnek alapfelfedezések.

Képtelenek vagyunk megjósolni.

Abban elég jók vagyunk,
hogy kihúzzuk a golyókat,

de visszatenni nem igazán tudjuk őket.

Felfedezni tudunk, visszacsinálni nem.

Ilyenképp a stratégiánk az,

hogy reméljük, az urnában
nincs fekete golyó.

CA: Ha tehát egyszer kihúzzák,
kint van, nem lehet visszatenni,

és szerinted eddig csak szerencsénk volt.

Mutass be nekünk
párat ezen példák közül.

Különböző típusú
sebezhetőségekről beszélsz.

NB: A legegyszerűbb ezt

egy olyan technológia
segítségével megérteni,

amellyel könnyű
nagy pusztítást véghezvinni.

A szintetikus biológia termékeny
talaj lehet egy ilyen golyónak,

ám számtalan más dolog is szóba jöhet

– mondjuk a geomérnökség,
igazán nagyszerű, nem?

Legyőzhetnénk a globális felmelegedést,

viszont ne legyen túl könnyű,

nem akarjuk, hogy egy random valaki
a nagymamájával

képes legyen megváltoztatni
a Föld klímáját.

Vagy ott vannak a halált okozó
önvezető drónok,

szériagyártású, szúnyogméretű,
gyilkos robotrajok.

Nanotechnológia, mesterséges
általános intelligencia.

CA: A tanulmányban úgy érvelsz,

csak a szerencse kérdése volt,

hogy amikor felfedeztük
az atomenergiában rejlő bombát,

az erőforrások nem voltak

sokkal könnyebben elérhetőek,

mindenki számára hozzáférhetőek
a bombakészítéshez.

NB: Igen, visszagondolva
az 1930-as évekre,

amikor először értünk el
áttörést az atomfizikában,

egy zseni rájön, hogy nukleáris
láncreakció hozható létre,

amely elvezethet a bombához.

Kicsit tovább dolgozunk rajta,

és kiderül, hogy az atombombához

magasan dúsított urán
vagy plutónium szükséges,

mely anyagokhoz nehéz hozzájutni.

Ultracentrifugákra, reaktorokra,

meg nagy mennyiségű energiára
van szükség.

Tegyük fel, ehelyett úgy alakul,

hogy van könnyebb mód
az atomenergia felszabadítására.

Például azzal, hogy homokot
sütünk a mikrohullámúban

vagy valami ilyesmi,

atomrobbanást idézhetünk elő.

Tudjuk, hogy ez fizikai képtelenség.

Ám a kellő fizika nélkül

honnan tudtuk volna, mi fog történni?

CA: Bár nem tagadhatod,

hogy mivel a földi élet kialakulása

egyfajta stabil környezetet igényelt,

amennyiben könnyedén lehetne
masszív magreakciót létrehozni,

akkor a Föld sosem lett volna stabil,

sőt egyáltalán nem is létezne.

NB: Igen, kivéve, ha bizonyos dolgokat
szándékosan könnyű megvalósítani,

ám véletlenszerűen nem alakulnak ki.

Például könnyen megtehetjük,

hogy egymásra halmozunk 10 farönköt,

de a természetben nem fogunk
egy 10 rönkből álló farakást találni.

CA: Oké, valószínűleg ez az,

ami sokunkat a legjobban aggaszt,

és igen, a szintetikus biológia
talán a leggyorsabb út,

amely a közeljövőben
feltehetően odajuttat bennünket.

NB: Igen, gondoljuk csak el,
mivel járhatott volna,

ha bárki képes lenne
lerombolni egy várost,

mondjuk miközben délután
a konyhájában tevékenykedik.

Nehéz felfogni, hogyan élhette volna
túl ezt a modern civilizáció

abban a formájában, ahogy ismerjük.

Ugyanis egymillió emberből

mindig lesz néhány
– bármi legyen is az oka –,

aki használni akarja azt a pusztító erőt.

És ha ezek az apokaliptikus szereplők,

egy várost akarnának lerombolni,

tényleg városok pusztulnának el.

CA: Nézzük a sebezhetőség
egy másik típusát.

Beszéljünk erről.

NB: Az egyértelmű fekete golyók mellett,

melyek szimplán lehetővé teszik
csomó minden felrobbantását,

mások úgy fejtenék ki hatásukat,
hogy negatív ösztönzőként

az embereket rossz
cselekedetekre sarkallnák.

A 2a típus alatt, nevezhetjük így,

elképzelhetünk valami olyan technológiát,
amely a nagyhatalmakat arra ösztönzi,

hogy hatalmas erőiket mozgósítva
vigyenek végbe pusztítást.

Az atomfegyverek eléggé
a képbe illenek, ugye?

Több mint 10 billió dollárt költöttünk

70 000 atomtöltet megépítésére,

és kilövésre kész állapotban tartjuk őket.

A Hidegháború alatt bizony párszor

majdnem felrobbantottuk egymást.

Nem azért, mert bárki is úgy érezte,

jó ötlet 10 billió dollárt költeni
magunk felrobbantására,

hanem a körülmények
erre ösztönöztek bennünket –

rosszabb is lehetett volna.

Képzeljünk el egy megelőző csapást.

Azt követően, krízishelyzetben,

nehéz lett volna megállni

az összes atomrakéta kilövését.

Ha másért nem, legalább attól való
félelmünkben, hogy a másik megteszi.

CA: A kölcsönösen biztosított
megsemmisítés

viszonylag stabilizálta a Hidegháborút,

enélkül lehet nem lennénk itt.

NB: Instabilabb is lehetett
volna a helyzet.

A technológia más jellemzői miatt is.

Nehezebben kötöttünk volna
fegyverkezési egyezményeket,

ha atomfegyverek helyett

kisebb vagy kevésbé
feltűnő dolgokról lett volna szó.

CA: Nemcsak a nagyhatalmak
negatív motivációja,

hanem mindannyiunké aggaszt,
ahogy a 2b pont is mutatja.

NB: Igen, vegyük például
a globális felmelegedést.

Elkényelmesedettségünk okán

olyan dolgokat teszünk,

amelyeknek külön-külön nincs
ugyebár jelentős hatása.

Ám ha emberek milliárdja tesz így,

összesítve már romboló hatással bírnak.

A globális felmelegedés most
sokkal rosszabb is lehetne.

Vegyük a klímaérzékenységi paramétert.

Ez mutatja meg, mennyivel lesz melegebb,

ha bizonyos mennyiségű
üvegházhatású gázt bocsájtunk ki.

Ám tegyük fel,

hogy a kibocsájtott üvegházhatású gázzal

2100-ra mondjuk nem 3,5-4 fokkal,

hanem 15 vagy 20 fokkal

emeljük a hőmérsékletet.

Akkor lennénk igazán rossz helyzetben.

Vagy tegyük fel, nehezebb lenne
megújuló energiát előállítani.

Vagy több lenne a földben
rejlő fosszilis üzemanyag.

CA: Nem tagadhatod,
hogy ebben az esetben –

hogy ha az, amit ma teszünk,

tíz fok különbséget eredményezett volna
egy általunk is belátható időszakon belül,

az emberiség keményen dolgozott
volna valamilyen megoldáson.

Hülyék vagyunk, de talán mégsem annyira.

Vagy talán mégis.

NB: Nem fogadnék rá.

(Nevetés)

Más jellemzőket is elképzelhetnek.

Jelenleg kicsit nehézkes a megújulókra
és hasonlókra való átállás,

de meg lehet csinálni.

Lehetséges lenne kissé másfajta fizikával,

viszont sokkal többe került
volna megtenni ezeket.

CA: Mit gondolsz, Nick?

Ha ezeket a lehetőségeket összerakjuk:

ez a Föld, ez az emberiség,

sebezhető világnak számít?

Tartogat a jövőnk egy halálgolyót?

NB: Nehéz megmondani.

Szerintem szép számmal akadnak
az urnában különböző fekete golyók,

ez a helyzet.

Talán akadnak ott aranygolyók is,

amelyek segítenek a feketék
elleni védekezésben.

Fogalmam sincs, milyen
sorrendben kerülnek elő.

CA: Egy lehetséges elméleti
kritikája ennek a gondolatnak,

hogy e nézet szerint a jövőnk
alapvetően eldöntetett.

Vagy van golyó, vagy nincs.

Bizonyos tekintetben

ez nem az a jövő, amiben hinni szeretnék.

Azt akarom hinni,
hogy a jövőnk nincs elrendelve,

hogy a ma döntései határozzák meg,

milyen golyót húzunk ki az urnából.

NB: Úgy vélem, ha a felfedezéseket
tovább folytatjuk,

végül ki fogjuk húzni az összes golyót.

Szerintem van egyfajta enyhe
technológiai elrendeltség,

mert elég valószínű,

hogy nem találunk olyan társadalmat,

amely pattintott kőbaltát és
sugárhajtású repülőt használ.

A technológiát szinte úgy is felfoghatjuk,
mint egy adag "megengedést".

A technológia számtalan dolgot
tesz számunkra lehetővé,

és különbözőképp hat a világra.

Hogy ezt hogyan használjuk,
az emberi választáson múlik.

Ha a sebezhetőség
e három típusára gondolunk,

elég valószínű, hogyan döntenénk
a használatukat illetően.

Egy 1-es típusú sebezhetőség
– ez a nagy pusztítóerő – kapcsán

eléggé valószínű feltételezés,

hogy egy millió emberből

néhány felhasználná rombolás céljából.

CA: Számomra az egyetlen zavaró érv,

hogy tulajdonképp van egyfajta
elképzelésünk az urna tartalmáról,

ami valószínűsíti, hogy a sorsunk
megpecsételődött.

Tudniillik, ha hisznek a gyorsító erőben,

hogy a technológia eredendően felgyorsul,

hogy eszközöket építünk,
melyek erősebbé tesznek,

hogy egy ponton eljutnak arra a szintre,

ahol az egyén képes lesz
mindannyiunkat elpusztítani,

és az végzetesnek tűnik ránk nézve.

Nem aggasztó ez az érvelés?

NB: Dehogynem.

(Nevetés)

Szerintem...

Egyre erősebbek leszünk

és egyre könnyebben használjuk az erőket,

ám feltalálhatunk olyan technológiákat is,
melyek kontrollálni képesek,

ahogy az emberek használják az erőket.

CA: Beszéljünk erről,
a lehetséges reakcióról.

Feltételezve, hogy a jelenleg már létező

lehetőségek kapcsán úgy gondolkodunk

– nemcsak a szintetikus biológiáról,
hanem pl. a kiberháborúról,

a mesterséges intelligenciáról stb. –,

hogy a jövőben pusztulás várhat ránk.

Mik a lehetséges reakciók?

Négy lehetőséget említesz válaszként.

NB: A technológiai fejlődést korlátozni
nem tűnik ígéretes megoldásnak,

ha általában véve meg akarnánk
állítani a technológiai fejlődést.

Nem megvalósítható,

és nem is kívánatos út,
még ha meg is tehetnénk.

Úgy hiszem, igen kevés terület az,

ahol le akarnánk lassítani
a technológiai fejlődést.

Gondolom, nem akarnak gyorsabb
fejlődést biológiai fegyverek esetében,

vagy mondjuk az izotópok
szétválasztásában,

mellyel könnyebb lenne
atomfegyvereket gyártani.

CA: Régebben egyetértettem ezzel.

Ám szeretnék most ellenvetéssel élni,

mindenekelőtt,

mert az elmúlt évtized történéseit nézve,

mindig is teljes gázzal mentünk előre,

ez oké, ez az egyetlen lehetőségünk.

Ám ha a globalizációt
és annak gyorsulását,

ha a "Haladj gyorsan és zúzd a dolgokat"
mottó stratégiáját nézzük,

és hogy mi lett annak a sorsa,

majd megnézzük a szintetikus
biológia kínálta lehetőségeket,

nem tudom, tényleg gyorsabban
kellene-e haladnunk,

vagy bármilyen korlátozás nélkül,

egy olyan világ felé, ahol a DNS-nyomtató

minden háztartásban
és gimnáziumi laborban elérhető.

Vannak korlátozások, ugye?

NB: Ott van egyrészről,
hogy nem megvalósítható.

Ha úgy hisszük, kívánatos megállítani,

ott a megvalósíthatóság kérdése.

Az nem igazán segít,
ha egy nemzet valahogy...

CA: Nem, ha egy nemzet teszi, nem segít,

de megállapodásokat korábban is kötöttünk.

Úgy éltük túl a nukleáris fenyegetést,

hogy felléptünk

és átestünk az egyezkedés
fájdalmas folyamatán.

Csak csodálkozom,
hogy mivel ez globálisan elsődleges,

nem lenne-e logikus megpróbálni,

mondjuk azzal,
hogy szigorúan szabályozzuk,

hol lehet szintetikusbiológiai
kutatásokat végezni,

ez nem olyasvalami, ugye,
amit demokratizálni akarnánk?

NB: Teljes mértékben egyetértek

– például nem rossz,

ha a DNS-szintetizáló elérhető,

ne olyan termék legyen,
hogy minden labor rendelkezzen vele,

hanem inkább szolgáltatás.

Mondjuk négy-öt hely a világon,

ahová digitális lenyomatot küldhetnek,
és DNS-t kapnak vissza, nem?

Aztán lenne rá lehetőség,

ha egy nap tényleg szükség volna rá,

hogy legyenek véges számú ellenőrzőpontok.

Úgy értem, ha egyfajta speciális
lehetőségeket akarnánk,

ahol szigorúbban lehet ellenőrizni.

CA: Alapvetően abban hiszel,

hogy a visszatartás nem vezet eredményhez.

Valaki, valahol – mondjuk,
Észak-Koreában –,

valaki eljut oda
és felfedezi ezt a tudást,

ha van mit felfedezni.

NB: A jelen körülmények
között ez valószínű.

És nem csak a szintetikus biológiában.

Szerintem a világon bármely
mélyreható, új változásból

lehet fekete golyó.

CA: Nézzünk egy másik lehetséges reakciót.

NB: Ez itt szintén csak
korlátozott hatással bír.

Újra az 1-es típusú sebezhetőséget véve,

ha csökkenthető lenne

a világ lerombolásában érdekeltek száma,

ha csak nekik lenne
hozzáférésük, eszközeik,

az jó lenne.

CA: Ezen a képen elképzeled,

amint drónok repkednek mindenfelé,

arcfelismerővel.

Ha kiszúrnak valakit
szociopata viselkedéssel,

megöntözik szeretettel, megjavítják.

NB: Ez olyan, mint egy hibrid kép.

Az eltávolítás egyszerre jelenthet
bebörtönzést vagy kivégzést,

de azt is, hogy szebb
színben lássák a világot.

Ám a lényeg,

tegyük fel, jó eredményeket értünk el,

és felére csökkent
az effajta egyének száma.

Ha meggyőzéssel élnénk,

nagy erőkkel kell szembeszállnunk,

amelyek ugyanúgy
igyekeznek hatni az emberekre:

pártok, vallás, oktatás.

De tegyük fel, felére csökken a számuk,

viszont a kockázat
nem csökkenne a felére.

Talán öt-tíz százalékkal.

CA: Tehát nem ajánlod, hogy ezzel
tegyük kockára az emberiség jövőjét.

NB: Szerintem jó dolog elrettenteni
és meggyőzni az embereket,

de nem szabad erre, mint egyetlen
biztosítékra támaszkodnunk.

CA: És a harmadik?

NB: Szerintem két általános
módszer jöhet szóba,

hogy megerősítsük a világot

egy egész seregnyi
sebezhetőséggel szemben.

Lehet, mindkettő szükséges lesz.

Az egyik nagyon hatékony képesség

a megelőző rendszabályozás.

Időben közbe tudnánk lépni.

Ha bárki veszélyes dologba fogna,

valós időben közbe tudnánk
lépni, megakadályozni.

Ehhez totális megfigyelés szükségeltetik,

mindenkit, mindenkor megfigyelnének.

CA: Ez a "Különvélemény" egy formája.

NB: Talán lennének MI algoritmusok,

nagy központokkal,
amelyek ezeket figyelik stb.

CA: Tudod, hogy a tömeges megfigyelés
manapság nem túl népszerű?

(Nevetés)

NB: Persze; ezért képzeljük el,

hogy egy ilyen nyakláncot
kellene állandóan viselnünk,

benne 360 fokos kamerával.

De hogy emészthetőbb legyen,

hívhatjuk "szabadságcédulának"
vagy valami ilyesmi.

(Nevetés)

CA: Oké.

Ez aztán a beszélgetés, barátaim,

és pont emiatt ilyen
elképesztő a beszélgetés.

NB: Valójában egész nagy
beszélgetés folyik erről,

csakis erről.

Ez rengeteg problémát,
kockázatot jelent, nem?

Erről később beszélhetünk.

A másik, a végső,

a másik általános megerősítési lehetőség

a kormányzási szakadék
egyfajta betömése.

A megfigyelés például
mikroszintű kormányzási szakadék,

megakadályozni bárkit, hogy valami
nagyon törvénytelent csináljon.

Ez a kormányzási szakadék pedig

makroszinten, világszinten is látható.

Megbízhatóan szükségünk
van arra a képességre,

hogy útját álljuk a legsúlyosabb
globális koordinációs hibáknak,

így kerülve el a nagyhatalmak
közti háborúkat,

fegyverkezési versenyeket,

a közösségek katasztrófáit,

hogy lehetőségük legyen a 2a típusú
sebezhetőségekkel foglalkozni.

CA: A globális kormányzás

manapság idejétmúlt fogalom,

de tagadhatod-e a tényt,
hogy a történelem során,

az emberiség történelmében,

a technológiai erő növekedésének
minden szakaszában

újraszervezték és egyfajtaképp
központosították a hatalmat.

Például ha egy huligánbanda

átvehetné a társadalom fölötti uralmat,

a válasz az, hogy egy nemzetállamban,

központosított erőkkel,
rendőri vagy katonai erővel

ez nem lehetséges.

A logikus az, hogy ha egyetlen személy,
vagy egy csoport,

ki tudná irtani az emberiséget,

azt jelenti, valamikor rá is
kell lépjünk erre az útra,

valamilyen formában, nem?

NB: Tény, hogy a politikai szervezettség
nagy mértékben nőtt

az emberi történelem során.

Először vadászó-gyűjtögető horda,

majd fejedelemség, városállamok, nemzetek,

most nemzetközi szervezeteink
vannak, és így tovább.

Ismétlem,

hangsúlyozom,

hogy a tömeges megfigyelésnek

és a globális kormányzásnak

nyilvánvalóan komoly hátulütői,
jelentős kockázatai vannak.

Csak rá szeretnék mutatni,
hogy ha szerencsénk van,

lehet olyan világ is,
ahol ezek lesznek a fekete golyó

túlélésének egyetlen esélyei.

CA: Ennek az elméletnek a logikája,

nekem úgy tűnik,

az, hogy nem lehet minden a miénk.

Igen, valahogy úgy.

Hogy úgy mondjam, sokunk naiv álma az,

hogy a technológia mindig
a jó erőket szolgálja majd,

ne álljunk meg, folytassuk,
amilyen gyorsan csak lehet,

ne figyeljünk oda következményekre,

ez nem választási lehetőség.

Meg tudjuk csinálni.

Ha megvan,

el kell fogadnunk

néhány kellemetlen velejáróját is,

és mintegy önmagunkkal kell
fegyverkezési versenybe szállni:

ha akarjuk a hatalmat,
korlátoznunk kell,

és jobb, ha kitaláljuk,
hogyan korlátozhatjuk.

NB: Szerintem ez is egy lehetőség,

igen csábító lehetőség,
bizonyos értelemben a legkönnyebb,

és talán működhet is.

De azt jelenti, a fekete golyó kihúzását
nézve alapvetően sebezhetőek vagyunk.

Szerintem kis koordinációval,

ha mondjuk megoldottuk

a makro- és mikrokormányzási problémát,

akkor minden golyót
kihúzhatunk az urnából,

és élvezhetjük ezek előnyeit.

CA: Ha viszont egy szimulációban
élünk, számít ez egyáltalán?

Csak újrabootolunk.

(Nevetés)

NB: Akkor... én...

(Nevetés)

Erre nem számítottam.

CA: Szóval, mit gondolsz?

Ha összeillesztjük a részleteket, mennyire
biztos, hogy halálra vagyunk ítélve?

(Nevetés)

Szeretem, ahogy nevetnek
a kérdés hallatán.

NB: Mint egyének,

az idővel, amúgy is halálra
vagyunk ítélve,

romlunk és öregszünk és hasonlók, nem?

(Nevetés)

Valójában ez kissé trükkös.

Ha a valószínűségre is
kíváncsi, akkor először is:

kik vagyunk?

Ha nagyon öregek,
a halál lehet természetes.

Ha nagyon fiatalok,
lehet még száz évünk –

a valószínűség azon is
múlhat, kiről van szó.

Aztán a küszöbérték: mi számít
a civilizáció pusztulásának?

A tanulmányban nemcsak az
egzisztenciális katasztrófákat

veszem figyelembe.

Ez csak meghatározás kérdése.

Mondjuk egymilliárd halott

vagy a GDP 50%-os csökkenése,

ám attól függően, mi a küszöbérték,

eltérő valószínűségi becslések jönnek ki.

Ám lehet, rémült optimistának tartanak.

(Nevetés)

CA: Te egy rémült optimista vagy,

és szerintem épp most
rémítettél meg egy csomó másik ...

embert is.

(Nevetés)

NB: A szimulációban.

CA: Egy szimulációban.

Nick Bostrom, az elméd lenyűgöz,

köszönöm, hogy halálos rémületbe
kergettél bennünket.

(Taps)