Hungarian feliratok

← Így pusztíthatja el a civilizáció önmagát – és négy mód, ahogy ezt megelőzhetjük

Beágyazókód kérése
23 Languages

Showing Revision 46 created 02/28/2020 by Csaba Lóki.

  1. Chris Anderson: Nick Bostrom.
  2. Annyi őrült ötlettel rukkoltál már elő.
  3. Néhány évtizeddel ezelőtt azzal,
  4. hogy talán mind egy szimulációban élünk,
  5. vagy talán valószínűleg éltünk.
  6. Nemrégiben
  7. élénk képet festettél arról,
  8. hogyan sülhet el balul
    az általános mesterséges intelligencia.
  9. Idén pedig
  10. egy tanulmányt készülsz kiadni,
  11. mely a sebezhető világ
    hipotézisét boncolgatja.
  12. Ma este az a dolgunk,
    hogy ehhez képes útmutatót nyújtsunk.
  13. Tegyünk hát így.
  14. Miről szól a hipotézis?
  15. Nick Bostrom: A jelen emberi lét

  16. egyfajta strukturális
    jellemzőjét boncolgatja.
  17. Kedveled az urnametaforát,
  18. így azt használom magyarázatképp.
  19. Képzelj el egy nagy, golyókkal teli urnát,
  20. ahol a golyók ötletek, módszerek,
    lehetséges technológiák.
  21. Az emberi kreativitás
    történelmét felfoghatjuk úgy is,
  22. mint annak folyamatát, ahogyan az urnából
    egyik golyót a másik után húzzuk ki,
  23. és a végeredmény eddig
    elég hasznos volt, ugye?
  24. Nagy számban húztunk elő fehér golyókat,
  25. néhány szürkés árnyalatút,
    vegyes eredménnyel.
  26. A fekete golyót még nem húztuk ki –
  27. a technológiát, amely végérvényesen
    lerombolja az azt felfedező civilizációt.
  28. A tanulmány azt elemzi,
    milyen is lehet az a fekete golyó.
  29. CA: Tehát a golyót úgy jellemzed,

  30. mint amelyik elkerülhetetlenül
    lerombolja a civilizációt.
  31. NB: Kivéve, ha kilépünk abból, amit én
    félanarchikus alapállapotnak hívok.

  32. Egyfajta alapválasztásként.
  33. CA: Úgy teszed meggyőzővé ezt a modellt,

  34. hogy mutatsz néhány ellenpéldát,
  35. ahol valójában eddig szerencsések voltunk,
  36. hiszen akár ki is húzhattuk
    volna azt a halálgolyót,
  37. még csak nem is sejtve.
  38. Itt ez az idézet, miről szól?
  39. NB: Gondolom, illusztrálni akarja,

  40. milyen nehéz előre megjósolni,
  41. hová vezetnek alapfelfedezések.
  42. Képtelenek vagyunk megjósolni.
  43. Abban elég jók vagyunk,
    hogy kihúzzuk a golyókat,
  44. de visszatenni nem igazán tudjuk őket.
  45. Felfedezni tudunk, visszacsinálni nem.
  46. Ilyenképp a stratégiánk az,
  47. hogy reméljük, az urnában
    nincs fekete golyó.
  48. CA: Ha tehát egyszer kihúzzák,
    kint van, nem lehet visszatenni,

  49. és szerinted eddig csak szerencsénk volt.
  50. Mutass be nekünk
    párat ezen példák közül.
  51. Különböző típusú
    sebezhetőségekről beszélsz.
  52. NB: A legegyszerűbb ezt

  53. egy olyan technológia
    segítségével megérteni,
  54. amellyel könnyű
    nagy pusztítást véghezvinni.
  55. A szintetikus biológia termékeny
    talaj lehet egy ilyen golyónak,
  56. ám számtalan más dolog is szóba jöhet
  57. – mondjuk a geomérnökség,
    igazán nagyszerű, nem?
  58. Legyőzhetnénk a globális felmelegedést,
  59. viszont ne legyen túl könnyű,
  60. nem akarjuk, hogy egy random valaki
    a nagymamájával
  61. képes legyen megváltoztatni
    a Föld klímáját.
  62. Vagy ott vannak a halált okozó
    önvezető drónok,
  63. szériagyártású, szúnyogméretű,
    gyilkos robotrajok.
  64. Nanotechnológia, mesterséges
    általános intelligencia.
  65. CA: A tanulmányban úgy érvelsz,

  66. csak a szerencse kérdése volt,
  67. hogy amikor felfedeztük
    az atomenergiában rejlő bombát,
  68. az erőforrások nem voltak
  69. sokkal könnyebben elérhetőek,
  70. mindenki számára hozzáférhetőek
    a bombakészítéshez.
  71. NB: Igen, visszagondolva
    az 1930-as évekre,

  72. amikor először értünk el
    áttörést az atomfizikában,
  73. egy zseni rájön, hogy nukleáris
    láncreakció hozható létre,
  74. amely elvezethet a bombához.
  75. Kicsit tovább dolgozunk rajta,
  76. és kiderül, hogy az atombombához
  77. magasan dúsított urán
    vagy plutónium szükséges,
  78. mely anyagokhoz nehéz hozzájutni.
  79. Ultracentrifugákra, reaktorokra,
  80. meg nagy mennyiségű energiára
    van szükség.
  81. Tegyük fel, ehelyett úgy alakul,
  82. hogy van könnyebb mód
    az atomenergia felszabadítására.
  83. Például azzal, hogy homokot
    sütünk a mikrohullámúban
  84. vagy valami ilyesmi,
  85. atomrobbanást idézhetünk elő.
  86. Tudjuk, hogy ez fizikai képtelenség.
  87. Ám a kellő fizika nélkül
  88. honnan tudtuk volna, mi fog történni?
  89. CA: Bár nem tagadhatod,

  90. hogy mivel a földi élet kialakulása
  91. egyfajta stabil környezetet igényelt,
  92. amennyiben könnyedén lehetne
    masszív magreakciót létrehozni,
  93. akkor a Föld sosem lett volna stabil,
  94. sőt egyáltalán nem is létezne.
  95. NB: Igen, kivéve, ha bizonyos dolgokat
    szándékosan könnyű megvalósítani,

  96. ám véletlenszerűen nem alakulnak ki.
  97. Például könnyen megtehetjük,
  98. hogy egymásra halmozunk 10 farönköt,
  99. de a természetben nem fogunk
    egy 10 rönkből álló farakást találni.
  100. CA: Oké, valószínűleg ez az,

  101. ami sokunkat a legjobban aggaszt,
  102. és igen, a szintetikus biológia
    talán a leggyorsabb út,
  103. amely a közeljövőben
    feltehetően odajuttat bennünket.
  104. NB: Igen, gondoljuk csak el,
    mivel járhatott volna,

  105. ha bárki képes lenne
    lerombolni egy várost,
  106. mondjuk miközben délután
    a konyhájában tevékenykedik.
  107. Nehéz felfogni, hogyan élhette volna
    túl ezt a modern civilizáció
  108. abban a formájában, ahogy ismerjük.
  109. Ugyanis egymillió emberből
  110. mindig lesz néhány
    – bármi legyen is az oka –,
  111. aki használni akarja azt a pusztító erőt.
  112. És ha ezek az apokaliptikus szereplők,
  113. egy várost akarnának lerombolni,
  114. tényleg városok pusztulnának el.
  115. CA: Nézzük a sebezhetőség
    egy másik típusát.

  116. Beszéljünk erről.
  117. NB: Az egyértelmű fekete golyók mellett,

  118. melyek szimplán lehetővé teszik
    csomó minden felrobbantását,
  119. mások úgy fejtenék ki hatásukat,
    hogy negatív ösztönzőként
  120. az embereket rossz
    cselekedetekre sarkallnák.
  121. A 2a típus alatt, nevezhetjük így,
  122. elképzelhetünk valami olyan technológiát,
    amely a nagyhatalmakat arra ösztönzi,
  123. hogy hatalmas erőiket mozgósítva
    vigyenek végbe pusztítást.
  124. Az atomfegyverek eléggé
    a képbe illenek, ugye?
  125. Több mint 10 billió dollárt költöttünk
  126. 70 000 atomtöltet megépítésére,
  127. és kilövésre kész állapotban tartjuk őket.
  128. A Hidegháború alatt bizony párszor
  129. majdnem felrobbantottuk egymást.
  130. Nem azért, mert bárki is úgy érezte,
  131. jó ötlet 10 billió dollárt költeni
    magunk felrobbantására,
  132. hanem a körülmények
    erre ösztönöztek bennünket –
  133. rosszabb is lehetett volna.
  134. Képzeljünk el egy megelőző csapást.
  135. Azt követően, krízishelyzetben,
  136. nehéz lett volna megállni
  137. az összes atomrakéta kilövését.
  138. Ha másért nem, legalább attól való
    félelmünkben, hogy a másik megteszi.
  139. CA: A kölcsönösen biztosított
    megsemmisítés

  140. viszonylag stabilizálta a Hidegháborút,
  141. enélkül lehet nem lennénk itt.
  142. NB: Instabilabb is lehetett
    volna a helyzet.

  143. A technológia más jellemzői miatt is.
  144. Nehezebben kötöttünk volna
    fegyverkezési egyezményeket,
  145. ha atomfegyverek helyett
  146. kisebb vagy kevésbé
    feltűnő dolgokról lett volna szó.
  147. CA: Nemcsak a nagyhatalmak
    negatív motivációja,

  148. hanem mindannyiunké aggaszt,
    ahogy a 2b pont is mutatja.
  149. NB: Igen, vegyük például
    a globális felmelegedést.

  150. Elkényelmesedettségünk okán
  151. olyan dolgokat teszünk,
  152. amelyeknek külön-külön nincs
    ugyebár jelentős hatása.
  153. Ám ha emberek milliárdja tesz így,
  154. összesítve már romboló hatással bírnak.
  155. A globális felmelegedés most
    sokkal rosszabb is lehetne.
  156. Vegyük a klímaérzékenységi paramétert.
  157. Ez mutatja meg, mennyivel lesz melegebb,
  158. ha bizonyos mennyiségű
    üvegházhatású gázt bocsájtunk ki.
  159. Ám tegyük fel,
  160. hogy a kibocsájtott üvegházhatású gázzal
  161. 2100-ra mondjuk nem 3,5-4 fokkal,
  162. hanem 15 vagy 20 fokkal
  163. emeljük a hőmérsékletet.
  164. Akkor lennénk igazán rossz helyzetben.
  165. Vagy tegyük fel, nehezebb lenne
    megújuló energiát előállítani.
  166. Vagy több lenne a földben
    rejlő fosszilis üzemanyag.
  167. CA: Nem tagadhatod,
    hogy ebben az esetben –

  168. hogy ha az, amit ma teszünk,
  169. tíz fok különbséget eredményezett volna
    egy általunk is belátható időszakon belül,
  170. az emberiség keményen dolgozott
    volna valamilyen megoldáson.
  171. Hülyék vagyunk, de talán mégsem annyira.
  172. Vagy talán mégis.
  173. NB: Nem fogadnék rá.

  174. (Nevetés)

  175. Más jellemzőket is elképzelhetnek.

  176. Jelenleg kicsit nehézkes a megújulókra
    és hasonlókra való átállás,
  177. de meg lehet csinálni.
  178. Lehetséges lenne kissé másfajta fizikával,
  179. viszont sokkal többe került
    volna megtenni ezeket.
  180. CA: Mit gondolsz, Nick?

  181. Ha ezeket a lehetőségeket összerakjuk:
  182. ez a Föld, ez az emberiség,
  183. sebezhető világnak számít?
  184. Tartogat a jövőnk egy halálgolyót?
  185. NB: Nehéz megmondani.

  186. Szerintem szép számmal akadnak
    az urnában különböző fekete golyók,
  187. ez a helyzet.
  188. Talán akadnak ott aranygolyók is,
  189. amelyek segítenek a feketék
    elleni védekezésben.
  190. Fogalmam sincs, milyen
    sorrendben kerülnek elő.
  191. CA: Egy lehetséges elméleti
    kritikája ennek a gondolatnak,

  192. hogy e nézet szerint a jövőnk
    alapvetően eldöntetett.
  193. Vagy van golyó, vagy nincs.
  194. Bizonyos tekintetben
  195. ez nem az a jövő, amiben hinni szeretnék.
  196. Azt akarom hinni,
    hogy a jövőnk nincs elrendelve,
  197. hogy a ma döntései határozzák meg,
  198. milyen golyót húzunk ki az urnából.
  199. NB: Úgy vélem, ha a felfedezéseket
    tovább folytatjuk,

  200. végül ki fogjuk húzni az összes golyót.
  201. Szerintem van egyfajta enyhe
    technológiai elrendeltség,
  202. mert elég valószínű,
  203. hogy nem találunk olyan társadalmat,
  204. amely pattintott kőbaltát és
    sugárhajtású repülőt használ.
  205. A technológiát szinte úgy is felfoghatjuk,
    mint egy adag "megengedést".
  206. A technológia számtalan dolgot
    tesz számunkra lehetővé,
  207. és különbözőképp hat a világra.
  208. Hogy ezt hogyan használjuk,
    az emberi választáson múlik.
  209. Ha a sebezhetőség
    e három típusára gondolunk,
  210. elég valószínű, hogyan döntenénk
    a használatukat illetően.
  211. Egy 1-es típusú sebezhetőség
    – ez a nagy pusztítóerő – kapcsán
  212. eléggé valószínű feltételezés,
  213. hogy egy millió emberből
  214. néhány felhasználná rombolás céljából.
  215. CA: Számomra az egyetlen zavaró érv,

  216. hogy tulajdonképp van egyfajta
    elképzelésünk az urna tartalmáról,
  217. ami valószínűsíti, hogy a sorsunk
    megpecsételődött.
  218. Tudniillik, ha hisznek a gyorsító erőben,
  219. hogy a technológia eredendően felgyorsul,
  220. hogy eszközöket építünk,
    melyek erősebbé tesznek,
  221. hogy egy ponton eljutnak arra a szintre,
  222. ahol az egyén képes lesz
    mindannyiunkat elpusztítani,
  223. és az végzetesnek tűnik ránk nézve.
  224. Nem aggasztó ez az érvelés?
  225. NB: Dehogynem.

  226. (Nevetés)

  227. Szerintem...

  228. Egyre erősebbek leszünk
  229. és egyre könnyebben használjuk az erőket,
  230. ám feltalálhatunk olyan technológiákat is,
    melyek kontrollálni képesek,
  231. ahogy az emberek használják az erőket.
  232. CA: Beszéljünk erről,
    a lehetséges reakcióról.

  233. Feltételezve, hogy a jelenleg már létező
  234. lehetőségek kapcsán úgy gondolkodunk
  235. – nemcsak a szintetikus biológiáról,
    hanem pl. a kiberháborúról,
  236. a mesterséges intelligenciáról stb. –,
  237. hogy a jövőben pusztulás várhat ránk.
  238. Mik a lehetséges reakciók?
  239. Négy lehetőséget említesz válaszként.
  240. NB: A technológiai fejlődést korlátozni
    nem tűnik ígéretes megoldásnak,

  241. ha általában véve meg akarnánk
    állítani a technológiai fejlődést.
  242. Nem megvalósítható,
  243. és nem is kívánatos út,
    még ha meg is tehetnénk.
  244. Úgy hiszem, igen kevés terület az,
  245. ahol le akarnánk lassítani
    a technológiai fejlődést.
  246. Gondolom, nem akarnak gyorsabb
    fejlődést biológiai fegyverek esetében,
  247. vagy mondjuk az izotópok
    szétválasztásában,
  248. mellyel könnyebb lenne
    atomfegyvereket gyártani.
  249. CA: Régebben egyetértettem ezzel.

  250. Ám szeretnék most ellenvetéssel élni,
  251. mindenekelőtt,
  252. mert az elmúlt évtized történéseit nézve,
  253. mindig is teljes gázzal mentünk előre,
  254. ez oké, ez az egyetlen lehetőségünk.
  255. Ám ha a globalizációt
    és annak gyorsulását,
  256. ha a "Haladj gyorsan és zúzd a dolgokat"
    mottó stratégiáját nézzük,
  257. és hogy mi lett annak a sorsa,
  258. majd megnézzük a szintetikus
    biológia kínálta lehetőségeket,
  259. nem tudom, tényleg gyorsabban
    kellene-e haladnunk,
  260. vagy bármilyen korlátozás nélkül,
  261. egy olyan világ felé, ahol a DNS-nyomtató
  262. minden háztartásban
    és gimnáziumi laborban elérhető.
  263. Vannak korlátozások, ugye?
  264. NB: Ott van egyrészről,
    hogy nem megvalósítható.

  265. Ha úgy hisszük, kívánatos megállítani,
  266. ott a megvalósíthatóság kérdése.
  267. Az nem igazán segít,
    ha egy nemzet valahogy...
  268. CA: Nem, ha egy nemzet teszi, nem segít,

  269. de megállapodásokat korábban is kötöttünk.
  270. Úgy éltük túl a nukleáris fenyegetést,
  271. hogy felléptünk
  272. és átestünk az egyezkedés
    fájdalmas folyamatán.
  273. Csak csodálkozom,
    hogy mivel ez globálisan elsődleges,
  274. nem lenne-e logikus megpróbálni,
  275. mondjuk azzal,
    hogy szigorúan szabályozzuk,
  276. hol lehet szintetikusbiológiai
    kutatásokat végezni,
  277. ez nem olyasvalami, ugye,
    amit demokratizálni akarnánk?
  278. NB: Teljes mértékben egyetértek

  279. – például nem rossz,
  280. ha a DNS-szintetizáló elérhető,
  281. ne olyan termék legyen,
    hogy minden labor rendelkezzen vele,
  282. hanem inkább szolgáltatás.
  283. Mondjuk négy-öt hely a világon,
  284. ahová digitális lenyomatot küldhetnek,
    és DNS-t kapnak vissza, nem?
  285. Aztán lenne rá lehetőség,
  286. ha egy nap tényleg szükség volna rá,
  287. hogy legyenek véges számú ellenőrzőpontok.
  288. Úgy értem, ha egyfajta speciális
    lehetőségeket akarnánk,
  289. ahol szigorúbban lehet ellenőrizni.
  290. CA: Alapvetően abban hiszel,

  291. hogy a visszatartás nem vezet eredményhez.
  292. Valaki, valahol – mondjuk,
    Észak-Koreában –,
  293. valaki eljut oda
    és felfedezi ezt a tudást,
  294. ha van mit felfedezni.
  295. NB: A jelen körülmények
    között ez valószínű.

  296. És nem csak a szintetikus biológiában.
  297. Szerintem a világon bármely
    mélyreható, új változásból
  298. lehet fekete golyó.
  299. CA: Nézzünk egy másik lehetséges reakciót.

  300. NB: Ez itt szintén csak
    korlátozott hatással bír.

  301. Újra az 1-es típusú sebezhetőséget véve,
  302. ha csökkenthető lenne
  303. a világ lerombolásában érdekeltek száma,
  304. ha csak nekik lenne
    hozzáférésük, eszközeik,
  305. az jó lenne.
  306. CA: Ezen a képen elképzeled,

  307. amint drónok repkednek mindenfelé,
  308. arcfelismerővel.
  309. Ha kiszúrnak valakit
    szociopata viselkedéssel,
  310. megöntözik szeretettel, megjavítják.
  311. NB: Ez olyan, mint egy hibrid kép.

  312. Az eltávolítás egyszerre jelenthet
    bebörtönzést vagy kivégzést,
  313. de azt is, hogy szebb
    színben lássák a világot.
  314. Ám a lényeg,
  315. tegyük fel, jó eredményeket értünk el,
  316. és felére csökkent
    az effajta egyének száma.
  317. Ha meggyőzéssel élnénk,
  318. nagy erőkkel kell szembeszállnunk,
  319. amelyek ugyanúgy
    igyekeznek hatni az emberekre:
  320. pártok, vallás, oktatás.
  321. De tegyük fel, felére csökken a számuk,
  322. viszont a kockázat
    nem csökkenne a felére.
  323. Talán öt-tíz százalékkal.
  324. CA: Tehát nem ajánlod, hogy ezzel
    tegyük kockára az emberiség jövőjét.

  325. NB: Szerintem jó dolog elrettenteni
    és meggyőzni az embereket,

  326. de nem szabad erre, mint egyetlen
    biztosítékra támaszkodnunk.
  327. CA: És a harmadik?

  328. NB: Szerintem két általános
    módszer jöhet szóba,

  329. hogy megerősítsük a világot
  330. egy egész seregnyi
    sebezhetőséggel szemben.
  331. Lehet, mindkettő szükséges lesz.
  332. Az egyik nagyon hatékony képesség
  333. a megelőző rendszabályozás.
  334. Időben közbe tudnánk lépni.
  335. Ha bárki veszélyes dologba fogna,
  336. valós időben közbe tudnánk
    lépni, megakadályozni.
  337. Ehhez totális megfigyelés szükségeltetik,
  338. mindenkit, mindenkor megfigyelnének.
  339. CA: Ez a "Különvélemény" egy formája.

  340. NB: Talán lennének MI algoritmusok,

  341. nagy központokkal,
    amelyek ezeket figyelik stb.
  342. CA: Tudod, hogy a tömeges megfigyelés
    manapság nem túl népszerű?

  343. (Nevetés)

  344. NB: Persze; ezért képzeljük el,

  345. hogy egy ilyen nyakláncot
    kellene állandóan viselnünk,
  346. benne 360 fokos kamerával.
  347. De hogy emészthetőbb legyen,
  348. hívhatjuk "szabadságcédulának"
    vagy valami ilyesmi.
  349. (Nevetés)

  350. CA: Oké.

  351. Ez aztán a beszélgetés, barátaim,
  352. és pont emiatt ilyen
    elképesztő a beszélgetés.
  353. NB: Valójában egész nagy
    beszélgetés folyik erről,

  354. csakis erről.
  355. Ez rengeteg problémát,
    kockázatot jelent, nem?
  356. Erről később beszélhetünk.
  357. A másik, a végső,
  358. a másik általános megerősítési lehetőség
  359. a kormányzási szakadék
    egyfajta betömése.
  360. A megfigyelés például
    mikroszintű kormányzási szakadék,
  361. megakadályozni bárkit, hogy valami
    nagyon törvénytelent csináljon.
  362. Ez a kormányzási szakadék pedig
  363. makroszinten, világszinten is látható.
  364. Megbízhatóan szükségünk
    van arra a képességre,
  365. hogy útját álljuk a legsúlyosabb
    globális koordinációs hibáknak,
  366. így kerülve el a nagyhatalmak
    közti háborúkat,
  367. fegyverkezési versenyeket,
  368. a közösségek katasztrófáit,
  369. hogy lehetőségük legyen a 2a típusú
    sebezhetőségekkel foglalkozni.
  370. CA: A globális kormányzás

  371. manapság idejétmúlt fogalom,
  372. de tagadhatod-e a tényt,
    hogy a történelem során,
  373. az emberiség történelmében,
  374. a technológiai erő növekedésének
    minden szakaszában
  375. újraszervezték és egyfajtaképp
    központosították a hatalmat.
  376. Például ha egy huligánbanda
  377. átvehetné a társadalom fölötti uralmat,
  378. a válasz az, hogy egy nemzetállamban,
  379. központosított erőkkel,
    rendőri vagy katonai erővel
  380. ez nem lehetséges.
  381. A logikus az, hogy ha egyetlen személy,
    vagy egy csoport,
  382. ki tudná irtani az emberiséget,
  383. azt jelenti, valamikor rá is
    kell lépjünk erre az útra,
  384. valamilyen formában, nem?
  385. NB: Tény, hogy a politikai szervezettség
    nagy mértékben nőtt

  386. az emberi történelem során.
  387. Először vadászó-gyűjtögető horda,
  388. majd fejedelemség, városállamok, nemzetek,
  389. most nemzetközi szervezeteink
    vannak, és így tovább.
  390. Ismétlem,
  391. hangsúlyozom,
  392. hogy a tömeges megfigyelésnek
  393. és a globális kormányzásnak
  394. nyilvánvalóan komoly hátulütői,
    jelentős kockázatai vannak.
  395. Csak rá szeretnék mutatni,
    hogy ha szerencsénk van,
  396. lehet olyan világ is,
    ahol ezek lesznek a fekete golyó
  397. túlélésének egyetlen esélyei.
  398. CA: Ennek az elméletnek a logikája,

  399. nekem úgy tűnik,
  400. az, hogy nem lehet minden a miénk.
  401. Igen, valahogy úgy.
  402. Hogy úgy mondjam, sokunk naiv álma az,
  403. hogy a technológia mindig
    a jó erőket szolgálja majd,
  404. ne álljunk meg, folytassuk,
    amilyen gyorsan csak lehet,
  405. ne figyeljünk oda következményekre,
  406. ez nem választási lehetőség.
  407. Meg tudjuk csinálni.
  408. Ha megvan,
  409. el kell fogadnunk
  410. néhány kellemetlen velejáróját is,
  411. és mintegy önmagunkkal kell
    fegyverkezési versenybe szállni:
  412. ha akarjuk a hatalmat,
    korlátoznunk kell,
  413. és jobb, ha kitaláljuk,
    hogyan korlátozhatjuk.
  414. NB: Szerintem ez is egy lehetőség,

  415. igen csábító lehetőség,
    bizonyos értelemben a legkönnyebb,
  416. és talán működhet is.
  417. De azt jelenti, a fekete golyó kihúzását
    nézve alapvetően sebezhetőek vagyunk.
  418. Szerintem kis koordinációval,
  419. ha mondjuk megoldottuk
  420. a makro- és mikrokormányzási problémát,
  421. akkor minden golyót
    kihúzhatunk az urnából,
  422. és élvezhetjük ezek előnyeit.
  423. CA: Ha viszont egy szimulációban
    élünk, számít ez egyáltalán?

  424. Csak újrabootolunk.
  425. (Nevetés)

  426. NB: Akkor... én...

  427. (Nevetés)

  428. Erre nem számítottam.
  429. CA: Szóval, mit gondolsz?

  430. Ha összeillesztjük a részleteket, mennyire
    biztos, hogy halálra vagyunk ítélve?
  431. (Nevetés)

  432. Szeretem, ahogy nevetnek
    a kérdés hallatán.

  433. NB: Mint egyének,

  434. az idővel, amúgy is halálra
    vagyunk ítélve,
  435. romlunk és öregszünk és hasonlók, nem?
  436. (Nevetés)

  437. Valójában ez kissé trükkös.

  438. Ha a valószínűségre is
    kíváncsi, akkor először is:
  439. kik vagyunk?
  440. Ha nagyon öregek,
    a halál lehet természetes.
  441. Ha nagyon fiatalok,
    lehet még száz évünk –
  442. a valószínűség azon is
    múlhat, kiről van szó.
  443. Aztán a küszöbérték: mi számít
    a civilizáció pusztulásának?
  444. A tanulmányban nemcsak az
    egzisztenciális katasztrófákat
  445. veszem figyelembe.
  446. Ez csak meghatározás kérdése.
  447. Mondjuk egymilliárd halott
  448. vagy a GDP 50%-os csökkenése,
  449. ám attól függően, mi a küszöbérték,
  450. eltérő valószínűségi becslések jönnek ki.
  451. Ám lehet, rémült optimistának tartanak.
  452. (Nevetés)

  453. CA: Te egy rémült optimista vagy,

  454. és szerintem épp most
    rémítettél meg egy csomó másik ...
  455. embert is.
  456. (Nevetés)

  457. NB: A szimulációban.

  458. CA: Egy szimulációban.

  459. Nick Bostrom, az elméd lenyűgöz,
  460. köszönöm, hogy halálos rémületbe
    kergettél bennünket.
  461. (Taps)