La civiltà potrebbe autodistruggersi e 4 modi con cui potremmo evitarlo

Secondo il filosofo Nick Bostrom, l'umanità è sulla buona strada per la creazione di una "palla nera", una scoperta tecnologica rivoluzionaria che potrebbe distruggerci tutti. In questa conversazione acuta e sorprendentemente scanzonata con il direttore di TED, Chris Anderson, Bostrom delinea le vulnerabilità che potremmo dover affrontare se (o quando) le nostre invenzioni dovessero aumentare vertiginosamente al di là del nostro controllo e analizza in che modo potremmo prevenire la nostra fine.

Chris Anderson: Nick Bostrom.

Allora, ci hai già regalato
tante idee pazzesche su questo tema.

Una ventina di anni fa,

hai ipotizzato fosse possibile
che stessimo vivendo in una simulazione,

o magari che fosse probabile.

Recentemente,

ci hai illustrato vividi esempi di come
con l'intelligenza artificiale

potrebbe finire davvero male.

E quest’anno,

stai per pubblicare un articolo

che introduce qualcosa che tu definisci
l'ipotesi del mondo vulnerabile.

Questa sera cercheremo di fornire
una guida descrittiva a questa ipotesi.

Quindi cominciamo.

Qual è l'ipotesi?

Nick Bostrom: Si cerca di considerare

una sorta di caratteristica strutturale
dell'attuale condizione umana.

A te piace la metafora dell'urna,

quindi la userò per spiegarla.

Immagina una grossa urna piena di sfere

che rappresentano le idee,
i metodi, le possibili tecnologie.

Possiamo immaginare la storia
della creatività umana

come l’atto di pescare in quest'urna
e tirare fuori le sfere una dopo l'altra,

e l'effetto fino ad ora
è stato largamente positivo, giusto?

Abbiamo estratto
un gran numero di sfere bianche,

qualcuna con diverse sfumature di grigio,
con un misto di vantaggi e svantaggi.

Finora non abbiamo estratto
la sfera nera,

una tecnologia che immancabilmente
distruggerebbe la civiltà che la scopre.

Nell'articolo cerco di pensare
a quale può essere questa sfera nera.

CA: Quindi tu definisci questa sfera

quella che determinerebbe inevitabilmente
la distruzione della civiltà.

NB: Se non abbandoniamo quella che chiamo
la condizione semianarchica prestabilita.

Ma praticamente in automatico.

CA: Quindi, sostieni la tua ipotesi

mostrando una serie di controesempi

in cui ritieni che finora
siamo stati davvero fortunati,

che avremmo potuto pescare
la sfera della morte.

senza neanche saperlo.

Quindi perché questa citazione?

NB: Immagino sia per mostrare

la difficoltà di prevedere

a cosa condurranno
le scoperte fondamentali.

Semplicemente non ne siamo capaci.

Perché siamo diventati piuttosto bravi
a estrarre le sfere,

ma non siamo proprio in grado
di rimetterle nell'urna.

Possiamo inventare, non disinventare.

Quindi la nostra strategia,
se così la si può chiamare,

è sperare che nell'urna
non ci sia nessuna sfera nera.

CA: Quindi una volta fuori, è fuori,
e non la si può rimettere dentro,

e tu pensi che siamo stati fortunati.

Allora spieghiamo bene
un paio di questi esempi.

Parli di diversi tipi di vulnerabilità.

NB: Il tipo più semplice da comprendere

deriva da una tecnologia
che renda davvero molto facile

provocare grandi distruzioni.

La biologia sintetica potrebbe essere
un'ottima base per quel tipo di sfera nera

ma potrebbero esserlo
anche molte altre cose:

pensate alla geoingegneria,
fantastica, vero?

Potremmo combattere
il riscaldamento globale,

ma non vorremmo diventasse
troppo semplice,

non vorremmo che chiunque,
o la nonna di chiunque

avesse la capacità di alterare
radicalmente il clima della Terra.

O magari dei droni autonomi letali,

prodotti in massa, sciami di robot killer
piccoli come zanzare.

La nanotecnologia,
l'intelligenza artificiale generale.

CA: Nel tuo articolo sostieni

che è stata solo questione di fortuna
avere scoperto

che con l'energia nucleare
si poteva creare una bomba,

sarebbe potuto succedere invece

di poter creare una bomba

con risorse più semplici,
accessibili a chiunque.

NB: Già, quindi ripensiamo agli anni '30

quando per la prima volta abbiamo fatto
passi da gigante nella fisica nucleare,

qualche genio ha capito che era possibile
creare una reazione nucleare a catena

e poi ha realizzato che questo
avrebbe potuto portare alla bomba.

E lavorandoci su,

venne fuori che quello che serve
per fare una bomba nucleare

è l'uranio arricchito o il plutonio,

materiali molto difficili da ottenere.

Servono ultracentrifughe,

reattori, enormi quantità di energia.

Ma supponiamo invece
che fosse saltato fuori

che esisteva un modo semplice
per liberare l'energia dell'atomo.

Che magari arrostendo
della sabbia nel microonde

o qualcosa del genere

si fosse potuto creare
una detonazione nucleare.

Oggi sappiamo dalla fisica
che è impossibile.

Ma prima di fare le ricerche

come avremmo potuto sapere
come sarebbe andata a finire?

CA: Però non si può discutere il fatto

che l'evoluzione della vita sulla Terra

ha avuto bisogno di una sorta
di ambiente stabile,

e che se fosse stato possibile
creare facilmente tali reazioni nucleari,

la Terra non sarebbe mai stata stabile,

ei noi non saremmo qui adesso.

NB: Già, a meno che non ci fosse qualcosa
di facile da fare volutamente

ma non accadrebbe per caso.

Tipo cose che possiamo fare facilmente,

come impilare 10 blocchi
uno sopra l'altro,

ma in natura, è improbabile
trovare una pila di 10 blocchi.

CA: Ora, questa
è probabilmente la cosa

per cui molti di noi
si preoccupano di più,

e sì, la biologia sintetica
è forse la via più veloce

che possiamo prevedere
ci condurrà a questo nel prossimo futuro.

NB: Sì, e pensa cosa significherebbe

se, ad esempio, chiunque lavorando
per un pomeriggio nella propria cucina

potesse distruggere una città.

È difficile immaginare
come la civiltà moderna come la conosciamo

potrebbe sopravvivere a questo.

Perché in una popolazione
di un milione di persone,

ci sarà sempre qualcuno che,
per una ragione qualsiasi,

sceglierebbe di usare
quel potere distruttivo.

Così, se quel residuo apocalittico

decidesse di distruggere una città,
o fare di peggio,

le città verrebbero distrutte.

CA: Ma c'è un altro tipo di vulnerabilità.

Parlaci di questo.

NB: Sì, oltre a questo tipo
piuttosto ovvio di palle nere

che renderebbero possibile
far saltare in aria un sacco di cose,

altri tipi agirebbero
creando cattivi incentivi

per gli uomini
portandoli a fare cose dannose.

Quindi, il Tipo-2a,
potremmo chiamarlo così,

potrebbe derivare da una tecnologia
che incentivasse le grandi potenze

a usare la loro enorme forza
per creare distruzione.

Le armi nucleari si sono avvicinate molto
a questo, giusto?

In quel caso abbiamo speso
oltre 10 mila miliardi di dollari

per costruire 70.000 testate nucleari

e metterle nello stato
di allerta immediata.

E in diverse occasioni
durante la Guerra Fredda

abbiamo rischiato
di saltare tutti in aria.

E non perché tanta gente ritenesse
una grande idea

spendere 10 mila miliardi di dollari
per saltare tutti in aria,

ma gli incentivi erano tali
che ci siamo ritrovati a farlo.

Sarebbe potuta andare peggio.

Immagina se ci fosse stato
un primo colpo nucleare sicuro.

Dopo sarebbe potuto
essere molto difficile,

in una situazione di crisi,

trattenersi dal lanciare
tutti i propri missili nucleari.

Se non altro, per la paura
che potesse farlo la controparte.

CA: La certezza
di una distruzione reciproca

ha mantenuto una certa stabilità
durante la Guerra Fredda.

Senza quella, forse
ora non saremmo qui.

NB: Sarebbe potuta essere meno stabile.

E potrebbero esserci
altre proprietà della tecnologia.

Avere trattati sulle armi
sarebbe potuto essere più difficile,

se invece delle armi nucleari

ci fossero state cose più piccole,
o meno distruttive.

CA: Oltre ai cattivi incentivi
per i potenti,

ti preoccupano anche i cattivi incentivi
per tutti noi, qui nel Tipo-2b.

NB: Sì, si potrebbe considerare il caso
del riscaldamento globale.

Ci sono un sacco di piccole comodità

che ci incentivano a fare cose

che singolarmente non hanno
un effetto significativo, giusto?

Ma se fatte da un miliardo di persone,

nell'insieme, hanno un effetto dannoso.

Il riscaldamento globale sarebbe
potuto essere molto peggio di così.

Abbiamo il parametro della
"sensibilità climatica".

È un parametro che ci dice
quanto diventa più caldo

con l'emissione
di una certa quantità di gas serra.

Ma, mettiamo il caso

che con l'emissione
di una certa quantità di gas serra,

invece di un aumento della temperatura

tra i 3 e i 4,5 gradi per il 2100,

fosse previsto un aumento
di 15 o 20 gradi.

Ci saremmo potuti trovare
in una situazione davvero brutta.

Supponiamo che l'energia rinnovabile
fosse stata più difficile da ottenere.

Che il combustibile fossile
fosse più disponibile.

CA: Non si potrebbe supporre
che se in quel caso,

se quello che stiamo facendo oggi

avesse prodotto una differenza di 10 gradi
nel periodo osservato,

invece l'umanità si sarebbe data una mossa
e avrebbe fatto qualcosa a proposito.

Siamo stupidi, ma forse non così stupidi.

O forse lo siamo.

NB: Non ci scommetterei.

(Risate)

Si potrebbero immaginare altri scenari.

Ora come ora, è difficile la conversione
alle rinnovabili eccetera,

ma si può fare.

Ma con una fisica leggermente diversa,

sarebbe potuto essere molto più costoso
fare queste cose.

CA: Qual è la tua idea, Nick?

Pensi che, mettendo insieme
tutte queste possibilità,

questa Terra, il nostro genere umano,

dobbiamo considerarci
un mondo vulnerabile?

Che c'è una palla della morte
nel nostro futuro?

NB: Difficile a dirsi.

Voglio dire, penso che chiaramente
possano esserci più palle nere nell'urna,

così sembrerebbe.

Potrebbero esserci anche
alcune palle d'oro

in grado di aiutarci a proteggerci
dalle palle nere.

E non so in quale ordine usciranno.

CA: Una possibile critica filosofica
a questa teoria

è che essa implica una visione del futuro
come essenzialmente stabilito,

che quella palla esista oppure no.

E in qualche modo,

questa non è una visione del mondo
a cui voglio credere.

Voglio credere che il futuro
sia indeterminato,

che le nostre decisioni di oggi
determineranno

che tipo di palle estrarremo
da quell'urna.

NB: Se continuiamo a inventare,

prima o poi estrarremo tutte le palle.

Penso che ci sia una specie di forma
debole di determinismo tecnologico

piuttosto plausibile,

considerando che è improbabile
trovare una società

che usi asce di selce e jet.

Ma si può quasi pensare a una tecnologia
come a una serie di possibili usi e scopi.

La tecnologia è qualcosa
che ci rende possibile fare varie cose

e ottenere vari risultati nel mondo.

Il modo in cui poi la usiamo,
ovviamente dipende dalla scelta dell'uomo.

Ma se pensiamo
a questi tre tipi di vulnerabilità,

formulano ipotesi davvero deboli
su come potremmo decidere di usarle.

Tornando alla vulnerabilità di Tipo-1,
questo enorme potere distruttivo,

è un'ipotesi piuttosto debole

pensare che in una popolazione
di un milione di persone

ci sia qualcuno che decida di usarla
in modo distruttivo.

CA: Per me, la questione
più inquietante

è che potremmo effettivamente avere
una sorta di vista all'interno dell'urna

che renda davvero probabile
che siamo spacciati.

Ovvero, se credi nella capacità
sempre maggiore,

sostanzialmente accelerata
dalla tecnologia,

di costruire gli strumenti
che ci rendono più potenti,

allora a un certo punto
si arriva a uno stadio

in cui un singolo individuo
potrebbe demolirci tutti,

e allora si direbbe che siamo spacciati.

Non è allarmante?

NB: Ah, sì.

(Risate)

Penso che...

sì, abbiamo competenze sempre più potenti,

ed è sempre più facile usare
queste competenze,

ma possiamo anche inventare tecnologie
che potrebbero aiutarci a controllare

come le persone usano queste competenze.

CA: Parliamo di questo,
parliamo delle contromisure.

Supponiamo che pensando
a tutte le possibilità

oggi esistenti,

non solo la biologia sintetica,
ma cose come la guerra informatica,

l'intelligenza artificiale, ecc.,

che il nostro futuro ci riservi
un destino infausto.

Quali sono le possibili contromisure?

Tu hai anche parlato
di quattro possibili interventi.

NB: Limitare lo sviluppo tecnologico
non sembra promettente.

Se parliamo di una sospensione
generalizzata del progresso tecnologico,

non penso che sia fattibile,

né che sia desiderabile
anche potendolo fare.

Penso che potrebbero esserci
aree molto limitate

in cui forse si vorrebbe rallentare
il progresso tecnologico.

Penso che non si voglia accelerare
il progresso nelle armi biologiche,

o nella separazione degli isotopi,

che potrebbe rendere più semplice
creare testate nucleari.

CA: Sono sempre stato d'accordo
con questo.

Ma vorrei davvero riconsiderare
la questione per un minuto.

Solo perché, prima di tutto,

se si guarda alla storia
dell'ultimo ventennio,

è stato un continuo avanzare
a tutta velocità,

va bene, è stata la nostra unica scelta.

Ma guardiamo alla globalizzazione
e alla sua rapida accelerazione,

e se guardiamo alla strategia del
"move fast and break things"

e a cosa ha portato,

e poi si considerano le potenzialità
della biologia sintetica,

non so se dovremmo avanzare rapidamente

o senza alcun tipo di restrizione

verso un mondo in cui si potrà
stampare il DNA nella propria casa

e in ogni laboratorio scolastico.

Ci sono delle restrizioni, giusto?

NB: Forse, c'è la prima parte,
quella non realistica.

Se pensi che sarebbe auspicabile fermarla,

c'è il problema della fattibilità.

Cioè, non aiuta molto
se una nazione in un certo senso...

CA: No, non aiuta
se solo una nazione lo fa,

ma abbiamo già siglato degli accordi
in precedenza.

È proprio così che siamo riusciti
a sopravvivere alla minaccia nucleare,

andando là fuori

e attraversando il doloroso
processo della negoziazione.

Mi chiedo solo se non sarebbe logico,
per una questione di priorità globale,

non andare là fuori

e provare subito a iniziare a negoziare
regole davvero severe

su dove svolgere la ricerca
sulla biologia di sintesi,

che non è un qualcosa
che si vorrebbe democratizzare, no?

NB: Concordo pienamente su questo:

sarebbe desiderabile, per esempio,

forse avere macchine
per la sintesi del DNA,

non come dispositivi
disponibili in ogni laboratorio,

ma come un servizio.

Potrebbero esserci quattro
o cinque posti al mondo

dove inviare il proprio progetto
digitale e avere indietro il DNA, giusto?

E poi, si avrebbe la capacità,

se un giorno si dimostrasse
davvero necessario,

di porre una serie finita di restrizioni.

Vorresti poter individuare
quelle situazioni particolari,

dove puoi esercitare
un controllo più stretto.

CA: La tua convinzione è che,
fondamentalmente,

non riusciremo semplicemente
a tirarci indietro.

Qualcuno, da qualche parte,
nella Corea del Nord, ad esempio,

qualcuno ci arriverà
e scoprirà quella tecnologia,

se deve essere scoperta.

NB: Sembra plausibile
nella attuali condizioni.

E ciò non vale solo
per la biologia sintetica.

Qualsiasi cambiamento
nuovo e profondo

può rivelarsi una palla nera.

CA: Consideriamo
un'altra possibile misura.

NB: Anche questa, penso,
possiede solo un potenziale limitato.

Considerando ancora
la vulnerabilità di Tipo-1,

se si potesse ridurre
il numero di persone incentivate

a distruggere il mondo,

qualora ne avessero la possibilità
e le risorse,

sarebbe fantastico.

CA: In questa quadro
che ci hai chiesto di realizzare

tu immagini questi droni
volare per il mondo

equipaggiati
per il riconoscimento facciale.

Se individuano qualcuno che mostra
i segni di un comportamento sociopatico,

lo ricoprono di amore, lo curano.

NB: Penso sia una specie di quadro ibrido.

Eliminare vuole dire
incarcerare o uccidere,

ma può anche voler dire indurre
a una migliore visione del mondo.

Ma il punto è quello,

supponiamo di essere riusciti in questo,

e di aver ridotto della metà
questo genere di individui.

E per riuscire con la persuasione,

si deve competere contro
tutte le altre potenti forze

che cercano di persuadere la gente:

partiti, religione,
sistema educativo.

Supponiamo di ridurli della metà,

il rischio non risulterebbe ridotto
della metà.

Forse di un cinque o un 10 per cento.

CA: Non raccomandi di scommettere
il futuro dell'umanità

sulla seconda misura.

NB: Penso che vada bene tentare
di dissuadere e persuadere le persone,

ma non dovremmo fare affidamento
su questo come unica misura di difesa.

CA: Che dire della terza?

NB: Penso che ci siano due metodi generali

che possiamo usare per raggiungere
la capacità di stabilizzare il mondo

contro tutta una gamma
di possibili vulnerabilità.

E probabilmente ci serviranno entrambi.

Uno è la capacità estremamente efficace

di realizzare una politica preventiva,

con cui si possa intercettare.

Se qualcuno iniziasse
a fare cose pericolose,

si potrebbe intercettarlo
in tempo reale, e fermarlo.

Questo richiederebbe
una sorveglianza ubiquitaria,

tutti sarebbero controllati
per tutto il tempo.

CA: Essenzialmente una forma
alla "Minority Report".

NB: Potrebbero esserci algoritmi di IA,

grandi centri di controllo della libertà
che ispezionano, ecc., ecc.

CA: Tu sai che il concetto di sorveglianza
di massa non è molto popolare al momento?

(Risate)

NB: Sì. Quindi
quel piccolo dispositivo lì,

immagina questa specie di collana
da indossare tutto il tempo

con delle telecamere multidirezionali.

Ma, per farla accettare più facilmente,

chiamala semplicemente "tag della libertà"
o qualcosa del genere.

(Risate)

CA: Ok.

Voglio dire, l'argomento è questo, amici,

questo è il motivo per cui si tratta
di una conversazione così stupefacente.

NB: Effettivamente, c'è tutto un discorso

solo su questo tema, ovviamente.

Ci sono problemi e rischi enormi
con questo.

Potremmo ritornarci su.

L'altra, l'ultima,

l'atra possibilità
di stabilizzazione generale

consiste un po' nel tappare
un altro buco a livello governativo.

La sorveglianza sarebbe una sorta
di lacuna governativa al microlivello,

come, impedire che qualcuno
possa fare qualcosa di illegale.

Poi, c'è una corrispondente
lacuna governativa

al macrolivello, a livello globale.

Servirebbe la capacità, la sicurezza,

di prevenire i peggiori tipi di fallimenti
nella coordinazione globale,

di evitare guerre tra le superpotenze,

corse agli armamenti,

comuni problemi catastrofici,

per affrontare le vulnerabilità
di Tipo-2a.

CA: Governanza globale è un termine
decisamente fuori moda al momento,

ma si potrebbe notare
che nel corso della storia,

la storia dell'umanità

ci ha dimostrato che a ogni stadio
di crescita del potere tecnologico

le persone hanno riorganizzato
e più o meno centralizzato il potere.

Ad esempio, ogni volta che
un branco errante di criminali

è riuscito a prendere il controllo
di una società,

la risposta è stata avere
uno stato-nazione

centralizzare le forze armate,
un corpo di polizia,

ovvero: "No, non potete fare così."

La logica, forse, di avere una singola
persona o un singolo gruppo

in grado di eliminare l'umanità

implica che a un certo punto
che dovremo prendere questa strada,

almeno in qualche forma, no?

NB: È sicuramente vero che la scala
dell'organizzazione politica è aumentata

nel corso della storia dell'umanità.

Era del tipo gruppo
di cacciatori e raccoglitori,

poi territorio governato da capotribù,
città-stato, nazione,

ora ci sono organizzazioni internazionali
e via di dicendo.

Quindi, voglio solo essere sicuro

di avere la possibilità di sottolineare

che ci sono ovviamente
grandi risvolti negativi

nonché, rischi enormi,

sia nella sorveglianza di massa
che nella governance globale.

Voglio solo far notare che
se siamo fortunati,

il mondo potrebbe diventare tale che
questi potrebbero essere i soli modi

per sopravvivere a una palla nera.

CA: La logica di questa teoria,

mi pare di capire,

è quella che dobbiamo riconoscere
che non possiamo avere tutto.

Che quel genere di sogno naif,

oserei dire, quel sogno ingenuo
che molti di noi hanno

che la tecnologia sarà sempre
al servizio del bene,

che bisogna andare avanti, non fermarsi,
più velocemente possibile

senza prestare attenzione
ad alcune delle conseguenze,

questa semplicemente non è un'opzione.

Possiamo averla.

Se l'abbiamo,

dovremo accettare alcune
delle altre cose spiacevoli con essa,

e di essere in questa sorta
di gara con noi stessi

in cui se vogliamo questo potere,
conviene limitarlo,

conviene trovare un modo per limitarlo.

NB: Penso che questa sia un'opzione,

un'opzione davvero allettante,
in un certo senso l'opzione più facile

e potrebbe funzionare,

ma vorrebbe dire
essere totalmente vulnerabili

all'estrazione di una palla nera.

Penso che con un po' di coordinazione,

se si risolvesse questo problema
a livello di macrogovernance,

e a livello di microgovernance,

allora potremmo estrarre
tutte le palle dall'urna

e ne avremmo notevoli benefici.

CA: Insomma, se viviamo
in una simulazione, ha importanza?

Basta solo riavviare.

(Risate)

NB: In tal caso... Io...

(Risate)

Questa non me l'aspettavo.

CA: Quindi qual è la tua visione?

Mettendo insieme tutti i pezzi,
quanto è probabile che siamo condannati?

(Risate)

Mi piace come ride la gente
quando faccio questa domanda.

NB: Come individui,

sembra che siamo condannati in ogni caso,
in base alla linea del tempo,

ci decomponiamo e invecchiamo
e tutto quel genere di cose.

(Risate)

In effetti è un po' complicato.

Se si vuole stabilire un ordine
per poter attribuire una probabilità,

primo, chi siamo?

Se sei molto vecchio,
probabilmente morirai di cause naturali,

se sei molto giovane,
potresti avere 100 anni...

la probabilità dipenderebbe
da a chi lo chiedi.

Poi il confine, cioè: cosa conta
come distruzione della civiltà?

Nell'articolo non occorre che si tratti
di una catastrofe esistenziale

per contare.

È solo una questione di definizione,

io dico un miliardo di morti,

o la riduzione del PIL del 50%,

ma a seconda di quale soglia
si stabilisce,

si ottiene una stima diversa
della probabilità.

Direi che potresti considerarmi
un ottimista spaventato.

(Risate)

CA: Tu sei un ottimista spaventato,

e credo che tu abbia appena creato
un gran numero di altre...

persone spaventate.

(Risate)

NB: Nella simulazione.

CA: In una simulazione.

Nick Bostrom,
la tua mente è sbalorditiva.

Davvero grazie per averci
spaventati a morte.

(Applausi)