Chris Anderson: Nick Bostrom.
Allora, ci hai già regalato tante idee pazzesche su questo tema.
Una ventina di anni fa,
hai ipotizzato fosse possibile che stessimo vivendo in una simulazione,
o magari che fosse probabile.
Recentemente,
ci hai illustrato vividi esempi di come con l'intelligenza artificiale
potrebbe finire davvero male.
E quest’anno,
stai per pubblicare un articolo
che introduce qualcosa che tu definisci l'ipotesi del mondo vulnerabile.
Questa sera cercheremo di fornire una guida descrittiva a questa ipotesi.
Quindi cominciamo.
Qual è l'ipotesi?
Nick Bostrom: Si cerca di considerare
una sorta di caratteristica strutturale dell'attuale condizione umana.
A te piace la metafora dell'urna,
quindi la userò per spiegarla.
Immagina una grossa urna piena di sfere
che rappresentano le idee, i metodi, le possibili tecnologie.
Possiamo immaginare la storia della creatività umana
come l’atto di pescare in quest'urna e tirare fuori le sfere una dopo l'altra,
e l'effetto fino ad ora è stato largamente positivo, giusto?
Abbiamo estratto un gran numero di sfere bianche,
qualcuna con diverse sfumature di grigio, con un misto di vantaggi e svantaggi.
Finora non abbiamo estratto la sfera nera,
una tecnologia che immancabilmente distruggerebbe la civiltà che la scopre.
Nell'articolo cerco di pensare a quale può essere questa sfera nera.
CA: Quindi tu definisci questa sfera
quella che determinerebbe inevitabilmente la distruzione della civiltà.
NB: Se non abbandoniamo quella che chiamo la condizione semianarchica prestabilita.
Ma praticamente in automatico.
CA: Quindi, sostieni la tua ipotesi
mostrando una serie di controesempi
in cui ritieni che finora siamo stati davvero fortunati,
che avremmo potuto pescare la sfera della morte.
senza neanche saperlo.
Quindi perché questa citazione?
NB: Immagino sia per mostrare
la difficoltà di prevedere
a cosa condurranno le scoperte fondamentali.
Semplicemente non ne siamo capaci.
Perché siamo diventati piuttosto bravi a estrarre le sfere,
ma non siamo proprio in grado di rimetterle nell'urna.
Possiamo inventare, non disinventare.
Quindi la nostra strategia, se così la si può chiamare,
è sperare che nell'urna non ci sia nessuna sfera nera.
CA: Quindi una volta fuori, è fuori, e non la si può rimettere dentro,
e tu pensi che siamo stati fortunati.
Allora spieghiamo bene un paio di questi esempi.
Parli di diversi tipi di vulnerabilità.
NB: Il tipo più semplice da comprendere
deriva da una tecnologia che renda davvero molto facile
provocare grandi distruzioni.
La biologia sintetica potrebbe essere un'ottima base per quel tipo di sfera nera
ma potrebbero esserlo anche molte altre cose:
pensate alla geoingegneria, fantastica, vero?
Potremmo combattere il riscaldamento globale,
ma non vorremmo diventasse troppo semplice,
non vorremmo che chiunque, o la nonna di chiunque
avesse la capacità di alterare radicalmente il clima della Terra.
O magari dei droni autonomi letali,
prodotti in massa, sciami di robot killer piccoli come zanzare.
La nanotecnologia, l'intelligenza artificiale generale.
CA: Nel tuo articolo sostieni
che è stata solo questione di fortuna avere scoperto
che con l'energia nucleare si poteva creare una bomba,
sarebbe potuto succedere invece
di poter creare una bomba
con risorse più semplici, accessibili a chiunque.
NB: Già, quindi ripensiamo agli anni '30
quando per la prima volta abbiamo fatto passi da gigante nella fisica nucleare,
qualche genio ha capito che era possibile creare una reazione nucleare a catena
e poi ha realizzato che questo avrebbe potuto portare alla bomba.
E lavorandoci su,
venne fuori che quello che serve per fare una bomba nucleare
è l'uranio arricchito o il plutonio,
materiali molto difficili da ottenere.
Servono ultracentrifughe,
reattori, enormi quantità di energia.
Ma supponiamo invece che fosse saltato fuori
che esisteva un modo semplice per liberare l'energia dell'atomo.
Che magari arrostendo della sabbia nel microonde
o qualcosa del genere
si fosse potuto creare una detonazione nucleare.
Oggi sappiamo dalla fisica che è impossibile.
Ma prima di fare le ricerche
come avremmo potuto sapere come sarebbe andata a finire?
CA: Però non si può discutere il fatto
che l'evoluzione della vita sulla Terra
ha avuto bisogno di una sorta di ambiente stabile,
e che se fosse stato possibile creare facilmente tali reazioni nucleari,
la Terra non sarebbe mai stata stabile,
ei noi non saremmo qui adesso.
NB: Già, a meno che non ci fosse qualcosa di facile da fare volutamente
ma non accadrebbe per caso.
Tipo cose che possiamo fare facilmente,
come impilare 10 blocchi uno sopra l'altro,
ma in natura, è improbabile trovare una pila di 10 blocchi.
CA: Ora, questa è probabilmente la cosa
per cui molti di noi si preoccupano di più,
e sì, la biologia sintetica è forse la via più veloce
che possiamo prevedere ci condurrà a questo nel prossimo futuro.
NB: Sì, e pensa cosa significherebbe
se, ad esempio, chiunque lavorando per un pomeriggio nella propria cucina
potesse distruggere una città.
È difficile immaginare come la civiltà moderna come la conosciamo
potrebbe sopravvivere a questo.
Perché in una popolazione di un milione di persone,
ci sarà sempre qualcuno che, per una ragione qualsiasi,
sceglierebbe di usare quel potere distruttivo.
Così, se quel residuo apocalittico
decidesse di distruggere una città, o fare di peggio,
le città verrebbero distrutte.
CA: Ma c'è un altro tipo di vulnerabilità.
Parlaci di questo.
NB: Sì, oltre a questo tipo piuttosto ovvio di palle nere
che renderebbero possibile far saltare in aria un sacco di cose,
altri tipi agirebbero creando cattivi incentivi
per gli uomini portandoli a fare cose dannose.
Quindi, il Tipo-2a, potremmo chiamarlo così,
potrebbe derivare da una tecnologia che incentivasse le grandi potenze
a usare la loro enorme forza per creare distruzione.
Le armi nucleari si sono avvicinate molto a questo, giusto?
In quel caso abbiamo speso oltre 10 mila miliardi di dollari
per costruire 70.000 testate nucleari
e metterle nello stato di allerta immediata.
E in diverse occasioni durante la Guerra Fredda
abbiamo rischiato di saltare tutti in aria.
E non perché tanta gente ritenesse una grande idea
spendere 10 mila miliardi di dollari per saltare tutti in aria,
ma gli incentivi erano tali che ci siamo ritrovati a farlo.
Sarebbe potuta andare peggio.
Immagina se ci fosse stato un primo colpo nucleare sicuro.
Dopo sarebbe potuto essere molto difficile,
in una situazione di crisi,
trattenersi dal lanciare tutti i propri missili nucleari.
Se non altro, per la paura che potesse farlo la controparte.
CA: La certezza di una distruzione reciproca
ha mantenuto una certa stabilità durante la Guerra Fredda.
Senza quella, forse ora non saremmo qui.
NB: Sarebbe potuta essere meno stabile.
E potrebbero esserci altre proprietà della tecnologia.
Avere trattati sulle armi sarebbe potuto essere più difficile,
se invece delle armi nucleari
ci fossero state cose più piccole, o meno distruttive.
CA: Oltre ai cattivi incentivi per i potenti,
ti preoccupano anche i cattivi incentivi per tutti noi, qui nel Tipo-2b.
NB: Sì, si potrebbe considerare il caso del riscaldamento globale.
Ci sono un sacco di piccole comodità
che ci incentivano a fare cose
che singolarmente non hanno un effetto significativo, giusto?
Ma se fatte da un miliardo di persone,
nell'insieme, hanno un effetto dannoso.
Il riscaldamento globale sarebbe potuto essere molto peggio di così.
Abbiamo il parametro della "sensibilità climatica".
È un parametro che ci dice quanto diventa più caldo
con l'emissione di una certa quantità di gas serra.
Ma, mettiamo il caso
che con l'emissione di una certa quantità di gas serra,
invece di un aumento della temperatura
tra i 3 e i 4,5 gradi per il 2100,
fosse previsto un aumento di 15 o 20 gradi.
Ci saremmo potuti trovare in una situazione davvero brutta.
Supponiamo che l'energia rinnovabile fosse stata più difficile da ottenere.
Che il combustibile fossile fosse più disponibile.
CA: Non si potrebbe supporre che se in quel caso,
se quello che stiamo facendo oggi
avesse prodotto una differenza di 10 gradi nel periodo osservato,
invece l'umanità si sarebbe data una mossa e avrebbe fatto qualcosa a proposito.
Siamo stupidi, ma forse non così stupidi.
O forse lo siamo.
NB: Non ci scommetterei.
(Risate)
Si potrebbero immaginare altri scenari.
Ora come ora, è difficile la conversione alle rinnovabili eccetera,
ma si può fare.
Ma con una fisica leggermente diversa,
sarebbe potuto essere molto più costoso fare queste cose.
CA: Qual è la tua idea, Nick?
Pensi che, mettendo insieme tutte queste possibilità,
questa Terra, il nostro genere umano,
dobbiamo considerarci un mondo vulnerabile?
Che c'è una palla della morte nel nostro futuro?
NB: Difficile a dirsi.
Voglio dire, penso che chiaramente possano esserci più palle nere nell'urna,
così sembrerebbe.
Potrebbero esserci anche alcune palle d'oro
in grado di aiutarci a proteggerci dalle palle nere.
E non so in quale ordine usciranno.
CA: Una possibile critica filosofica a questa teoria
è che essa implica una visione del futuro come essenzialmente stabilito,
che quella palla esista oppure no.
E in qualche modo,
questa non è una visione del mondo a cui voglio credere.
Voglio credere che il futuro sia indeterminato,
che le nostre decisioni di oggi determineranno
che tipo di palle estrarremo da quell'urna.
NB: Se continuiamo a inventare,
prima o poi estrarremo tutte le palle.
Penso che ci sia una specie di forma debole di determinismo tecnologico
piuttosto plausibile,
considerando che è improbabile trovare una società
che usi asce di selce e jet.
Ma si può quasi pensare a una tecnologia come a una serie di possibili usi e scopi.
La tecnologia è qualcosa che ci rende possibile fare varie cose
e ottenere vari risultati nel mondo.
Il modo in cui poi la usiamo, ovviamente dipende dalla scelta dell'uomo.
Ma se pensiamo a questi tre tipi di vulnerabilità,
formulano ipotesi davvero deboli su come potremmo decidere di usarle.
Tornando alla vulnerabilità di Tipo-1, questo enorme potere distruttivo,
è un'ipotesi piuttosto debole
pensare che in una popolazione di un milione di persone
ci sia qualcuno che decida di usarla in modo distruttivo.
CA: Per me, la questione più inquietante
è che potremmo effettivamente avere una sorta di vista all'interno dell'urna
che renda davvero probabile che siamo spacciati.
Ovvero, se credi nella capacità sempre maggiore,
sostanzialmente accelerata dalla tecnologia,
di costruire gli strumenti che ci rendono più potenti,
allora a un certo punto si arriva a uno stadio
in cui un singolo individuo potrebbe demolirci tutti,
e allora si direbbe che siamo spacciati.
Non è allarmante?
NB: Ah, sì.
(Risate)
Penso che...
sì, abbiamo competenze sempre più potenti,
ed è sempre più facile usare queste competenze,
ma possiamo anche inventare tecnologie che potrebbero aiutarci a controllare
come le persone usano queste competenze.
CA: Parliamo di questo, parliamo delle contromisure.
Supponiamo che pensando a tutte le possibilità
oggi esistenti,
non solo la biologia sintetica, ma cose come la guerra informatica,
l'intelligenza artificiale, ecc.,
che il nostro futuro ci riservi un destino infausto.
Quali sono le possibili contromisure?
Tu hai anche parlato di quattro possibili interventi.
NB: Limitare lo sviluppo tecnologico non sembra promettente.
Se parliamo di una sospensione generalizzata del progresso tecnologico,
non penso che sia fattibile,
né che sia desiderabile anche potendolo fare.
Penso che potrebbero esserci aree molto limitate
in cui forse si vorrebbe rallentare il progresso tecnologico.
Penso che non si voglia accelerare il progresso nelle armi biologiche,
o nella separazione degli isotopi,
che potrebbe rendere più semplice creare testate nucleari.
CA: Sono sempre stato d'accordo con questo.
Ma vorrei davvero riconsiderare la questione per un minuto.
Solo perché, prima di tutto,
se si guarda alla storia dell'ultimo ventennio,
è stato un continuo avanzare a tutta velocità,
va bene, è stata la nostra unica scelta.
Ma guardiamo alla globalizzazione e alla sua rapida accelerazione,
e se guardiamo alla strategia del "move fast and break things"
e a cosa ha portato,
e poi si considerano le potenzialità della biologia sintetica,
non so se dovremmo avanzare rapidamente
o senza alcun tipo di restrizione
verso un mondo in cui si potrà stampare il DNA nella propria casa
e in ogni laboratorio scolastico.
Ci sono delle restrizioni, giusto?
NB: Forse, c'è la prima parte, quella non realistica.
Se pensi che sarebbe auspicabile fermarla,
c'è il problema della fattibilità.
Cioè, non aiuta molto se una nazione in un certo senso...
CA: No, non aiuta se solo una nazione lo fa,
ma abbiamo già siglato degli accordi in precedenza.
È proprio così che siamo riusciti a sopravvivere alla minaccia nucleare,
andando là fuori
e attraversando il doloroso processo della negoziazione.
Mi chiedo solo se non sarebbe logico, per una questione di priorità globale,
non andare là fuori
e provare subito a iniziare a negoziare regole davvero severe
su dove svolgere la ricerca sulla biologia di sintesi,
che non è un qualcosa che si vorrebbe democratizzare, no?
NB: Concordo pienamente su questo:
sarebbe desiderabile, per esempio,
forse avere macchine per la sintesi del DNA,
non come dispositivi disponibili in ogni laboratorio,
ma come un servizio.
Potrebbero esserci quattro o cinque posti al mondo
dove inviare il proprio progetto digitale e avere indietro il DNA, giusto?
E poi, si avrebbe la capacità,
se un giorno si dimostrasse davvero necessario,
di porre una serie finita di restrizioni.
Vorresti poter individuare quelle situazioni particolari,
dove puoi esercitare un controllo più stretto.
CA: La tua convinzione è che, fondamentalmente,
non riusciremo semplicemente a tirarci indietro.
Qualcuno, da qualche parte, nella Corea del Nord, ad esempio,
qualcuno ci arriverà e scoprirà quella tecnologia,
se deve essere scoperta.
NB: Sembra plausibile nella attuali condizioni.
E ciò non vale solo per la biologia sintetica.
Qualsiasi cambiamento nuovo e profondo
può rivelarsi una palla nera.
CA: Consideriamo un'altra possibile misura.
NB: Anche questa, penso, possiede solo un potenziale limitato.
Considerando ancora la vulnerabilità di Tipo-1,
se si potesse ridurre il numero di persone incentivate
a distruggere il mondo,
qualora ne avessero la possibilità e le risorse,
sarebbe fantastico.
CA: In questa quadro che ci hai chiesto di realizzare
tu immagini questi droni volare per il mondo
equipaggiati per il riconoscimento facciale.
Se individuano qualcuno che mostra i segni di un comportamento sociopatico,
lo ricoprono di amore, lo curano.
NB: Penso sia una specie di quadro ibrido.
Eliminare vuole dire incarcerare o uccidere,
ma può anche voler dire indurre a una migliore visione del mondo.
Ma il punto è quello,
supponiamo di essere riusciti in questo,
e di aver ridotto della metà questo genere di individui.
E per riuscire con la persuasione,
si deve competere contro tutte le altre potenti forze
che cercano di persuadere la gente:
partiti, religione, sistema educativo.
Supponiamo di ridurli della metà,
il rischio non risulterebbe ridotto della metà.
Forse di un cinque o un 10 per cento.
CA: Non raccomandi di scommettere il futuro dell'umanità
sulla seconda misura.
NB: Penso che vada bene tentare di dissuadere e persuadere le persone,
ma non dovremmo fare affidamento su questo come unica misura di difesa.
CA: Che dire della terza?
NB: Penso che ci siano due metodi generali
che possiamo usare per raggiungere la capacità di stabilizzare il mondo
contro tutta una gamma di possibili vulnerabilità.
E probabilmente ci serviranno entrambi.
Uno è la capacità estremamente efficace
di realizzare una politica preventiva,
con cui si possa intercettare.
Se qualcuno iniziasse a fare cose pericolose,
si potrebbe intercettarlo in tempo reale, e fermarlo.
Questo richiederebbe una sorveglianza ubiquitaria,
tutti sarebbero controllati per tutto il tempo.
CA: Essenzialmente una forma alla "Minority Report".
NB: Potrebbero esserci algoritmi di IA,
grandi centri di controllo della libertà che ispezionano, ecc., ecc.
CA: Tu sai che il concetto di sorveglianza di massa non è molto popolare al momento?
(Risate)
NB: Sì. Quindi quel piccolo dispositivo lì,
immagina questa specie di collana da indossare tutto il tempo
con delle telecamere multidirezionali.
Ma, per farla accettare più facilmente,
chiamala semplicemente "tag della libertà" o qualcosa del genere.
(Risate)
CA: Ok.
Voglio dire, l'argomento è questo, amici,
questo è il motivo per cui si tratta di una conversazione così stupefacente.
NB: Effettivamente, c'è tutto un discorso
solo su questo tema, ovviamente.
Ci sono problemi e rischi enormi con questo.
Potremmo ritornarci su.
L'altra, l'ultima,
l'atra possibilità di stabilizzazione generale
consiste un po' nel tappare un altro buco a livello governativo.
La sorveglianza sarebbe una sorta di lacuna governativa al microlivello,
come, impedire che qualcuno possa fare qualcosa di illegale.
Poi, c'è una corrispondente lacuna governativa
al macrolivello, a livello globale.
Servirebbe la capacità, la sicurezza,
di prevenire i peggiori tipi di fallimenti nella coordinazione globale,
di evitare guerre tra le superpotenze,
corse agli armamenti,
comuni problemi catastrofici,
per affrontare le vulnerabilità di Tipo-2a.
CA: Governanza globale è un termine decisamente fuori moda al momento,
ma si potrebbe notare che nel corso della storia,
la storia dell'umanità
ci ha dimostrato che a ogni stadio di crescita del potere tecnologico
le persone hanno riorganizzato e più o meno centralizzato il potere.
Ad esempio, ogni volta che un branco errante di criminali
è riuscito a prendere il controllo di una società,
la risposta è stata avere uno stato-nazione
centralizzare le forze armate, un corpo di polizia,
ovvero: "No, non potete fare così."
La logica, forse, di avere una singola persona o un singolo gruppo
in grado di eliminare l'umanità
implica che a un certo punto che dovremo prendere questa strada,
almeno in qualche forma, no?
NB: È sicuramente vero che la scala dell'organizzazione politica è aumentata
nel corso della storia dell'umanità.
Era del tipo gruppo di cacciatori e raccoglitori,
poi territorio governato da capotribù, città-stato, nazione,
ora ci sono organizzazioni internazionali e via di dicendo.
Quindi, voglio solo essere sicuro
di avere la possibilità di sottolineare
che ci sono ovviamente grandi risvolti negativi
nonché, rischi enormi,
sia nella sorveglianza di massa che nella governance globale.
Voglio solo far notare che se siamo fortunati,
il mondo potrebbe diventare tale che questi potrebbero essere i soli modi
per sopravvivere a una palla nera.
CA: La logica di questa teoria,
mi pare di capire,
è quella che dobbiamo riconoscere che non possiamo avere tutto.
Che quel genere di sogno naif,
oserei dire, quel sogno ingenuo che molti di noi hanno
che la tecnologia sarà sempre al servizio del bene,
che bisogna andare avanti, non fermarsi, più velocemente possibile
senza prestare attenzione ad alcune delle conseguenze,
questa semplicemente non è un'opzione.
Possiamo averla.
Se l'abbiamo,
dovremo accettare alcune delle altre cose spiacevoli con essa,
e di essere in questa sorta di gara con noi stessi
in cui se vogliamo questo potere, conviene limitarlo,
conviene trovare un modo per limitarlo.
NB: Penso che questa sia un'opzione,
un'opzione davvero allettante, in un certo senso l'opzione più facile
e potrebbe funzionare,
ma vorrebbe dire essere totalmente vulnerabili
all'estrazione di una palla nera.
Penso che con un po' di coordinazione,
se si risolvesse questo problema a livello di macrogovernance,
e a livello di microgovernance,
allora potremmo estrarre tutte le palle dall'urna
e ne avremmo notevoli benefici.
CA: Insomma, se viviamo in una simulazione, ha importanza?
Basta solo riavviare.
(Risate)
NB: In tal caso... Io...
(Risate)
Questa non me l'aspettavo.
CA: Quindi qual è la tua visione?
Mettendo insieme tutti i pezzi, quanto è probabile che siamo condannati?
(Risate)
Mi piace come ride la gente quando faccio questa domanda.
NB: Come individui,
sembra che siamo condannati in ogni caso, in base alla linea del tempo,
ci decomponiamo e invecchiamo e tutto quel genere di cose.
(Risate)
In effetti è un po' complicato.
Se si vuole stabilire un ordine per poter attribuire una probabilità,
primo, chi siamo?
Se sei molto vecchio, probabilmente morirai di cause naturali,
se sei molto giovane, potresti avere 100 anni...
la probabilità dipenderebbe da a chi lo chiedi.
Poi il confine, cioè: cosa conta come distruzione della civiltà?
Nell'articolo non occorre che si tratti di una catastrofe esistenziale
per contare.
È solo una questione di definizione,
io dico un miliardo di morti,
o la riduzione del PIL del 50%,
ma a seconda di quale soglia si stabilisce,
si ottiene una stima diversa della probabilità.
Direi che potresti considerarmi un ottimista spaventato.
(Risate)
CA: Tu sei un ottimista spaventato,
e credo che tu abbia appena creato un gran numero di altre...
persone spaventate.
(Risate)
NB: Nella simulazione.
CA: In una simulazione.
Nick Bostrom, la tua mente è sbalorditiva.
Davvero grazie per averci spaventati a morte.
(Applausi)