Cómo la civilización se puede autodestruir y cuatro maneras de evitarlo

La humanidad está en camino de crear una "bola negra": un avance tecnológico que podría destruirnos a todos, según el filósofo Nick Bostrom. En esta conversación incisiva y sorprendentemente alegre con Chris Anderson, director de TED, Bostrom esboza las vulnerabilidades a las que podríamos enfrentarnos en el caso de que (o cuando) nuestra espiral de invenciones se salga de nuestro control, y explora cómo podemos prevenir nuestra futura desaparición.

Chris Anderson: Nick Bostrom.

Nos has dado muchas ideas locas.

Creo que hace un par de décadas,

defendías que estaríamos
viviendo una simulación,

o que, probablemente, vivíamos en una.

Recientemente,

has dado ejemplos muy claros de
cómo la inteligencia artificial general

podría generar resultados terribles.

Y este año estás a punto de publicar

un ensayo sobre algo denominado
la hipótesis del mundo vulnerable.

Nuestro trabajo esta tarde consiste
en ofrecer una guía ilustrada sobre eso.

Así que empecemos.

¿En qué consiste esa hipótesis?

Nick Bostrom: Se trata de pensar

en una especie de característica
estructural de la actual condición humana.

Como te gusta la metáfora de la urna,

voy a utilizarla para explicarlo.

Imagínate una gran urna llena de bolas

que representan ideas,
métodos, posibles tecnologías.

Puedes pensar en la historia
de la creatividad humana

como el proceso de extraer
de esta urna una bola tras otra,

y el efecto neto hasta la fecha
ha sido muy beneficioso, ¿verdad?

Hemos extraído
una gran cantidad de bolas blancas,

de varias tonalidades de gris,
con pros y contras.

Hasta ahora no hemos sacado la bola negra:

una tecnología que invariablemente
destruye la civilización que la descubre.

Mi ensayo trata de pensar
qué podría ser esa bola negra.

CA: Así que defines la bola negra

como una que no llevará inevitablemente
a la destrucción de la civilización.

NB: Salvo que salgamos de lo que denomino
condición semianárquica por defecto.

Bueno, más o menos por defecto.

CA: Haces que este caso adquiera
carácter de urgencia

al mostrar contraejemplos

que crees que demuestran
que hasta ahora hemos tenido suerte,

que puede que hayamos sacado
la bola de la muerte,

sin habernos siquiera dado cuenta.

Hay una cita al respecto, ¿cuál es?

NB: Bueno, imagino que solo trato
de ilustrar la dificultad de prever

hacia dónde llevarán
los descubrimientos básicos,

simplemente no tenemos esa capacidad.

Porque nos hemos hecho bastante
hábiles extrayendo bolas,

pero realmente no tenemos la capacidad
de devolver la bola a la urna.

Podemos inventar, pero no desinventar.

Así que nuestra estrategia, en realidad,

es confiar en que no haya
una bola negra en la urna.

CA: Así que una vez que está fuera,
no se puede devolver a la urna,

y crees que hemos tenido suerte.

Cuéntanos un par de ejemplos.

Hablas de diferentes tipos
de vulnerabilidad.

NB: El tipo más fácil de comprender

es una tecnología que hace muy fácil
producir una enorme destrucción.

La biología sintética podría ser
una fuente abundante

de ese tipo de bola negra,

pero hay muchas otras cosas
en las que podríamos pensar,

como la geoingeniería,
realmente genial, ¿verdad?

Podríamos combatir
el calentamiento global,

pero tampoco queremos
que sea demasiado sencillo,

que cualquier persona
y su abuela tengan la capacidad

de alterar radicalmente
el clima de la Tierra.

O tal vez producir en masa
drones autónomos letales,

enjambres de robots asesinos
del tamaño de un mosquito.

Nanotecnología,
inteligencia artificial general.

CA: Tú argumentas en el ensayo
que fue de una cuestión de suerte

que el descubrimiento
de la energía nuclear

pudiera crear una bomba;

podría haber sido el caso
de que fuera posible crear una bomba

con recursos mucho menores,
accesibles a cualquiera.

NB: Sí, creo que allá por los años 30,

cuando por primera vez hicimos
grandes avances en física nuclear,

algunas figuras insignes expusieron

que era posible crear
reacciones nucleares en cadena

para luego caer en la cuenta de que eso
podría llevar a crear una bomba.

Investigamos y descubrimos
que para hacer una bomba nuclear

se necesita uranio enriquecido o plutonio,

que son materiales
muy difíciles de conseguir.

Se precisan ultracentrifugadoras,

reactores para gigantescas
cantidades de energía.

Pero imagínate que en lugar de eso,

hubiera habido una manera fácil
de liberar la energía del átomo.

Que tal vez calentando arena
en el microondas o algo así

se hubiese podido crear
una detonación nuclear.

Sabemos que es físicamente imposible.

Pero antes de desarrollar
esa física relevante,

¿cómo se podría haber sabido
cómo acabaría?

CA: A pesar de eso, ¿no se podría alegar

que para que la vida
evolucionara en la Tierra

se necesitaría cierto entorno estable,

y que si fuera tan fácil crear
reacciones nucleares masivas

la Tierra nunca habría sido estable,

y por tanto no podríamos estar aquí.

NB: Sí, salvo que hubiera algo fácil
de hacer a propósito,

pero que no ocurriría solo por azar.

Es decir, cosas que podemos
hacer con facilidad,

podemos apilar 10 bloques uno sobre otro,

pero en la naturaleza, no se
da una pila de 10 bloques.

CA: De acuerdo, quizá esto es
lo que más nos preocupa a la mayoría,

y sí, la biología sintética es
tal vez la vía más rápida

que podemos prever en nuestro futuro
cercano para llegar hasta aquí.

NB: Sí, imagínate lo que eso
habría supuesto,

si, digamos, cualquiera trabajando
en su cocina por la tarde

pudiera destruir una ciudad.

Cuesta entender
que la civilización moderna,

tal como la conocemos,
haya podido sobrevivir a eso,

porque en cualquier población
de un millón de personas

siempre habrá alguien que,
por algún motivo,

quiera utilizar ese poder de destrucción.

Así que si ese residuo apocalíptico

eligiera destruir una ciudad, o peor aún,

las ciudades podrían ser destruidas.

CA: Hay otra clase de vulnerabilidad,

hábleme de ella.

NB: Sí, además de estos tipos
evidentes de bolas negras

que podrían hacer que muchas cosas
volaran por los aires,

hay otros tipos que pueden
crear malos incentivos

para que los humanos
hagamos cosas dañinas.

El Tipo 2a, podríamos llamarlo,

serían tecnologías que posibilitan
a los grandes poderes

usar su enorme fuerza
para crear destrucción.

Las armas nucleares
están muy cerca de esto, ¿verdad?

Hemos gastado más de USD 10 billones

para construir 70 000 cabezas nucleares

que están en estado de alerta instantánea.

Hubo varios momentos
durante la Guerra Fría

en los que casi nos volamos por los aires.

No es que muchos pensaran
que era una gran idea

gastarnos USD 10 billones
para volarnos por los aires,

pero los incentivos eran tales
que nos encontrábamos...

podría haber sido mucho peor.

Imagina que hubiera habido
un primer ataque seguro.

Habría sido muy difícil,
en una situación de crisis,

reprimir el lanzamiento
de todos los misiles nucleares,

aunque solo fuera por el temor
a que lo hiciera el otro.

CA: De acuerdo, la destrucción
mutua asegurada

mantuvo la Guerra Fría
relativamente estable,

porque sin eso,
podríamos no estar hoy aquí.

NB: Pudo haber sido más inestable,

y pudo haber otras propiedades
de la tecnología,

pudo haber sido más difícil
lograr tratados armamentísticos,

si en vez de cabezas nucleares,

hubiera habido cosas más pequeñas
o menos distintivas.

CA: Al igual que los malos incentivos
para los actores del poder,

también te preocupan los malos incentivos
para todos nosotros, en este Tipo 2a.

NB: Sí, podemos poner el caso
del calentamiento global.

Hay muchos pequeños inconvenientes

que nos llevan a hacer cosas

que individualmente
no tienen efecto, ¿verdad?

Pero si miles de millones
de personas lo hacen,

acumulativamente,
tiene un efecto perjudicial.

El calentamiento global
podría haber sido mucho peor.

Tenemos el parámetro
de la sensibilidad climática.

Se trata de un parámetro
que indica cuánto se calentaría

si emitieras cierta cantidad
de gases de efecto invernadero.

Pero, suponiendo que fuera el caso

de que con la cantidad de gases
de efecto invernadero que hemos emitido

en lugar de que la temperatura subiera,
entre 3 y 4.5 º C hasta 2100,

imagina que hubieran sido 15 o 20 ºC,

entonces estaríamos
en una situación muy mala.

O que la energía renovable
fuera más difícil de producir.

o que hubiera más combustibles
fósiles en el subsuelo.

CA: No se podría argumentar que,

si lo que hacemos hoy

hubiera producido 10 º C de diferencia
en un periodo que pudiéramos ver,

la humanidad ya se habría puesto las pilas
para hacer algo al respecto.

Somos estúpidos, pero quizá no tanto.

O tal vez sí.

NB: No apostaría por ello.

(Risas)

Puedes imaginarte otras características.

En estos momentos es algo difícil cambiar
a las renovables y todo eso, de acuerdo,

pero se puede hacer.

Pero podría haber sucedido que,
con una física algo diferente,

hubiera sido mucho más difícil
hacer estas cosas.

CA: ¿Qué opinas, Nick, crees que,
teniendo en cuenta todo esto,

este planeta, nosotros como humanidad,
conformamos un mundo vulnerable,

que hay una bola de muerte
en nuestro futuro?

NB: Es difícil de decir,

creo que también hay algunas bolas doradas
en la urna, o eso parece.

Puede que haya algunas bolas doradas

que nos puedan proteger
de las bolas negras.

Y no sé en qué orden van a salir.

CA: Una posible crítica
filosófica a esta idea

es que implica la visión de que el futuro
está básicamente determinado.

De que o bien está esa bola ahí o no está.

Y de alguna manera, no es una visión
del futuro en la que quiero creer.

Quiero creer que el futuro
es indeterminado,

que nuestras decisiones de hoy
determinarán qué tipos de bolas sacamos.

NB: Si seguimos inventando,

al final acabaremos
sacando todas las bolas.

Creo que hay una forma débil
de determinismo tecnológico

que es bastante plausible,

como que es bastante improbable
que encontremos una sociedad

que use hachas de pedernal
y aviones tipo jet.

Pero casi puedes pensar en una tecnología
como un conjunto de posibilidades.

La tecnología nos permite
hacer varias cosas

y conseguir diversos efectos en el mundo.

Cómo la usemos depende
de nuestra elección como humanos.

Pero si pensamos
en estos tres tipos de vulnerabilidades,

hacen unas asunciones bastante débiles
sobre cómo podríamos elegir utilizarla.

En el Tipo 1 de vulnerabilidad,
con su poder destructor masivo,

es una asunción bastante débil suponer

que en una población
de millones de personas

haya alguno que elija
usarlo de manera destructiva.

CA: Para mí, el argumento más inquietante

es que puede que tengamos
cierta visión de la urna,

que hace pensar que muy posiblemente
estemos condenados.

Por ejemplo, si crees
en el poder de la aceleración,

esa tecnología inherentemente se acelera,

y si creamos la herramientas
que nos den más poder

llegaremos a un punto

en el que un solo individuo
pueda acabar con todo,

y eso nos lleva a pensar
que estamos apañados.

¿No es un argumento bastante alarmante?

NB: Ah, sí...

(Risas)

Creo que...

Sí, tenemos más y más poder,

y es cada vez más sencillo utilizarlo,

pero también podemos inventar tecnologías

que nos ayuden a controlar
cómo las personas utilizan ese poder.

CA: Hablemos de eso, de la respuesta.

Imagina todas las posibilidades
que tenemos ahora,

no es solo la biología sintética,

sino cosas como la ciberguerra,
la inteligencia artificial, etc.,

que indican que nuestro futuro
puede estar seriamente condenado.

¿Cuáles son las posibles respuestas?

Has hablado de cuatro posibles respuestas.

NB: Restringir el desarrollo tecnológico
no parece prometedor,

si hablamos de un parón general
del progreso tecnológico,

no creo que sea ni factible
ni deseable, aunque lo pudiéramos hacer.

Creo que hay áreas muy limitadas

en las que tal vez desees
un progreso tecnológico más lento.

No creo que quieras un progreso
mayor en bioarmamento,

o en separación isotópica,

que facilitaría la creación
de armas nucleares.

CA: Antes solía estar
totalmente de acuerdo en eso.

Pero me gustaría retroceder
un paso un momento.

Antes de nada, si ves la historia
de hace un par de décadas,

ha sido una continua
aceleración a toda velocidad,

está bien, pero es nuestra elección,

pero si te fijas en la globalización
y su rápida aceleración,

si te fijas en la estrategia
de "muévete rápido y rompe cosas"

y lo que ha producido,

y luego te fijas en el potencia
de la biología sintética,

no creo que debamos avanzar rápidamente
sin ningún tipo de restricción

hacia un mundo en el que pueda haber
una impresora de ADN en cada casa

en cada laboratorio de secundaria.

Hay algunas restricciones, ¿verdad?

NB: Posiblemente en la primera parte,
en la no factibilidad,

si crees que sería deseable pararla,
aparece el problema de la factibilidad.

No ayudaría que un país...

CA: No, no ayudaría
que un país lo hiciera,

pero hemos tenido
tratados con anterioridad.

Así es como hemos sobrevivido
a la amenaza nuclear,

gracias a que hemos salido y hemos pasado
por el penoso proceso de negociación.

Me pregunto si la lógica no es acaso
que nosotros, como prioridad global,

no deberíamos salir e intentar
negociar normas muy duras

sobre dónde se hace la investigación
en biología sintética,

porque no es algo
que quieras democratizar, ¿no?

NB: Estoy totalmente de acuerdo con eso,

sería deseable, por ejemplo,

tener máquinas para sintetizar ADN,

no de manera en la que cada laboratorio
sea el dueño de su propio dispositivo,

sino como un servicio.

Podría haber
cuatro o cinco lugares en el mundo

a los que enviar el modelo digital
y recibir el ADN de vuelta, ¿verdad?

Entonces, tendrías la habilidad,
si un día fuera necesario,

tendríamos un número finito
de cuellos de botella.

Creo que tienes que fijarte
en ciertos tipos de oportunidades

sobre las que quieres tener control.

CA: Crees, fundamentalmente,

que no vamos a conseguir retenerlo.

Que alguien, en algún lugar
como Corea del Norte,

va a descubrir este conocimiento,
si es que es posible descubrirlo.

NB: Parece posible
en las condiciones actuales.

No es solo la biología sintética,

sino que cualquier cambio
nuevo y profundo en el mundo

puede convertirse en una bola negra.

CA: Vamos a ver otra posible respuesta.

NB: Creo que esto también
tiene un potencial limitado.

Con el Tipo 1 de vulnerabilidad,

si puedes reducir el número
de personas motivadas a destruir el mundo,

si solo ellos tuvieran
acceso a los medios,

eso estaría bien.

CA: En esta imagen que nos muestras,

imaginas esos drones de reconocimiento
facial volando alrededor del mundo.

Cuando detectan a alguien
con signos de comportamiento sociopático,

lo cubren de amor y lo curan.

NB: Creo que es una imagen híbrida.

Eliminar puede significar
encarcelar o matar,

o persuadir de una visión
más optimista del mundo.

Pero el asunto es,

imagina que tuvieras éxito

y redujeras el número
de esos individuos a la mitad.

Si lo quieres hacer
mediante la persuasión,

estás compitiendo
contra otras fuerzas poderosas

que tratan de persuadir a la gente:

partidos políticos, religión
o el sistema educativo.

Pero imagina que lo reduces a la mitad;

no creo que el riesgo
se redujera a la mitad,

sino a un 5 o 10 %.

CA: No recomiendas que nos juguemos
el futuro de la humanidad

a la respuesta 2.

NB: Creo que está muy bien
tratar de disuadir a las personas,

pero no deberíamos considerarlo
nuestro único salvavidas.

CA: ¿Y la tercera?

NB: Creo que hay tres métodos generales

con los que que podemos tener
la habilidad de estabilizar el mundo

contra todo el espectro
de posibles vulnerabilidades.

Y probablemente necesitamos las dos.

Una es una habilidad extremadamente
efectiva de crear políticas preventivas,

pensadas para interceptar.

Si todos empezaran
a hacer esto tan peligroso,

podrías interceptarlos
en tiempo real y detenerlos.

Esto requeriría vigilancia ubicua,

todo el mundo estaría
monitorizado todo el tiempo.

CA: Esto es "Minority Report", en esencia.

NB: Tal vez tendrías algoritmos de IA,

grandes centros de libertad
que estarían revisándolos, etc.

CA: ¿Sabes que la vigilancia masiva

no es un término
muy popular en este momento?

(Risas)

NB: Sí, ese pequeño dispositivo,

imagina un tipo de collar
que tuvieras que llevar todo el tiempo

con cámaras multidireccionales.

Pero para hacerlo más llevadero,

imagínate llamarlo
"etiqueta de libertad" o algo así.

(Risas)

CA: De acuerdo.

Esta es la conversación, amigos,

esta es la razón por la que es
una conversación alucinante.

NB: De hecho, ya hay una gran conversación
sobre de esto, obviamente.

Entraña grandes problemas
y riesgos, ¿verdad?

Tal vez volvamos a eso.

Así que última, la otra capacidad
de estabilización general

es llenar otro vacío de gobernanza.

De modo que la vigilancia sería
un vacío de gobernanza a nivel micro,

como impedir que cualquiera
haga algo altamente ilegal.

Pero hay un vacío de gobernanza
a nivel macro, global.

Necesitarías la habilidad,
de manera fiable,

de prevenir los mayores fallos
de coordinación global,

para evitar guerras entre grandes poderes,

guerras armamentísticas,

problemas cataclísmicos
de los bienes comunes,

para poder lidiar
con las vulnerabilidades del Tipo 2a.

CA: La gobernanza global es un término
totalmente en desuso ahora,

pero se podría argumentar

que a lo largo de la historia
de la humanidad,

en cada fase del aumento
del poder tecnológico,

la gente se ha reorganizado
para centralizar el poder, por así decir,

Por ejemplo, cuando una banda
errante de criminales

podía conquistar una sociedad,

se respondía con el Estado nación,

y se centralizaba la fuerza,
policial o militar,

así que "no, no puedes hacer eso".

La lógica de que una sola persona o grupo
pueda conquistar la humanidad

tal vez signifique que en algún momento
tendremos que tomar este camino,

al menos en cierta manera, ¿no?

NB: Es cierto que la escala
de la organización política ha aumentado

a lo largo de la historia de la humanidad.

Solíamos ser grupos
de cazadores-recolectores,

luego liderados por jefes,
Estados naciones, naciones,

y ahora hay organizaciones
internacionales y todo eso.

De nuevo, solo quiero asegurarme

de que remarco que obviamente
hay enormes desventajas,

y desde luego, riesgos descomunales,

tanto en la vigilancia masiva
como en la gobernanza global.

Solo estoy destacando que,
si tenemos suerte,

el mundo puede llegar a un punto

en el que solo así podamos
sobrevivir a la bola negra.

CA: La lógica de esta teoría,

me parece,

es que tenemos que asumir
que no podemos tenerlo todo.

Que el sueño inocente, por así decir,
que muchos de nosotros teníamos

de que esa tecnología siempre
va a ser una fuerza positiva,

sigue adelante, no pares,
ve tan rápido como puedas

y no te fijes en las consecuencias,

ya no es una opción.

Podemos tenerlo.

Si podemos tenerlo,

tendremos que aceptar algunos aspectos
muy incómodos que conlleva,

y entrar esta carrera armamentística
con nosotros mismos,

de modo que si quieres poder
tienes que limitarlo,

y más te vale averiguar cómo.

NB: Creo que es una opción,

una opción muy tentadora,
diría que la más sencilla,

y podría funcionar,

pero significa que somos fundamentalmente
vulnerables a extraer la bola negra.

Pero pienso que con un poco
de coordinación,

pongamos que has resuelto
el problema de la macrogobernanza

y el de la microgobernanza,

podríamos extraer
todas las bolas de la urna

y beneficiarnos enormemente.

CA: Y si estamos viviendo
en una simulación, ¿qué más da?

Simplemente nos reiniciamos.

(Risas)

NB: Entonces...

(Risas)

Eso no me lo esperaba.

CA: ¿Cuál es tu opinión?

Si juntamos todas las piezas,

qué posibilidades tenemos
de estar condenados?

(Risas)

Me encanta que la gente se ría
cuando hago esa pregunta.

NB: A nivel individual,

parece que ya estamos condenados,
solo con el cronograma,

nos pudrimos y envejecemos
y todo eso, ¿verdad?

(Risas)

La verdad es que es un poco complicado.

Si quieres hacerte una idea
para obtener una probabilidad,

antes de nada, ¿quiénes somos?

Si eres muy mayor, seguramente
morirás de causas naturales,

si eres muy joven, tal vez vivas 100 años;

la probabilidad dependerá
de a quién preguntes.

Luego está el umbral: ¿Qué se considera
como devastación de la humanidad?

Sobre el papel, no necesito
una catástrofe existencial

para que la considere como tal.

Es cuestión de definición:

si digo mil millones de muertos,
o la reducción del PIB al 50 %,

así que dependiendo
de dónde pongas el umbral,

obtienes una estimación
de probabilidad diferente.

Supongo que me podrías catalogar
como un optimista asustado.

(Risas)

CA: Eres un optimista asustado,

y creo que acabas de crear
una gran cantidad de personas asustadas...

(Risas)

NB: En la simulación.

CA: En una simulación.

Nick Bostrom, tu mente me fascina,

muchas gracias por asustarnos
hasta la médula.

(Aplausos)