-
Cím:
Cómo la civilización se puede autodestruir y cuatro maneras de evitarlo
-
Leírás:
La humanidad está en camino de crear una "bola negra": un avance tecnológico que podría destruirnos a todos, según el filósofo Nick Bostrom. En esta conversación incisiva y sorprendentemente alegre con Chris Anderson, director de TED, Bostrom esboza las vulnerabilidades a las que podríamos enfrentarnos en el caso de que (o cuando) nuestra espiral de invenciones se salga de nuestro control, y explora cómo podemos prevenir nuestra futura desaparición.
-
Speaker:
Nick Bostrom
-
Chris Anderson: Nick Bostrom.
-
Nos has dado muchas ideas locas.
-
Creo que hace un par de décadas,
-
defendías que estaríamos
viviendo una simulación,
-
o que, probablemente, vivíamos en una.
-
Recientemente,
-
has dado ejemplos muy claros de
cómo la inteligencia artificial general
-
podría generar resultados terribles.
-
Y este año estás a punto de publicar
-
un ensayo sobre algo denominado
la hipótesis del mundo vulnerable.
-
Nuestro trabajo esta tarde consiste
en ofrecer una guía ilustrada sobre eso.
-
Así que empecemos.
-
¿En qué consiste esa hipótesis?
-
Nick Bostrom: Se trata de pensar
¶
-
en una especie de característica
estructural de la actual condición humana.
-
Como te gusta la metáfora de la urna,
-
voy a utilizarla para explicarlo.
-
Imagínate una gran urna llena de bolas
-
que representan ideas,
métodos, posibles tecnologías.
-
Puedes pensar en la historia
de la creatividad humana
-
como el proceso de extraer
de esta urna una bola tras otra,
-
y el efecto neto hasta la fecha
ha sido muy beneficioso, ¿verdad?
-
Hemos extraído
una gran cantidad de bolas blancas,
-
de varias tonalidades de gris,
con pros y contras.
-
Hasta ahora no hemos sacado la bola negra:
-
una tecnología que invariablemente
destruye la civilización que la descubre.
-
Mi ensayo trata de pensar
qué podría ser esa bola negra.
-
CA: Así que defines la bola negra
¶
-
como una que llevará inevitablemente
a la destrucción de la civilización.
-
NB: Salvo que salgamos de lo que denomino
condición semianárquica por defecto.
¶
-
Bueno, más o menos por defecto.
-
CA: Haces que este caso adquiera
carácter de urgencia
¶
-
al mostrar contraejemplos
-
que crees que demuestran
que hasta ahora hemos tenido suerte,
-
que puede que hayamos sacado
la bola de la muerte,
-
sin habernos siquiera dado cuenta.
-
Hay una cita al respecto, ¿cuál es?
-
NB: Bueno, imagino que solo trato
de ilustrar la dificultad de prever
¶
-
hacia dónde llevarán
los descubrimientos básicos,
-
simplemente no tenemos esa capacidad.
-
Porque nos hemos hecho bastante
hábiles extrayendo bolas,
-
pero realmente no tenemos la capacidad
de devolver la bola a la urna.
-
Podemos inventar, pero no desinventar.
-
Así que nuestra estrategia, en realidad,
-
es confiar en que no haya
una bola negra en la urna.
-
CA: Así que una vez que está fuera,
no se puede devolver a la urna,
¶
-
y crees que hemos tenido suerte.
-
Cuéntanos un par de ejemplos.
-
Hablas de diferentes tipos
de vulnerabilidad.
-
NB: El tipo más fácil de comprender
¶
-
es una tecnología que hace muy fácil
producir una enorme destrucción.
-
La biología sintética podría ser
una fuente abundante
-
de ese tipo de bola negra,
-
pero hay muchas otras cosas
en las que podríamos pensar,
-
como la geoingeniería,
realmente genial, ¿verdad?
-
Podríamos combatir
el calentamiento global,
-
pero tampoco queremos
que sea demasiado sencillo,
-
que cualquier persona
y su abuela tengan la capacidad
-
de alterar radicalmente
el clima de la Tierra.
-
O tal vez producir en masa
drones autónomos letales,
-
enjambres de robots asesinos
del tamaño de un mosquito.
-
Nanotecnología,
inteligencia artificial general.
¶
-
CA: Tú argumentas en el ensayo
que fue una cuestión de suerte
-
que el descubrimiento
de la energía nuclear
-
pudiera crear una bomba;
-
podría haber sido el caso
de que fuera posible crear una bomba
-
con recursos mucho menores,
accesibles a cualquiera.
-
NB: Sí, creo que allá por los años 30,
¶
-
cuando por primera vez hicimos
grandes avances en física nuclear,
-
algunas figuras insignes expusieron
-
que era posible crear
reacciones nucleares en cadena
-
para luego caer en la cuenta de que eso
podría llevar a crear una bomba.
-
Investigamos y descubrimos
que para hacer una bomba nuclear
-
se necesita uranio enriquecido o plutonio,
-
que son materiales
muy difíciles de conseguir.
-
Se precisan ultracentrifugadoras,
-
reactores para gigantescas
cantidades de energía.
-
Pero imagínate que en lugar de eso,
-
hubiera habido una manera fácil
de liberar la energía del átomo.
-
Que tal vez calentando arena
en el microondas o algo así
-
se hubiese podido crear
una detonación nuclear.
-
Sabemos que es físicamente imposible.
-
Pero antes de desarrollar
esa física relevante,
-
¿cómo se podría haber sabido
cómo acabaría?
-
CA: A pesar de eso, ¿no se podría alegar
-
que para que la vida
evolucionara en la Tierra
¶
-
se necesitaría cierto entorno estable,
-
y que si fuera tan fácil crear
reacciones nucleares masivas
-
la Tierra nunca habría sido estable,
-
y por tanto no podríamos estar aquí.
-
NB: Sí, salvo que hubiera algo fácil
de hacer a propósito,
-
pero que no ocurriría solo por azar.
¶
-
Es decir, cosas que podemos
hacer con facilidad,
-
podemos apilar 10 bloques uno sobre otro,
-
pero en la naturaleza, no se
da una pila de 10 bloques.
-
CA: De acuerdo, quizá esto es
lo que más nos preocupa a la mayoría,
-
y sí, la biología sintética es
tal vez la vía más rápida
¶
-
que podemos prever en nuestro futuro
cercano para llegar hasta aquí.
-
NB: Sí, imagínate lo que eso
habría supuesto,
-
si, digamos, cualquiera trabajando
en su cocina por la tarde
¶
-
pudiera destruir una ciudad.
-
Cuesta entender
que la civilización moderna,
-
tal como la conocemos,
haya podido sobrevivir a eso,
-
porque en cualquier población
de un millón de personas
-
siempre habrá alguien que,
por algún motivo,
-
quiera utilizar ese poder de destrucción.
-
Así que si ese residuo apocalíptico
-
eligiera destruir una ciudad, o peor aún,
-
las ciudades podrían ser destruidas.
-
CA: Hay otra clase de vulnerabilidad,
¶
-
hábleme de ella.
-
NB: Sí, además de estos tipos
evidentes de bolas negras
¶
-
que podrían hacer que muchas cosas
volaran por los aires,
-
hay otros tipos que pueden
crear malos incentivos
-
para que los humanos
hagamos cosas dañinas.
-
El Tipo 2a, podríamos llamarlo,
-
serían tecnologías que posibilitan
a los grandes poderes
-
usar su enorme fuerza
para crear destrucción.
-
Las armas nucleares
están muy cerca de esto, ¿verdad?
-
Hemos gastado más de USD 10 billones
-
para construir 70 000 cabezas nucleares
-
que están en estado de alerta instantánea.
-
Hubo varios momentos
durante la Guerra Fría
-
en los que casi nos volamos por los aires.
-
No es que muchos pensaran
que era una gran idea
-
gastarnos USD 10 billones
para volarnos por los aires,
-
pero los incentivos eran tales
que nos encontrábamos...
-
podría haber sido mucho peor.
-
Imagina que hubiera habido
un primer ataque seguro.
-
Habría sido muy difícil,
en una situación de crisis,
-
reprimir el lanzamiento
de todos los misiles nucleares,
-
aunque solo fuera por el temor
a que lo hiciera el otro.
-
CA: De acuerdo, la destrucción
mutua asegurada
¶
-
mantuvo la Guerra Fría
relativamente estable,
-
porque sin eso,
podríamos no estar hoy aquí.
-
NB: Pudo haber sido más inestable,
¶
-
y pudo haber otras propiedades
de la tecnología,
-
pudo haber sido más difícil
lograr tratados armamentísticos,
-
si en vez de cabezas nucleares,
-
hubiera habido cosas más pequeñas
o menos distintivas.
-
CA: Al igual que los malos incentivos
para los actores del poder,
¶
-
también te preocupan los malos incentivos
para todos nosotros, en este Tipo 2a.
-
NB: Sí, podemos poner el caso
del calentamiento global.
¶
-
Hay muchos pequeños inconvenientes
-
que nos llevan a hacer cosas
-
que individualmente
no tienen efecto, ¿verdad?
-
Pero si miles de millones
de personas lo hacen,
-
acumulativamente,
tiene un efecto perjudicial.
-
El calentamiento global
podría haber sido mucho peor.
-
Tenemos el parámetro
de la sensibilidad climática.
-
Se trata de un parámetro
que indica cuánto se calentaría
-
si emitieras cierta cantidad
de gases de efecto invernadero.
-
Pero, suponiendo que fuera el caso
-
de que con la cantidad de gases
de efecto invernadero que hemos emitido
-
en lugar de que la temperatura subiera,
entre 3 y 4.5 º C hasta 2100,
-
imagina que hubieran sido 15 o 20 ºC,
-
entonces estaríamos
en una situación muy mala.
-
O que la energía renovable
fuera más difícil de producir.
-
o que hubiera más combustibles
fósiles en el subsuelo.
-
CA: No se podría argumentar que,
¶
-
si lo que hacemos hoy
-
hubiera producido 10 º C de diferencia
en un periodo que pudiéramos ver,
-
la humanidad ya se habría puesto las pilas
para hacer algo al respecto.
-
Somos estúpidos, pero quizá no tanto.
-
O tal vez sí.
-
NB: No apostaría por ello.
¶
-
-
Puedes imaginarte otras características.
¶
-
En estos momentos es algo difícil cambiar
a las renovables y todo eso, de acuerdo,
-
pero se puede hacer.
-
Pero podría haber sucedido que,
con una física algo diferente,
-
hubiera sido mucho más difícil
hacer estas cosas.
-
CA: ¿Qué opinas, Nick, crees que,
teniendo en cuenta todo esto,
¶
-
este planeta, nosotros como humanidad,
conformamos un mundo vulnerable,
-
que hay una bola de muerte
en nuestro futuro?
-
NB: Es difícil de decir,
¶
-
creo que también hay algunas bolas doradas
en la urna, o eso parece.
-
Puede que haya algunas bolas doradas
-
que nos puedan proteger
de las bolas negras.
-
Y no sé en qué orden van a salir.
-
CA: Una posible crítica
filosófica a esta idea
¶
-
es que implica la visión de que el futuro
está básicamente determinado.
-
De que o bien está esa bola ahí o no está.
-
Y de alguna manera, no es una visión
del futuro en la que quiero creer.
-
Quiero creer que el futuro
es indeterminado,
-
que nuestras decisiones de hoy
determinarán qué tipos de bolas sacamos.
-
NB: Si seguimos inventando,
¶
-
al final acabaremos
sacando todas las bolas.
-
Creo que hay una forma débil
de determinismo tecnológico
-
que es bastante plausible,
-
como que es bastante improbable
que encontremos una sociedad
-
que use hachas de pedernal
y aviones tipo jet.
-
Pero casi puedes pensar en una tecnología
como un conjunto de posibilidades.
-
La tecnología nos permite
hacer varias cosas
-
y conseguir diversos efectos en el mundo.
-
Cómo la usemos depende
de nuestra elección como humanos.
-
Pero si pensamos
en estos tres tipos de vulnerabilidades,
-
hacen unas asunciones bastante débiles
sobre cómo podríamos elegir utilizarla.
-
En el Tipo 1 de vulnerabilidad,
con su poder destructor masivo,
-
es una asunción bastante débil suponer
-
que en una población
de millones de personas
-
haya alguno que elija
usarlo de manera destructiva.
-
CA: Para mí, el argumento más inquietante
¶
-
es que puede que tengamos
cierta visión de la urna,
-
que hace pensar que muy posiblemente
estemos condenados.
-
Por ejemplo, si crees
en el poder de la aceleración,
-
esa tecnología inherentemente se acelera,
-
y si creamos la herramientas
que nos den más poder
-
llegaremos a un punto
-
en el que un solo individuo
pueda acabar con todo,
-
y eso nos lleva a pensar
que estamos apañados.
-
¿No es un argumento bastante alarmante?
-
-
-
-
Sí, tenemos más y más poder,
-
y es cada vez más sencillo utilizarlo,
-
pero también podemos inventar tecnologías
-
que nos ayuden a controlar
cómo las personas utilizan ese poder.
-
CA: Hablemos de eso, de la respuesta.
¶
-
Imagina todas las posibilidades
que tenemos ahora,
-
no es solo la biología sintética,
-
sino cosas como la ciberguerra,
la inteligencia artificial, etc.,
-
que indican que nuestro futuro
puede estar seriamente condenado.
-
¿Cuáles son las posibles respuestas?
-
Has hablado de cuatro posibles respuestas.
-
NB: Restringir el desarrollo tecnológico
no parece prometedor,
¶
-
si hablamos de un parón general
del progreso tecnológico,
-
no creo que sea ni factible
ni deseable, aunque lo pudiéramos hacer.
-
Creo que hay áreas muy limitadas
-
en las que tal vez desees
un progreso tecnológico más lento.
-
No creo que quieras un progreso
mayor en bioarmamento,
-
o en separación isotópica,
-
que facilitaría la creación
de armas nucleares.
-
CA: Antes solía estar
totalmente de acuerdo en eso.
¶
-
Pero me gustaría retroceder
un paso un momento.
-
Antes de nada, si ves la historia
de hace un par de décadas,
-
ha sido una continua
aceleración a toda velocidad,
-
está bien, pero es nuestra elección,
-
pero si te fijas en la globalización
y su rápida aceleración,
-
si te fijas en la estrategia
de "muévete rápido y rompe cosas"
-
y lo que ha producido,
-
y luego te fijas en el potencia
de la biología sintética,
-
no creo que debamos avanzar rápidamente
sin ningún tipo de restricción
-
hacia un mundo en el que pueda haber
una impresora de ADN en cada casa
-
en cada laboratorio de secundaria.
-
Hay algunas restricciones, ¿verdad?
-
NB: Posiblemente en la primera parte,
en la no factibilidad,
¶
-
si crees que sería deseable pararla,
aparece el problema de la factibilidad.
-
No ayudaría que un país...
-
CA: No, no ayudaría
que un país lo hiciera,
¶
-
pero hemos tenido
tratados con anterioridad.
-
Así es como hemos sobrevivido
a la amenaza nuclear,
-
gracias a que hemos salido y hemos pasado
por el penoso proceso de negociación.
-
Me pregunto si la lógica no es acaso
que nosotros, como prioridad global,
-
no deberíamos salir e intentar
negociar normas muy duras
-
sobre dónde se hace la investigación
en biología sintética,
-
porque no es algo
que quieras democratizar, ¿no?
-
NB: Estoy totalmente de acuerdo con eso,
¶
-
sería deseable, por ejemplo,
-
tener máquinas para sintetizar ADN,
-
no de manera en la que cada laboratorio
sea el dueño de su propio dispositivo,
-
sino como un servicio.
-
Podría haber
cuatro o cinco lugares en el mundo
-
a los que enviar el modelo digital
y recibir el ADN de vuelta, ¿verdad?
-
Entonces, tendrías la habilidad,
si un día fuera necesario,
-
tendríamos un número finito
de cuellos de botella.
-
Creo que tienes que fijarte
en ciertos tipos de oportunidades
-
sobre las que quieres tener control.
-
CA: Crees, fundamentalmente,
¶
-
que no vamos a conseguir retenerlo.
-
Que alguien, en algún lugar
como Corea del Norte,
-
va a descubrir este conocimiento,
si es que es posible descubrirlo.
-
NB: Parece posible
en las condiciones actuales.
¶
-
No es solo la biología sintética,
-
sino que cualquier cambio
nuevo y profundo en el mundo
-
puede convertirse en una bola negra.
-
CA: Vamos a ver otra posible respuesta.
¶
-
NB: Creo que esto también
tiene un potencial limitado.
¶
-
Con el Tipo 1 de vulnerabilidad,
-
si puedes reducir el número
de personas motivadas a destruir el mundo,
-
si solo ellos tuvieran
acceso a los medios,
-
eso estaría bien.
-
CA: En esta imagen que nos muestras,
¶
-
imaginas esos drones de reconocimiento
facial volando alrededor del mundo.
-
Cuando detectan a alguien
con signos de comportamiento sociopático,
-
lo cubren de amor y lo curan.
-
NB: Creo que es una imagen híbrida.
¶
-
Eliminar puede significar
encarcelar o matar,
-
o persuadir de una visión
más optimista del mundo.
-
Pero el asunto es,
-
imagina que tuvieras éxito
-
y redujeras el número
de esos individuos a la mitad.
-
Si lo quieres hacer
mediante la persuasión,
-
estás compitiendo
contra otras fuerzas poderosas
-
que tratan de persuadir a la gente:
-
partidos políticos, religión
o el sistema educativo.
-
Pero imagina que lo reduces a la mitad;
-
no creo que el riesgo
se redujera a la mitad,
-
sino a un 5 o 10 %.
-
CA: No recomiendas que nos juguemos
el futuro de la humanidad
¶
-
a la respuesta 2.
-
NB: Creo que está muy bien
tratar de disuadir a las personas,
¶
-
pero no deberíamos considerarlo
nuestro único salvavidas.
-
-
NB: Creo que hay tres métodos generales
¶
-
con los que que podemos tener
la habilidad de estabilizar el mundo
-
contra todo el espectro
de posibles vulnerabilidades.
-
Y probablemente necesitamos las dos.
-
Una es una habilidad extremadamente
efectiva de crear políticas preventivas,
-
pensadas para interceptar.
-
Si todos empezaran
a hacer esto tan peligroso,
-
podrías interceptarlos
en tiempo real y detenerlos.
-
Esto requeriría vigilancia ubicua,
-
todo el mundo estaría
monitorizado todo el tiempo.
-
CA: Esto es "Minority Report", en esencia.
¶
-
NB: Tal vez tendrías algoritmos de IA,
¶
-
grandes centros de libertad
que estarían revisándolos, etc.
-
CA: ¿Sabes que la vigilancia masiva
¶
-
no es un término
muy popular en este momento?
-
-
NB: Sí, ese pequeño dispositivo,
¶
-
imagina un tipo de collar
que tuvieras que llevar todo el tiempo
-
con cámaras multidireccionales.
-
Pero para hacerlo más llevadero,
-
imagínate llamarlo
"etiqueta de libertad" o algo así.
-
-
-
Esta es la conversación, amigos,
-
esta es la razón por la que es
una conversación alucinante.
-
NB: De hecho, ya hay una gran conversación
sobre de esto, obviamente.
¶
-
Entraña grandes problemas
y riesgos, ¿verdad?
-
Tal vez volvamos a eso.
-
Así que última, la otra capacidad
de estabilización general
-
es llenar otro vacío de gobernanza.
-
De modo que la vigilancia sería
un vacío de gobernanza a nivel micro,
-
como impedir que cualquiera
haga algo altamente ilegal.
-
Pero hay un vacío de gobernanza
a nivel macro, global.
-
Necesitarías la habilidad,
de manera fiable,
-
de prevenir los mayores fallos
de coordinación global,
-
para evitar guerras entre grandes poderes,
-
guerras armamentísticas,
-
problemas cataclísmicos
de los bienes comunes,
-
para poder lidiar
con las vulnerabilidades del Tipo 2a.
-
CA: La gobernanza global es un término
totalmente en desuso ahora,
¶
-
pero se podría argumentar
-
que a lo largo de la historia
de la humanidad,
-
en cada fase del aumento
del poder tecnológico,
-
la gente se ha reorganizado
para centralizar el poder, por así decir,
-
Por ejemplo, cuando una banda
errante de criminales
-
podía conquistar una sociedad,
-
se respondía con el Estado nación,
-
y se centralizaba la fuerza,
policial o militar,
-
así que "no, no puedes hacer eso".
-
La lógica de que una sola persona o grupo
pueda conquistar la humanidad
-
tal vez signifique que en algún momento
tendremos que tomar este camino,
-
al menos en cierta manera, ¿no?
-
NB: Es cierto que la escala
de la organización política ha aumentado
¶
-
a lo largo de la historia de la humanidad.
-
Solíamos ser grupos
de cazadores-recolectores,
-
luego liderados por jefes,
Estados naciones, naciones,
-
y ahora hay organizaciones
internacionales y todo eso.
-
De nuevo, solo quiero asegurarme
-
de que remarco que obviamente
hay enormes desventajas,
-
y desde luego, riesgos descomunales,
-
tanto en la vigilancia masiva
como en la gobernanza global.
-
Solo estoy destacando que,
si tenemos suerte,
-
el mundo puede llegar a un punto
-
en el que solo así podamos
sobrevivir a la bola negra.
-
CA: La lógica de esta teoría,
¶
-
me parece,
-
es que tenemos que asumir
que no podemos tenerlo todo.
-
Que el sueño inocente, por así decir,
que muchos de nosotros teníamos
-
de que esa tecnología siempre
va a ser una fuerza positiva,
-
sigue adelante, no pares,
ve tan rápido como puedas
-
y no te fijes en las consecuencias,
-
ya no es una opción.
-
Podemos tenerlo.
-
Si podemos tenerlo,
-
tendremos que aceptar algunos aspectos
muy incómodos que conlleva,
-
y entrar esta carrera armamentística
con nosotros mismos,
-
de modo que si quieres poder
tienes que limitarlo,
-
y más te vale averiguar cómo.
-
NB: Creo que es una opción,
¶
-
una opción muy tentadora,
diría que la más sencilla,
-
y podría funcionar,
-
pero significa que somos fundamentalmente
vulnerables a extraer la bola negra.
-
Pero pienso que con un poco
de coordinación,
-
pongamos que has resuelto
el problema de la macrogobernanza
-
y el de la microgobernanza,
-
podríamos extraer
todas las bolas de la urna
-
y beneficiarnos enormemente.
-
CA: Y si estamos viviendo
en una simulación, ¿qué más da?
¶
-
Simplemente nos reiniciamos.
-
-
-
-
Eso no me lo esperaba.
-
CA: ¿Cuál es tu opinión?
¶
-
Si juntamos todas las piezas,
-
qué posibilidades tenemos
de estar condenados?
-
-
Me encanta que la gente se ría
cuando hago esa pregunta.
¶
-
NB: A nivel individual,
¶
-
parece que ya estamos condenados,
solo con el cronograma,
-
nos pudrimos y envejecemos
y todo eso, ¿verdad?
-
-
La verdad es que es un poco complicado.
¶
-
Si quieres hacerte una idea
para obtener una probabilidad,
-
antes de nada, ¿quiénes somos?
-
Si eres muy mayor, seguramente
morirás de causas naturales,
-
si eres muy joven, tal vez vivas 100 años;
-
la probabilidad dependerá
de a quién preguntes.
-
Luego está el umbral: ¿Qué se considera
como devastación de la humanidad?
-
Sobre el papel, no necesito
una catástrofe existencial
-
para que la considere como tal.
-
Es cuestión de definición:
-
si digo mil millones de muertos,
o la reducción del PIB al 50 %,
-
así que dependiendo
de dónde pongas el umbral,
-
obtienes una estimación
de probabilidad diferente.
-
Supongo que me podrías catalogar
como un optimista asustado.
-
-
CA: Eres un optimista asustado,
¶
-
y creo que acabas de crear
una gran cantidad de personas asustadas...
-
-
-
-
Nick Bostrom, tu mente me fascina,
-
muchas gracias por asustarnos
hasta la médula.
-