Showing Revision 43 created 01/28/2020 by Lidia Cámara de la Fuente.

1. Cím:
   Cómo la civilización se puede autodestruir y cuatro maneras de evitarlo
2. Leírás:

   La humanidad está en camino de crear una "bola negra": un avance tecnológico que podría destruirnos a todos, según el filósofo Nick Bostrom. En esta conversación incisiva y sorprendentemente alegre con Chris Anderson, director de TED, Bostrom esboza las vulnerabilidades a las que podríamos enfrentarnos en el caso de que (o cuando) nuestra espiral de invenciones se salga de nuestro control, y explora cómo podemos prevenir nuestra futura desaparición.

3. Speaker:
   Nick Bostrom
4. 1000 0:01 - 0:02
   Chris Anderson: Nick Bostrom.
5. 2809 0:03 - 0:07
   Nos has dado muchas ideas locas.
6. 6809 0:07 - 0:09
   Creo que hace un par de décadas,
7. 8679 0:09 - 0:11
   defendías que estaríamos
   viviendo una simulación,
8. 11322 0:11 - 0:13
   o que, probablemente, vivíamos en una.
9. 13375 0:13 - 0:15
   Recientemente,
10. 14750 0:15 - 0:19
    has dado ejemplos muy claros de
    cómo la inteligencia artificial general
11. 19351 0:19 - 0:22
    podría generar resultados terribles.
12. 21538 0:22 - 0:24
    Y este año estás a punto de publicar
13. 25347 0:25 - 0:29
    un ensayo sobre algo denominado
    la hipótesis del mundo vulnerable.
14. 29267 0:29 - 0:34
    Nuestro trabajo esta tarde consiste
    en ofrecer una guía ilustrada sobre eso.
15. 34821 0:35 - 0:36
    Así que empecemos.
16. 36833 0:37 - 0:39
    ¿En qué consiste esa hipótesis?
17. 40400 0:40 - 0:42
    Nick Bostrom: Se trata de pensar

    ¶

18. 42238 0:42 - 0:46
    en una especie de característica
    estructural de la actual condición humana.
19. 47125 0:47 - 0:50
    Como te gusta la metáfora de la urna,
20. 49500 0:50 - 0:51
    voy a utilizarla para explicarlo.
21. 51653 0:52 - 0:55
    Imagínate una gran urna llena de bolas
22. 55792 0:56 - 1:00
    que representan ideas,
    métodos, posibles tecnologías.
23. 60983 1:01 - 1:05
    Puedes pensar en la historia
    de la creatividad humana
24. 64559 1:05 - 1:08
    como el proceso de extraer
    de esta urna una bola tras otra,
25. 68497 1:08 - 1:12
    y el efecto neto hasta la fecha
    ha sido muy beneficioso, ¿verdad?
26. 71667 1:12 - 1:15
    Hemos extraído
    una gran cantidad de bolas blancas,
27. 74597 1:15 - 1:17
    de varias tonalidades de gris,
    con pros y contras.
28. 78042 1:18 - 1:21
    Hasta ahora no hemos sacado la bola negra:
29. 82292 1:22 - 1:28
    una tecnología que invariablemente
    destruye la civilización que la descubre.
30. 87768 1:28 - 1:31
    Mi ensayo trata de pensar
    qué podría ser esa bola negra.
31. 90979 1:31 - 1:33
    CA: Así que defines la bola negra

    ¶

32. 93117 1:33 - 1:37
    como una que llevará inevitablemente
    a la destrucción de la civilización.
33. 97081 1:37 - 1:42
    NB: Salvo que salgamos de lo que denomino
    condición semianárquica por defecto.

    ¶

34. 101934 1:42 - 1:43
    Bueno, más o menos por defecto.
35. 104333 1:44 - 1:48
    CA: Haces que este caso adquiera
    carácter de urgencia

    ¶

36. 107851 1:48 - 1:50
    al mostrar contraejemplos
37. 109917 1:50 - 1:53
    que crees que demuestran
    que hasta ahora hemos tenido suerte,
38. 112851 1:53 - 1:56
    que puede que hayamos sacado
    la bola de la muerte,
39. 115556 1:56 - 1:57
    sin habernos siquiera dado cuenta.
40. 117183 1:57 - 2:00
    Hay una cita al respecto, ¿cuál es?
41. 120465 2:00 - 2:05
    NB: Bueno, imagino que solo trato
    de ilustrar la dificultad de prever

    ¶

42. 125438 2:05 - 2:08
    hacia dónde llevarán
    los descubrimientos básicos,
43. 128143 2:08 - 2:10
    simplemente no tenemos esa capacidad.
44. 131250 2:11 - 2:15
    Porque nos hemos hecho bastante
    hábiles extrayendo bolas,
45. 134851 2:15 - 2:18
    pero realmente no tenemos la capacidad
    de devolver la bola a la urna.
46. 138351 2:18 - 2:21
    Podemos inventar, pero no desinventar.
47. 141583 2:22 - 2:24
    Así que nuestra estrategia, en realidad,
48. 143951 2:24 - 2:26
    es confiar en que no haya
    una bola negra en la urna.
49. 146453 2:26 - 2:31
    CA: Así que una vez que está fuera,
    no se puede devolver a la urna,

    ¶

50. 150893 2:31 - 2:32
    y crees que hemos tenido suerte.
51. 152458 2:32 - 2:35
    Cuéntanos un par de ejemplos.
52. 154708 2:35 - 2:37
    Hablas de diferentes tipos
    de vulnerabilidad.
53. 157833 2:38 - 2:40
    NB: El tipo más fácil de comprender

    ¶

54. 160268 2:40 - 2:46
    es una tecnología que hace muy fácil
    producir una enorme destrucción.
55. 167375 2:47 - 2:50
    La biología sintética podría ser
    una fuente abundante
56. 170033 2:50 - 2:52
    de ese tipo de bola negra,
57. 171565 2:52 - 2:54
    pero hay muchas otras cosas
    en las que podríamos pensar,
58. 174413 2:54 - 2:57
    como la geoingeniería,
    realmente genial, ¿verdad?
59. 176949 2:57 - 2:59
    Podríamos combatir
    el calentamiento global,
60. 178951 2:59 - 3:01
    pero tampoco queremos
    que sea demasiado sencillo,
61. 181257 3:01 - 3:04
    que cualquier persona
    y su abuela tengan la capacidad
62. 184177 3:04 - 3:06
    de alterar radicalmente
    el clima de la Tierra.
63. 186650 3:07 - 3:11
    O tal vez producir en masa
    drones autónomos letales,
64. 190593 3:11 - 3:14
    enjambres de robots asesinos
    del tamaño de un mosquito.
65. 194440 3:14 - 3:17
    Nanotecnología,
    inteligencia artificial general.

    ¶

66. 196759 3:17 - 3:20
    CA: Tú argumentas en el ensayo
    que fue una cuestión de suerte
67. 199996 3:20 - 3:23
    que el descubrimiento
    de la energía nuclear
68. 203430 3:23 - 3:25
    pudiera crear una bomba;
69. 205215 3:25 - 3:28
    podría haber sido el caso
    de que fuera posible crear una bomba
70. 208250 3:28 - 3:31
    con recursos mucho menores,
    accesibles a cualquiera.
71. 211833 3:32 - 3:35
    NB: Sí, creo que allá por los años 30,

    ¶

72. 215393 3:35 - 3:39
    cuando por primera vez hicimos
    grandes avances en física nuclear,
73. 219732 3:40 - 3:41
    algunas figuras insignes expusieron
74. 221400 3:41 - 3:44
    que era posible crear
    reacciones nucleares en cadena
75. 224130 3:44 - 3:48
    para luego caer en la cuenta de que eso
    podría llevar a crear una bomba.
76. 227956 3:48 - 3:52
    Investigamos y descubrimos
    que para hacer una bomba nuclear
77. 231909 3:52 - 3:54
    se necesita uranio enriquecido o plutonio,
78. 234155 3:54 - 3:56
    que son materiales
    muy difíciles de conseguir.
79. 236362 3:56 - 3:59
    Se precisan ultracentrifugadoras,
80. 239293 3:59 - 4:02
    reactores para gigantescas
    cantidades de energía.
81. 241935 4:02 - 4:04
    Pero imagínate que en lugar de eso,
82. 244017 4:04 - 4:07
    hubiera habido una manera fácil
    de liberar la energía del átomo.
83. 247750 4:08 - 4:11
    Que tal vez calentando arena
    en el microondas o algo así
84. 251200 4:11 - 4:14
    se hubiese podido crear
    una detonación nuclear.
85. 253561 4:14 - 4:15
    Sabemos que es físicamente imposible.
86. 255498 4:15 - 4:18
    Pero antes de desarrollar
    esa física relevante,
87. 258129 4:18 - 4:20
    ¿cómo se podría haber sabido
    cómo acabaría?
88. 260353 4:20 - 4:23
    CA: A pesar de eso, ¿no se podría alegar
89. 262551 4:23 - 4:25
    que para que la vida
    evolucionara en la Tierra

    ¶

90. 264743 4:25 - 4:27
    se necesitaría cierto entorno estable,
91. 267462 4:27 - 4:31
    y que si fuera tan fácil crear
    reacciones nucleares masivas
92. 270603 4:31 - 4:32
    la Tierra nunca habría sido estable,
93. 272468 4:32 - 4:35
    y por tanto no podríamos estar aquí.
94. 274704 4:35 - 4:38
    NB: Sí, salvo que hubiera algo fácil
    de hacer a propósito,
95. 278291 4:38 - 4:41
    pero que no ocurriría solo por azar.

    ¶

96. 280871 4:41 - 4:43
    Es decir, cosas que podemos
    hacer con facilidad,
97. 283112 4:43 - 4:45
    podemos apilar 10 bloques uno sobre otro,
98. 285116 4:45 - 4:48
    pero en la naturaleza, no se
    da una pila de 10 bloques.
99. 288163 4:48 - 4:52
    CA: De acuerdo, quizá esto es
    lo que más nos preocupa a la mayoría,
100. 291950 4:52 - 4:55
     y sí, la biología sintética es
     tal vez la vía más rápida

     ¶

101. 295187 4:55 - 4:59
     que podemos prever en nuestro futuro
     cercano para llegar hasta aquí.
102. 298608 4:59 - 5:01
     NB: Sí, imagínate lo que eso
     habría supuesto,
103. 301437 5:01 - 5:05
     si, digamos, cualquiera trabajando
     en su cocina por la tarde

     ¶

104. 304968 5:05 - 5:06
     pudiera destruir una ciudad.
105. 306889 5:07 - 5:09
     Cuesta entender
     que la civilización moderna,
106. 309382 5:09 - 5:12
     tal como la conocemos,
     haya podido sobrevivir a eso,
107. 311893 5:12 - 5:15
     porque en cualquier población
     de un millón de personas
108. 314531 5:15 - 5:17
     siempre habrá alguien que,
     por algún motivo,
109. 316809 5:17 - 5:19
     quiera utilizar ese poder de destrucción.
110. 319750 5:20 - 5:23
     Así que si ese residuo apocalíptico
111. 323133 5:23 - 5:25
     eligiera destruir una ciudad, o peor aún,
112. 325127 5:25 - 5:27
     las ciudades podrían ser destruidas.
113. 326870 5:27 - 5:29
     CA: Hay otra clase de vulnerabilidad,

     ¶

114. 328701 5:29 - 5:30
     hábleme de ella.
115. 330542 5:31 - 5:35
     NB: Sí, además de estos tipos
     evidentes de bolas negras

     ¶

116. 334502 5:35 - 5:37
     que podrían hacer que muchas cosas
     volaran por los aires,
117. 337182 5:37 - 5:42
     hay otros tipos que pueden
     crear malos incentivos
118. 341833 5:42 - 5:44
     para que los humanos
     hagamos cosas dañinas.
119. 344083 5:44 - 5:48
     El Tipo 2a, podríamos llamarlo,
120. 348208 5:48 - 5:53
     serían tecnologías que posibilitan
     a los grandes poderes
121. 352726 5:53 - 5:57
     usar su enorme fuerza
     para crear destrucción.
122. 357250 5:57 - 6:00
     Las armas nucleares
     están muy cerca de esto, ¿verdad?
123. 362083 6:02 - 6:05
     Hemos gastado más de USD 10 billones
124. 365143 6:05 - 6:08
     para construir 70 000 cabezas nucleares
125. 367684 6:08 - 6:10
     que están en estado de alerta instantánea.
126. 370167 6:10 - 6:12
     Hubo varios momentos
     durante la Guerra Fría
127. 372434 6:12 - 6:14
     en los que casi nos volamos por los aires.
128. 374446 6:14 - 6:17
     No es que muchos pensaran
     que era una gran idea
129. 376641 6:17 - 6:19
     gastarnos USD 10 billones
     para volarnos por los aires,
130. 379407 6:19 - 6:22
     pero los incentivos eran tales
     que nos encontrábamos...
131. 382007 6:22 - 6:23
     podría haber sido mucho peor.
132. 383408 6:23 - 6:26
     Imagina que hubiera habido
     un primer ataque seguro.
133. 386500 6:26 - 6:30
     Habría sido muy difícil,
     en una situación de crisis,
134. 389855 6:30 - 6:33
     reprimir el lanzamiento
     de todos los misiles nucleares,
135. 392952 6:33 - 6:36
     aunque solo fuera por el temor
     a que lo hiciera el otro.
136. 395968 6:36 - 6:38
     CA: De acuerdo, la destrucción
     mutua asegurada

     ¶

137. 398135 6:38 - 6:40
     mantuvo la Guerra Fría
     relativamente estable,
138. 400400 6:40 - 6:42
     porque sin eso,
     podríamos no estar hoy aquí.
139. 402463 6:42 - 6:44
     NB: Pudo haber sido más inestable,

     ¶

140. 404233 6:44 - 6:47
     y pudo haber otras propiedades
     de la tecnología,
141. 406588 6:47 - 6:50
     pudo haber sido más difícil
     lograr tratados armamentísticos,
142. 409625 6:50 - 6:51
     si en vez de cabezas nucleares,
143. 411250 6:51 - 6:54
     hubiera habido cosas más pequeñas
     o menos distintivas.
144. 413768 6:54 - 6:57
     CA: Al igual que los malos incentivos
     para los actores del poder,

     ¶

145. 416811 6:57 - 7:01
     también te preocupan los malos incentivos
     para todos nosotros, en este Tipo 2a.
146. 420527 7:01 - 7:05
     NB: Sí, podemos poner el caso
     del calentamiento global.

     ¶

147. 426958 7:07 - 7:09
     Hay muchos pequeños inconvenientes
148. 429025 7:09 - 7:12
     que nos llevan a hacer cosas
149. 431693 7:12 - 7:14
     que individualmente
     no tienen efecto, ¿verdad?
150. 433958 7:14 - 7:16
     Pero si miles de millones
     de personas lo hacen,
151. 436148 7:16 - 7:18
     acumulativamente,
     tiene un efecto perjudicial.
152. 438292 7:18 - 7:21
     El calentamiento global
     podría haber sido mucho peor.
153. 441085 7:21 - 7:24
     Tenemos el parámetro
     de la sensibilidad climática.
154. 444185 7:24 - 7:27
     Se trata de un parámetro
     que indica cuánto se calentaría
155. 447148 7:27 - 7:30
     si emitieras cierta cantidad
     de gases de efecto invernadero.
156. 450250 7:30 - 7:33
     Pero, suponiendo que fuera el caso
157. 452643 7:33 - 7:36
     de que con la cantidad de gases
     de efecto invernadero que hemos emitido
158. 456006 7:36 - 7:41
     en lugar de que la temperatura subiera,
     entre 3 y 4.5 º C hasta 2100,
159. 461042 7:41 - 7:44
     imagina que hubieran sido 15 o 20 ºC,
160. 464375 7:44 - 7:47
     entonces estaríamos
     en una situación muy mala.
161. 466574 7:47 - 7:49
     O que la energía renovable
     fuera más difícil de producir.
162. 469283 7:49 - 7:52
     o que hubiera más combustibles
     fósiles en el subsuelo.
163. 471818 7:52 - 7:54
     CA: No se podría argumentar que,

     ¶

164. 474083 7:54 - 7:57
     si lo que hacemos hoy
165. 477184 7:57 - 8:02
     hubiera producido 10 º C de diferencia
     en un periodo que pudiéramos ver,
166. 481792 8:02 - 8:05
     la humanidad ya se habría puesto las pilas
     para hacer algo al respecto.
167. 485476 8:05 - 8:08
     Somos estúpidos, pero quizá no tanto.
168. 487889 8:08 - 8:09
     O tal vez sí.
169. 489151 8:09 - 8:11
     NB: No apostaría por ello.

     ¶

170. 490533 8:11 - 8:12
     (Risas)

     ¶

171. 493125 8:13 - 8:16
     Puedes imaginarte otras características.

     ¶

172. 496339 8:16 - 8:20
     En estos momentos es algo difícil cambiar
     a las renovables y todo eso, de acuerdo,
173. 500241 8:20 - 8:22
     pero se puede hacer.
174. 501683 8:22 - 8:25
     Pero podría haber sucedido que,
     con una física algo diferente,
175. 504643 8:25 - 8:27
     hubiera sido mucho más difícil
     hacer estas cosas.
176. 508296 8:28 - 8:32
     CA: ¿Qué opinas, Nick, crees que,
     teniendo en cuenta todo esto,

     ¶

177. 514039 8:34 - 8:38
     este planeta, nosotros como humanidad,
     conformamos un mundo vulnerable,
178. 517950 8:38 - 8:40
     que hay una bola de muerte
     en nuestro futuro?
179. 523898 8:44 - 8:45
     NB: Es difícil de decir,

     ¶

180. 525240 8:45 - 8:51
     creo que también hay algunas bolas doradas
     en la urna, o eso parece.
181. 531667 8:52 - 8:54
     Puede que haya algunas bolas doradas
182. 534059 8:54 - 8:57
     que nos puedan proteger
     de las bolas negras.
183. 537583 8:58 - 9:00
     Y no sé en qué orden van a salir.
184. 540583 9:01 - 9:04
     CA: Una posible crítica
     filosófica a esta idea

     ¶

185. 544434 9:04 - 9:10
     es que implica la visión de que el futuro
     está básicamente determinado.
186. 550125 9:10 - 9:13
     De que o bien está esa bola ahí o no está.
187. 552881 9:13 - 9:17
     Y de alguna manera, no es una visión
     del futuro en la que quiero creer.
188. 557437 9:17 - 9:20
     Quiero creer que el futuro
     es indeterminado,
189. 559752 9:20 - 9:25
     que nuestras decisiones de hoy
     determinarán qué tipos de bolas sacamos.
190. 565917 9:26 - 9:30
     NB: Si seguimos inventando,

     ¶

191. 569844 9:30 - 9:32
     al final acabaremos
     sacando todas las bolas.
192. 572625 9:33 - 9:36
     Creo que hay una forma débil
     de determinismo tecnológico
193. 575859 9:36 - 9:37
     que es bastante plausible,
194. 577339 9:37 - 9:40
     como que es bastante improbable
     que encontremos una sociedad
195. 580320 9:40 - 9:43
     que use hachas de pedernal
     y aviones tipo jet.
196. 584208 9:44 - 9:48
     Pero casi puedes pensar en una tecnología
     como un conjunto de posibilidades.
197. 588268 9:48 - 9:51
     La tecnología nos permite
     hacer varias cosas
198. 590745 9:51 - 9:53
     y conseguir diversos efectos en el mundo.
199. 592725 9:53 - 9:55
     Cómo la usemos depende
     de nuestra elección como humanos.
200. 595787 9:56 - 9:59
     Pero si pensamos
     en estos tres tipos de vulnerabilidades,
201. 598615 9:59 - 10:02
     hacen unas asunciones bastante débiles
     sobre cómo podríamos elegir utilizarla.
202. 602282 10:02 - 10:06
     En el Tipo 1 de vulnerabilidad,
     con su poder destructor masivo,
203. 605644 10:06 - 10:08
     es una asunción bastante débil suponer
204. 607677 10:08 - 10:10
     que en una población
     de millones de personas
205. 609723 10:10 - 10:12
     haya alguno que elija
     usarlo de manera destructiva.
206. 612542 10:13 - 10:15
     CA: Para mí, el argumento más inquietante

     ¶

207. 615000 10:15 - 10:20
     es que puede que tengamos
     cierta visión de la urna,
208. 619583 10:20 - 10:23
     que hace pensar que muy posiblemente
     estemos condenados.
209. 623125 10:23 - 10:28
     Por ejemplo, si crees
     en el poder de la aceleración,
210. 627768 10:28 - 10:30
     esa tecnología inherentemente se acelera,
211. 629942 10:30 - 10:32
     y si creamos la herramientas
     que nos den más poder
212. 632292 10:32 - 10:35
     llegaremos a un punto
213. 635309 10:35 - 10:38
     en el que un solo individuo
     pueda acabar con todo,
214. 638292 10:38 - 10:41
     y eso nos lleva a pensar
     que estamos apañados.
215. 641143 10:41 - 10:43
     ¿No es un argumento bastante alarmante?
216. 644125 10:44 - 10:46
     NB: Ah, sí...

     ¶

217. 646708 10:47 - 10:48
     (Risas)

     ¶

218. 648140 10:48 - 10:49
     Creo que...

     ¶

219. 650875 10:51 - 10:52
     Sí, tenemos más y más poder,
220. 653940 10:54 - 10:56
     y es cada vez más sencillo utilizarlo,
221. 656458 10:56 - 10:58
     pero también podemos inventar tecnologías
222. 658438 10:58 - 11:02
     que nos ayuden a controlar
     cómo las personas utilizan ese poder.
223. 662083 11:02 - 11:05
     CA: Hablemos de eso, de la respuesta.

     ¶

224. 664508 11:05 - 11:09
     Imagina todas las posibilidades
     que tenemos ahora,
225. 669417 11:09 - 11:12
     no es solo la biología sintética,
226. 671513 11:12 - 11:16
     sino cosas como la ciberguerra,
     la inteligencia artificial, etc.,
227. 676542 11:17 - 11:21
     que indican que nuestro futuro
     puede estar seriamente condenado.
228. 680959 11:21 - 11:23
     ¿Cuáles son las posibles respuestas?
229. 683228 11:23 - 11:27
     Has hablado de cuatro posibles respuestas.
230. 687625 11:28 - 11:31
     NB: Restringir el desarrollo tecnológico
     no parece prometedor,

     ¶

231. 691268 11:31 - 11:35
     si hablamos de un parón general
     del progreso tecnológico,
232. 694638 11:35 - 11:38
     no creo que sea ni factible
     ni deseable, aunque lo pudiéramos hacer.
233. 698167 11:38 - 11:41
     Creo que hay áreas muy limitadas
234. 701044 11:41 - 11:44
     en las que tal vez desees
     un progreso tecnológico más lento.
235. 703921 11:44 - 11:48
     No creo que quieras un progreso
     mayor en bioarmamento,
236. 707801 11:48 - 11:49
     o en separación isotópica,
237. 709434 11:49 - 11:52
     que facilitaría la creación
     de armas nucleares.
238. 712583 11:53 - 11:56
     CA: Antes solía estar
     totalmente de acuerdo en eso.

     ¶

239. 715893 11:56 - 11:59
     Pero me gustaría retroceder
     un paso un momento.
240. 719184 11:59 - 12:03
     Antes de nada, si ves la historia
     de hace un par de décadas,
241. 723360 12:03 - 12:07
     ha sido una continua
     aceleración a toda velocidad,
242. 726809 12:07 - 12:09
     está bien, pero es nuestra elección,
243. 728708 12:09 - 12:13
     pero si te fijas en la globalización
     y su rápida aceleración,
244. 732976 12:13 - 12:16
     si te fijas en la estrategia
     de "muévete rápido y rompe cosas"
245. 736434 12:16 - 12:18
     y lo que ha producido,
246. 738542 12:19 - 12:21
     y luego te fijas en el potencia
     de la biología sintética,
247. 741309 12:21 - 12:27
     no creo que debamos avanzar rápidamente
     sin ningún tipo de restricción
248. 747205 12:27 - 12:30
     hacia un mundo en el que pueda haber
     una impresora de ADN en cada casa
249. 750498 12:30 - 12:32
     en cada laboratorio de secundaria.
250. 753087 12:33 - 12:35
     Hay algunas restricciones, ¿verdad?
251. 754761 12:35 - 12:38
     NB: Posiblemente en la primera parte,
     en la no factibilidad,

     ¶

252. 757842 12:38 - 12:41
     si crees que sería deseable pararla,
     aparece el problema de la factibilidad.
253. 761410 12:41 - 12:44
     No ayudaría que un país...
254. 764059 12:44 - 12:46
     CA: No, no ayudaría
     que un país lo hiciera,

     ¶

255. 766115 12:46 - 12:49
     pero hemos tenido
     tratados con anterioridad.
256. 769333 12:49 - 12:52
     Así es como hemos sobrevivido
     a la amenaza nuclear,
257. 772618 12:53 - 12:56
     gracias a que hemos salido y hemos pasado
     por el penoso proceso de negociación.
258. 776542 12:57 - 13:02
     Me pregunto si la lógica no es acaso
     que nosotros, como prioridad global,
259. 782000 13:02 - 13:06
     no deberíamos salir e intentar
     negociar normas muy duras
260. 786114 13:06 - 13:09
     sobre dónde se hace la investigación
     en biología sintética,
261. 789101 13:09 - 13:12
     porque no es algo
     que quieras democratizar, ¿no?
262. 791856 13:12 - 13:14
     NB: Estoy totalmente de acuerdo con eso,

     ¶

263. 793803 13:14 - 13:18
     sería deseable, por ejemplo,
264. 798059 13:18 - 13:21
     tener máquinas para sintetizar ADN,
265. 801628 13:22 - 13:25
     no de manera en la que cada laboratorio
     sea el dueño de su propio dispositivo,
266. 805292 13:25 - 13:27
     sino como un servicio.
267. 806792 13:27 - 13:29
     Podría haber
     cuatro o cinco lugares en el mundo
268. 809100 13:29 - 13:33
     a los que enviar el modelo digital
     y recibir el ADN de vuelta, ¿verdad?
269. 812851 13:33 - 13:37
     Entonces, tendrías la habilidad,
     si un día fuera necesario,
270. 816653 13:37 - 13:39
     tendríamos un número finito
     de cuellos de botella.
271. 819458 13:39 - 13:43
     Creo que tienes que fijarte
     en ciertos tipos de oportunidades
272. 822976 13:43 - 13:45
     sobre las que quieres tener control.
273. 825059 13:45 - 13:47
     CA: Crees, fundamentalmente,

     ¶

274. 826726 13:47 - 13:50
     que no vamos a conseguir retenerlo.
275. 829643 13:50 - 13:52
     Que alguien, en algún lugar
     como Corea del Norte,
276. 832497 13:52 - 13:57
     va a descubrir este conocimiento,
     si es que es posible descubrirlo.
277. 837114 13:57 - 13:59
     NB: Parece posible
     en las condiciones actuales.

     ¶

278. 839311 13:59 - 14:01
     No es solo la biología sintética,
279. 840895 14:01 - 14:04
     sino que cualquier cambio
     nuevo y profundo en el mundo
280. 843937 14:04 - 14:06
     puede convertirse en una bola negra.
281. 845727 14:06 - 14:08
     CA: Vamos a ver otra posible respuesta.

     ¶

282. 847583 14:08 - 14:10
     NB: Creo que esto también
     tiene un potencial limitado.

     ¶

283. 851251 14:11 - 14:13
     Con el Tipo 1 de vulnerabilidad,
284. 853753 14:14 - 14:19
     si puedes reducir el número
     de personas motivadas a destruir el mundo,
285. 858992 14:19 - 14:21
     si solo ellos tuvieran
     acceso a los medios,
286. 861009 14:21 - 14:22
     eso estaría bien.
287. 862211 14:22 - 14:24
     CA: En esta imagen que nos muestras,

     ¶

288. 864105 14:24 - 14:28
     imaginas esos drones de reconocimiento
     facial volando alrededor del mundo.
289. 867774 14:28 - 14:31
     Cuando detectan a alguien
     con signos de comportamiento sociopático,
290. 871267 14:31 - 14:33
     lo cubren de amor y lo curan.
291. 873875 14:34 - 14:36
     NB: Creo que es una imagen híbrida.

     ¶

292. 875768 14:36 - 14:40
     Eliminar puede significar
     encarcelar o matar,
293. 880057 14:40 - 14:43
     o persuadir de una visión
     más optimista del mundo.
294. 882875 14:43 - 14:45
     Pero el asunto es,
295. 885151 14:45 - 14:47
     imagina que tuvieras éxito
296. 886852 14:47 - 14:50
     y redujeras el número
     de esos individuos a la mitad.
297. 889793 14:50 - 14:52
     Si lo quieres hacer
     mediante la persuasión,
298. 891912 14:52 - 14:54
     estás compitiendo
     contra otras fuerzas poderosas
299. 894154 14:54 - 14:56
     que tratan de persuadir a la gente:
300. 895847 14:56 - 14:58
     partidos políticos, religión
     o el sistema educativo.
301. 898288 14:58 - 15:00
     Pero imagina que lo reduces a la mitad;
302. 900153 15:00 - 15:02
     no creo que el riesgo
     se redujera a la mitad,
303. 902281 15:02 - 15:04
     sino a un 5 o 10 %.
304. 903726 15:04 - 15:07
     CA: No recomiendas que nos juguemos
     el futuro de la humanidad

     ¶

305. 906645 15:07 - 15:08
     a la respuesta 2.
306. 908085 15:08 - 15:11
     NB: Creo que está muy bien
     tratar de disuadir a las personas,

     ¶

307. 911143 15:11 - 15:14
     pero no deberíamos considerarlo
     nuestro único salvavidas.
308. 913893 15:14 - 15:15
     CA: ¿Y la tercera?

     ¶

309. 915458 15:15 - 15:18
     NB: Creo que hay tres métodos generales

     ¶

310. 918351 15:18 - 15:22
     con los que que podemos tener
     la habilidad de estabilizar el mundo
311. 922351 15:22 - 15:25
     contra todo el espectro
     de posibles vulnerabilidades.
312. 925351 15:25 - 15:27
     Y probablemente necesitamos las dos.
313. 927410 15:27 - 15:33
     Una es una habilidad extremadamente
     efectiva de crear políticas preventivas,
314. 933292 15:33 - 15:35
     pensadas para interceptar.
315. 934816 15:35 - 15:37
     Si todos empezaran
     a hacer esto tan peligroso,
316. 937625 15:38 - 15:40
     podrías interceptarlos
     en tiempo real y detenerlos.
317. 940689 15:41 - 15:43
     Esto requeriría vigilancia ubicua,
318. 942785 15:43 - 15:45
     todo el mundo estaría
     monitorizado todo el tiempo.
319. 946137 15:46 - 15:49
     CA: Esto es "Minority Report", en esencia.

     ¶

320. 948917 15:49 - 15:51
     NB: Tal vez tendrías algoritmos de IA,

     ¶

321. 950851 15:51 - 15:55
     grandes centros de libertad
     que estarían revisándolos, etc.
322. 956583 15:57 - 15:58
     CA: ¿Sabes que la vigilancia masiva

     ¶

323. 958420 15:58 - 16:01
     no es un término
     muy popular en este momento?
324. 961000 16:01 - 16:03
     (Risas)

     ¶

325. 963378 16:03 - 16:05
     NB: Sí, ese pequeño dispositivo,

     ¶

326. 965392 16:05 - 16:09
     imagina un tipo de collar
     que tuvieras que llevar todo el tiempo
327. 968893 16:09 - 16:11
     con cámaras multidireccionales.
328. 971652 16:12 - 16:13
     Pero para hacerlo más llevadero,
329. 973407 16:13 - 16:16
     imagínate llamarlo
     "etiqueta de libertad" o algo así.
330. 975903 16:16 - 16:18
     (Risas)

     ¶

331. 978184 16:18 - 16:20
     CA: De acuerdo.

     ¶

332. 979500 16:20 - 16:22
     Esta es la conversación, amigos,
333. 981625 16:22 - 16:25
     esta es la razón por la que es
     una conversación alucinante.
334. 984744 16:25 - 16:28
     NB: De hecho, ya hay una gran conversación
     sobre de esto, obviamente.

     ¶

335. 988897 16:29 - 16:32
     Entraña grandes problemas
     y riesgos, ¿verdad?
336. 991533 16:32 - 16:33
     Tal vez volvamos a eso.
337. 992934 16:33 - 16:37
     Así que última, la otra capacidad
     de estabilización general
338. 996906 16:37 - 16:39
     es llenar otro vacío de gobernanza.
339. 998887 16:39 - 16:43
     De modo que la vigilancia sería
     un vacío de gobernanza a nivel micro,
340. 1003101 16:43 - 16:46
     como impedir que cualquiera
     haga algo altamente ilegal.
341. 1006250 16:46 - 16:50
     Pero hay un vacío de gobernanza
     a nivel macro, global.
342. 1009983 16:50 - 16:54
     Necesitarías la habilidad,
     de manera fiable,
343. 1014370 16:54 - 16:57
     de prevenir los mayores fallos
     de coordinación global,
344. 1017309 16:57 - 17:01
     para evitar guerras entre grandes poderes,
345. 1020661 17:01 - 17:02
     guerras armamentísticas,
346. 1023380 17:03 - 17:06
     problemas cataclísmicos
     de los bienes comunes,
347. 1027667 17:08 - 17:11
     para poder lidiar
     con las vulnerabilidades del Tipo 2a.
348. 1031875 17:12 - 17:16
     CA: La gobernanza global es un término
     totalmente en desuso ahora,

     ¶

349. 1036107 17:16 - 17:18
     pero se podría argumentar
350. 1037645 17:18 - 17:20
     que a lo largo de la historia
     de la humanidad,
351. 1039853 17:20 - 17:25
     en cada fase del aumento
     del poder tecnológico,
352. 1045365 17:25 - 17:29
     la gente se ha reorganizado
     para centralizar el poder, por así decir,
353. 1048625 17:29 - 17:32
     Por ejemplo, cuando una banda
     errante de criminales
354. 1052059 17:32 - 17:34
     podía conquistar una sociedad,
355. 1053768 17:34 - 17:36
     se respondía con el Estado nación,
356. 1055771 17:36 - 17:38
     y se centralizaba la fuerza,
     policial o militar,
357. 1058126 17:38 - 17:40
     así que "no, no puedes hacer eso".
358. 1060143 17:40 - 17:46
     La lógica de que una sola persona o grupo
     pueda conquistar la humanidad
359. 1065846 17:46 - 17:49
     tal vez signifique que en algún momento
     tendremos que tomar este camino,
360. 1069247 17:49 - 17:51
     al menos en cierta manera, ¿no?
361. 1070725 17:51 - 17:54
     NB: Es cierto que la escala
     de la organización política ha aumentado

     ¶

362. 1074309 17:54 - 17:56
     a lo largo de la historia de la humanidad.
363. 1076416 17:56 - 17:59
     Solíamos ser grupos
     de cazadores-recolectores,
364. 1078612 17:59 - 18:01
     luego liderados por jefes,
     Estados naciones, naciones,
365. 1081090 18:01 - 18:05
     y ahora hay organizaciones
     internacionales y todo eso.
366. 1085500 18:06 - 18:08
     De nuevo, solo quiero asegurarme
367. 1087688 18:08 - 18:11
     de que remarco que obviamente
     hay enormes desventajas,
368. 1090684 18:11 - 18:12
     y desde luego, riesgos descomunales,
369. 1092420 18:12 - 18:16
     tanto en la vigilancia masiva
     como en la gobernanza global.
370. 1095601 18:16 - 18:18
     Solo estoy destacando que,
     si tenemos suerte,
371. 1098144 18:18 - 18:20
     el mundo puede llegar a un punto
372. 1099693 18:20 - 18:22
     en el que solo así podamos
     sobrevivir a la bola negra.
373. 1102458 18:22 - 18:24
     CA: La lógica de esta teoría,

     ¶

374. 1104976 18:25 - 18:26
     me parece,
375. 1106268 18:26 - 18:30
     es que tenemos que asumir
     que no podemos tenerlo todo.
376. 1109893 18:30 - 18:36
     Que el sueño inocente, por así decir,
     que muchos de nosotros teníamos
377. 1116300 18:36 - 18:40
     de que esa tecnología siempre
     va a ser una fuerza positiva,
378. 1119851 18:40 - 18:43
     sigue adelante, no pares,
     ve tan rápido como puedas
379. 1122851 18:43 - 18:45
     y no te fijes en las consecuencias,
380. 1125250 18:45 - 18:47
     ya no es una opción.
381. 1126958 18:47 - 18:49
     Podemos tenerlo.
382. 1128893 18:49 - 18:50
     Si podemos tenerlo,
383. 1130184 18:50 - 18:54
     tendremos que aceptar algunos aspectos
     muy incómodos que conlleva,
384. 1134250 18:54 - 18:57
     y entrar esta carrera armamentística
     con nosotros mismos,
385. 1136930 18:57 - 18:59
     de modo que si quieres poder
     tienes que limitarlo,
386. 1139285 18:59 - 19:01
     y más te vale averiguar cómo.
387. 1140934 19:01 - 19:04
     NB: Creo que es una opción,

     ¶

388. 1144434 19:04 - 19:07
     una opción muy tentadora,
     diría que la más sencilla,
389. 1147026 19:07 - 19:09
     y podría funcionar,
390. 1148542 19:09 - 19:13
     pero significa que somos fundamentalmente
     vulnerables a extraer la bola negra.
391. 1153351 19:13 - 19:15
     Pero pienso que con un poco
     de coordinación,
392. 1155452 19:15 - 19:18
     pongamos que has resuelto
     el problema de la macrogobernanza
393. 1158292 19:18 - 19:20
     y el de la microgobernanza,
394. 1159917 19:20 - 19:22
     podríamos extraer
     todas las bolas de la urna
395. 1162226 19:22 - 19:24
     y beneficiarnos enormemente.
396. 1164542 19:25 - 19:28
     CA: Y si estamos viviendo
     en una simulación, ¿qué más da?

     ¶

397. 1167836 19:28 - 19:29
     Simplemente nos reiniciamos.
398. 1169333 19:29 - 19:31
     (Risas)

     ¶

399. 1170601 19:31 - 19:32
     NB: Entonces...

     ¶

400. 1172268 19:32 - 19:35
     (Risas)

     ¶

401. 1174598 19:35 - 19:36
     Eso no me lo esperaba.
402. 1178125 19:38 - 19:40
     CA: ¿Cuál es tu opinión?

     ¶

403. 1179577 19:40 - 19:41
     Si juntamos todas las piezas,
404. 1181150 19:41 - 19:44
     qué posibilidades tenemos
     de estar condenados?
405. 1184250 19:44 - 19:46
     (Risas)

     ¶

406. 1186852 19:47 - 19:49
     Me encanta que la gente se ría
     cuando hago esa pregunta.

     ¶

407. 1189488 19:49 - 19:51
     NB: A nivel individual,

     ¶

408. 1191349 19:51 - 19:55
     parece que ya estamos condenados,
     solo con el cronograma,
409. 1194684 19:55 - 19:57
     nos pudrimos y envejecemos
     y todo eso, ¿verdad?
410. 1197309 19:57 - 19:59
     (Risas)

     ¶

411. 1198554 19:59 - 20:00
     La verdad es que es un poco complicado.

     ¶

412. 1200407 20:00 - 20:03
     Si quieres hacerte una idea
     para obtener una probabilidad,
413. 1203164 20:03 - 20:05
     antes de nada, ¿quiénes somos?
414. 1204596 20:05 - 20:07
     Si eres muy mayor, seguramente
     morirás de causas naturales,
415. 1207476 20:07 - 20:10
     si eres muy joven, tal vez vivas 100 años;
416. 1209571 20:10 - 20:12
     la probabilidad dependerá
     de a quién preguntes.
417. 1211858 20:12 - 20:15
     Luego está el umbral: ¿Qué se considera
     como devastación de la humanidad?
418. 1216292 20:16 - 20:22
     Sobre el papel, no necesito
     una catástrofe existencial
419. 1221832 20:22 - 20:24
     para que la considere como tal.
420. 1223633 20:24 - 20:25
     Es cuestión de definición:
421. 1225125 20:25 - 20:28
     si digo mil millones de muertos,
     o la reducción del PIB al 50 %,
422. 1228432 20:28 - 20:31
     así que dependiendo
     de dónde pongas el umbral,
423. 1230638 20:31 - 20:33
     obtienes una estimación
     de probabilidad diferente.
424. 1233018 20:33 - 20:37
     Supongo que me podrías catalogar
     como un optimista asustado.
425. 1237009 20:37 - 20:38
     (Risas)

     ¶

426. 1238458 20:38 - 20:40
     CA: Eres un optimista asustado,

     ¶

427. 1240101 20:40 - 20:45
     y creo que acabas de crear
     una gran cantidad de personas asustadas...
428. 1245213 20:45 - 20:46
     (Risas)

     ¶

429. 1246402 20:46 - 20:48
     NB: En la simulación.

     ¶

430. 1247569 20:48 - 20:49
     CA: En una simulación.

     ¶

431. 1248811 20:49 - 20:51
     Nick Bostrom, tu mente me fascina,
432. 1250859 20:51 - 20:53
     muchas gracias por asustarnos
     hasta la médula.
433. 1253256 20:53 - 20:56
     (Aplausos)

     ¶