1
00:00:01,000 --> 00:00:02,479
Chris Anderson: Nick Bostrom.

2
00:00:02,809 --> 00:00:06,809
Nos has dado muchas ideas locas.

3
00:00:06,809 --> 00:00:08,679
Creo que hace un par de décadas,

4
00:00:08,679 --> 00:00:11,322
defendías que estaríamos 
viviendo una simulación,

5
00:00:11,322 --> 00:00:13,155
o que, probablemente, vivíamos en una.

6
00:00:13,375 --> 00:00:14,750
Recientemente,

7
00:00:14,750 --> 00:00:19,351
has dado ejemplos muy claros de 
cómo la inteligencia artificial general

8
00:00:19,351 --> 00:00:21,538
podría generar resultados terribles.

9
00:00:21,538 --> 00:00:24,387
Y este año estás a punto de publicar

10
00:00:25,347 --> 00:00:29,267
un ensayo sobre algo denominado
la hipótesis del mundo vulnerable.

11
00:00:29,267 --> 00:00:34,065
Nuestro trabajo esta tarde consiste
en ofrecer una guía ilustrada sobre eso.

12
00:00:34,821 --> 00:00:36,174
Así que empecemos.

13
00:00:36,833 --> 00:00:38,625
¿En qué consiste esa hipótesis?

14
00:00:40,400 --> 00:00:42,238
Nick Bostrom: Se trata de pensar

15
00:00:42,238 --> 00:00:45,782
en una especie de característica
estructural de la actual condición humana.

16
00:00:47,125 --> 00:00:49,500
Como te gusta la metáfora de la urna,

17
00:00:49,500 --> 00:00:51,213
voy a utilizarla para explicarlo.

18
00:00:51,653 --> 00:00:54,898
Imagínate una gran urna llena de bolas

19
00:00:55,792 --> 00:00:59,750
que representan ideas,
métodos, posibles tecnologías.

20
00:01:00,983 --> 00:01:04,559
Puedes pensar en la historia
de la creatividad humana

21
00:01:04,559 --> 00:01:08,087
como el proceso de extraer 
de esta urna una bola tras otra,

22
00:01:08,497 --> 00:01:11,667
y el efecto neto hasta la fecha
ha sido muy beneficioso, ¿verdad?

23
00:01:11,667 --> 00:01:14,597
Hemos extraído 
una gran cantidad de bolas blancas,

24
00:01:14,597 --> 00:01:17,292
de varias tonalidades de gris,
con pros y contras.

25
00:01:18,042 --> 00:01:21,000
Hasta ahora no hemos sacado la bola negra:

26
00:01:22,292 --> 00:01:27,768
una tecnología que invariablemente
destruye la civilización que la descubre.

27
00:01:27,768 --> 00:01:30,979
Mi ensayo trata de pensar
qué podría ser esa bola negra.

28
00:01:30,979 --> 00:01:33,117
CA: Así que defines la bola negra

29
00:01:33,117 --> 00:01:37,081
como una que llevará inevitablemente 
a la destrucción de la civilización.

30
00:01:37,081 --> 00:01:41,534
NB: Salvo que salgamos de lo que denomino 
condición semianárquica por defecto.

31
00:01:41,934 --> 00:01:43,458
Bueno, más o menos por defecto.

32
00:01:44,333 --> 00:01:47,851
CA: Haces que este caso adquiera
carácter de urgencia

33
00:01:47,851 --> 00:01:49,917
al mostrar contraejemplos

34
00:01:49,917 --> 00:01:52,851
que crees que demuestran
que hasta ahora hemos tenido suerte,

35
00:01:52,851 --> 00:01:55,556
que puede que hayamos sacado 
la bola de la muerte,

36
00:01:55,556 --> 00:01:57,183
sin habernos siquiera dado cuenta.

37
00:01:57,183 --> 00:01:59,625
Hay una cita al respecto, ¿cuál es?

38
00:02:00,465 --> 00:02:04,979
NB: Bueno, imagino que solo trato
de ilustrar la dificultad de prever

39
00:02:05,438 --> 00:02:08,143
hacia dónde llevarán
los descubrimientos básicos,

40
00:02:08,143 --> 00:02:10,205
simplemente no tenemos esa capacidad.

41
00:02:11,250 --> 00:02:14,851
Porque nos hemos hecho bastante
hábiles extrayendo bolas,

42
00:02:14,851 --> 00:02:18,351
pero realmente no tenemos la capacidad
de devolver la bola a la urna.

43
00:02:18,351 --> 00:02:20,682
Podemos inventar, pero no desinventar.

44
00:02:21,583 --> 00:02:23,951
Así que nuestra estrategia, en realidad,

45
00:02:23,951 --> 00:02:26,453
es confiar en que no haya
una bola negra en la urna.

46
00:02:26,453 --> 00:02:30,893
CA: Así que una vez que está fuera,
no se puede devolver a la urna,

47
00:02:30,893 --> 00:02:32,458
y crees que hemos tenido suerte.

48
00:02:32,458 --> 00:02:34,708
Cuéntanos un par de ejemplos.

49
00:02:34,708 --> 00:02:37,362
Hablas de diferentes tipos
de vulnerabilidad.

50
00:02:37,833 --> 00:02:40,052
NB: El tipo más fácil de comprender

51
00:02:40,268 --> 00:02:45,548
es una tecnología que hace muy fácil
producir una enorme destrucción.

52
00:02:47,375 --> 00:02:50,033
La biología sintética podría ser
una fuente abundante

53
00:02:50,033 --> 00:02:51,565
de ese tipo de bola negra,

54
00:02:51,565 --> 00:02:54,413
pero hay muchas otras cosas
en las que podríamos pensar,

55
00:02:54,413 --> 00:02:56,949
como la geoingeniería,
realmente genial, ¿verdad?

56
00:02:56,949 --> 00:02:58,951
Podríamos combatir
el calentamiento global,

57
00:02:58,951 --> 00:03:01,257
pero tampoco queremos
que sea demasiado sencillo,

58
00:03:01,257 --> 00:03:04,177
que cualquier persona
y su abuela tengan la capacidad

59
00:03:04,177 --> 00:03:06,336
de alterar radicalmente
el clima de la Tierra.

60
00:03:06,650 --> 00:03:10,593
O tal vez producir en masa 
drones autónomos letales,

61
00:03:10,593 --> 00:03:13,609
enjambres de robots asesinos
del tamaño de un mosquito.

62
00:03:14,440 --> 00:03:16,759
Nanotecnología,
inteligencia artificial general.

63
00:03:16,759 --> 00:03:19,996
CA: Tú argumentas en el ensayo
que fue una cuestión de suerte

64
00:03:19,996 --> 00:03:23,430
que el descubrimiento 
de la energía nuclear

65
00:03:23,430 --> 00:03:24,823
pudiera crear una bomba;

66
00:03:25,215 --> 00:03:28,250
podría haber sido el caso
de que fuera posible crear una bomba

67
00:03:28,250 --> 00:03:31,093
con recursos mucho menores,
accesibles a cualquiera.

68
00:03:31,833 --> 00:03:35,393
NB: Sí, creo que allá por los años 30,

69
00:03:35,393 --> 00:03:39,208
cuando por primera vez hicimos
grandes avances en física nuclear,

70
00:03:39,732 --> 00:03:41,400
algunas figuras insignes expusieron

71
00:03:41,400 --> 00:03:44,130
que era posible crear
reacciones nucleares en cadena

72
00:03:44,130 --> 00:03:47,588
para luego caer en la cuenta de que eso
podría llevar a crear una bomba.

73
00:03:47,956 --> 00:03:51,909
Investigamos y descubrimos
que para hacer una bomba nuclear

74
00:03:51,909 --> 00:03:54,155
se necesita uranio enriquecido o plutonio,

75
00:03:54,155 --> 00:03:56,362
que son materiales
muy difíciles de conseguir.

76
00:03:56,362 --> 00:03:58,553
Se precisan ultracentrifugadoras,

77
00:03:59,293 --> 00:04:01,935
reactores para gigantescas
cantidades de energía.

78
00:04:01,935 --> 00:04:04,017
Pero imagínate que en lugar de eso,

79
00:04:04,017 --> 00:04:07,180
hubiera habido una manera fácil
de liberar la energía del átomo.

80
00:04:07,750 --> 00:04:11,200
Que tal vez calentando arena
en el microondas o algo así

81
00:04:11,200 --> 00:04:13,561
se hubiese podido crear
una detonación nuclear.

82
00:04:13,561 --> 00:04:15,498
Sabemos que es físicamente imposible.

83
00:04:15,498 --> 00:04:18,129
Pero antes de desarrollar
esa física relevante,

84
00:04:18,129 --> 00:04:20,233
¿cómo se podría haber sabido
cómo acabaría?

85
00:04:20,353 --> 00:04:22,551
CA: A pesar de eso, ¿no se podría alegar

86
00:04:22,551 --> 00:04:24,743
que para que la vida
evolucionara en la Tierra

87
00:04:24,743 --> 00:04:26,932
se necesitaría cierto entorno estable,

88
00:04:27,462 --> 00:04:30,603
y que si fuera tan fácil crear
reacciones nucleares masivas

89
00:04:30,603 --> 00:04:32,468
la Tierra nunca habría sido estable,

90
00:04:32,468 --> 00:04:34,704
y por tanto no podríamos estar aquí.

91
00:04:34,704 --> 00:04:38,291
NB: Sí, salvo que hubiera algo fácil 
de hacer a propósito,

92
00:04:38,291 --> 00:04:40,871
pero que no ocurriría solo por azar.

93
00:04:40,871 --> 00:04:43,112
Es decir, cosas que podemos
hacer con facilidad,

94
00:04:43,112 --> 00:04:45,116
podemos apilar 10 bloques uno sobre otro,

95
00:04:45,116 --> 00:04:48,163
pero en la naturaleza, no se
da una pila de 10 bloques.

96
00:04:48,163 --> 00:04:51,563
CA: De acuerdo, quizá esto es
lo que más nos preocupa a la mayoría,

97
00:04:51,950 --> 00:04:55,187
y sí, la biología sintética es 
tal vez la vía más rápida

98
00:04:55,187 --> 00:04:58,608
que podemos prever en nuestro futuro
cercano para llegar hasta aquí.

99
00:04:58,608 --> 00:05:01,437
NB: Sí, imagínate lo que eso
habría supuesto,

100
00:05:01,437 --> 00:05:04,968
si, digamos, cualquiera trabajando
en su cocina por la tarde

101
00:05:04,968 --> 00:05:06,321
pudiera destruir una ciudad.

102
00:05:06,889 --> 00:05:09,382
Cuesta entender
que la civilización moderna,

103
00:05:09,382 --> 00:05:11,893
tal como la conocemos,
haya podido sobrevivir a eso,

104
00:05:11,893 --> 00:05:14,531
porque en cualquier población
de un millón de personas

105
00:05:14,531 --> 00:05:16,809
siempre habrá alguien que,
por algún motivo,

106
00:05:16,809 --> 00:05:18,917
quiera utilizar ese poder de destrucción.

107
00:05:19,750 --> 00:05:23,133
Así que si ese residuo apocalíptico

108
00:05:23,133 --> 00:05:25,127
eligiera destruir una ciudad, o peor aún,

109
00:05:25,127 --> 00:05:26,870
las ciudades podrían ser destruidas.

110
00:05:26,870 --> 00:05:28,701
CA: Hay otra clase de vulnerabilidad,

111
00:05:28,701 --> 00:05:29,898
hábleme de ella.

112
00:05:30,542 --> 00:05:34,502
NB: Sí, además de estos tipos
evidentes de bolas negras

113
00:05:34,502 --> 00:05:37,182
que podrían hacer que muchas cosas
volaran por los aires,

114
00:05:37,182 --> 00:05:41,833
hay otros tipos que pueden
crear malos incentivos

115
00:05:41,833 --> 00:05:43,869
para que los humanos
hagamos cosas dañinas.

116
00:05:44,083 --> 00:05:47,706
El Tipo 2a, podríamos llamarlo,

117
00:05:48,208 --> 00:05:52,726
serían tecnologías que posibilitan
a los grandes poderes

118
00:05:52,726 --> 00:05:56,747
usar su enorme fuerza
para crear destrucción.

119
00:05:57,250 --> 00:06:00,353
Las armas nucleares
están muy cerca de esto, ¿verdad?

120
00:06:02,083 --> 00:06:05,143
Hemos gastado más de USD 10 billones

121
00:06:05,143 --> 00:06:07,684
para construir 70 000 cabezas nucleares

122
00:06:07,684 --> 00:06:10,167
que están en estado de alerta instantánea.

123
00:06:10,167 --> 00:06:12,434
Hubo varios momentos
durante la Guerra Fría

124
00:06:12,434 --> 00:06:14,446
en los que casi nos volamos por los aires.

125
00:06:14,446 --> 00:06:16,641
No es que muchos pensaran
que era una gran idea

126
00:06:16,641 --> 00:06:19,407
gastarnos USD 10 billones 
para volarnos por los aires,

127
00:06:19,407 --> 00:06:22,007
pero los incentivos eran tales
que nos encontrábamos...

128
00:06:22,007 --> 00:06:23,408
podría haber sido mucho peor.

129
00:06:23,408 --> 00:06:25,792
Imagina que hubiera habido
un primer ataque seguro.

130
00:06:26,500 --> 00:06:29,855
Habría sido muy difícil,
en una situación de crisis,

131
00:06:29,855 --> 00:06:32,952
reprimir el lanzamiento
de todos los misiles nucleares,

132
00:06:32,952 --> 00:06:35,968
aunque solo fuera por el temor
a que lo hiciera el otro.

133
00:06:35,968 --> 00:06:38,135
CA: De acuerdo, la destrucción
mutua asegurada

134
00:06:38,135 --> 00:06:40,400
mantuvo la Guerra Fría
relativamente estable,

135
00:06:40,400 --> 00:06:42,463
porque sin eso,
podríamos no estar hoy aquí.

136
00:06:42,463 --> 00:06:44,233
NB: Pudo haber sido más inestable,

137
00:06:44,233 --> 00:06:46,588
y pudo haber otras propiedades
de la tecnología,

138
00:06:46,588 --> 00:06:49,625
pudo haber sido más difícil
lograr tratados armamentísticos,

139
00:06:49,625 --> 00:06:51,250
si en vez de cabezas nucleares,

140
00:06:51,250 --> 00:06:53,768
hubiera habido cosas más pequeñas
o menos distintivas.

141
00:06:53,768 --> 00:06:56,811
CA: Al igual que los malos incentivos
para los actores del poder,

142
00:06:56,811 --> 00:07:00,527
también te preocupan los malos incentivos
para todos nosotros, en este Tipo 2a.

143
00:07:00,527 --> 00:07:04,545
NB: Sí, podemos poner el caso
del calentamiento global.

144
00:07:06,958 --> 00:07:09,025
Hay muchos pequeños inconvenientes

145
00:07:09,025 --> 00:07:11,693
que nos llevan a hacer cosas

146
00:07:11,693 --> 00:07:13,958
que individualmente
no tienen efecto, ¿verdad?

147
00:07:13,958 --> 00:07:16,148
Pero si miles de millones
de personas lo hacen,

148
00:07:16,148 --> 00:07:18,292
acumulativamente,
tiene un efecto perjudicial.

149
00:07:18,292 --> 00:07:21,085
El calentamiento global
podría haber sido mucho peor.

150
00:07:21,085 --> 00:07:24,185
Tenemos el parámetro
de la sensibilidad climática.

151
00:07:24,185 --> 00:07:27,148
Se trata de un parámetro
que indica cuánto se calentaría

152
00:07:27,148 --> 00:07:29,956
si emitieras cierta cantidad
de gases de efecto invernadero.

153
00:07:30,250 --> 00:07:32,643
Pero, suponiendo que fuera el caso

154
00:07:32,643 --> 00:07:36,006
de que con la cantidad de gases
de efecto invernadero que hemos emitido

155
00:07:36,006 --> 00:07:40,757
en lugar de que la temperatura subiera,
entre 3 y 4.5 º C hasta 2100,

156
00:07:41,042 --> 00:07:43,542
imagina que hubieran sido 15 o 20 ºC,

157
00:07:44,375 --> 00:07:46,574
entonces estaríamos
en una situación muy mala.

158
00:07:46,574 --> 00:07:49,283
O que la energía renovable
fuera más difícil de producir.

159
00:07:49,283 --> 00:07:51,818
o que hubiera más combustibles
fósiles en el subsuelo.

160
00:07:51,818 --> 00:07:54,083
CA: No se podría argumentar que,

161
00:07:54,083 --> 00:07:57,184
si lo que hacemos hoy

162
00:07:57,184 --> 00:08:01,792
hubiera producido 10 º C de diferencia
en un periodo que pudiéramos ver,

163
00:08:01,792 --> 00:08:05,476
la humanidad ya se habría puesto las pilas
para hacer algo al respecto.

164
00:08:05,476 --> 00:08:07,889
Somos estúpidos, pero quizá no tanto.

165
00:08:07,889 --> 00:08:09,151
O tal vez sí.

166
00:08:09,151 --> 00:08:10,533
NB: No apostaría por ello.

167
00:08:10,533 --> 00:08:12,281
(Risas)

168
00:08:13,125 --> 00:08:15,539
Puedes imaginarte otras características.

169
00:08:16,339 --> 00:08:20,241
En estos momentos es algo difícil cambiar
a las renovables y todo eso, de acuerdo,

170
00:08:20,241 --> 00:08:21,683
pero se puede hacer.

171
00:08:21,683 --> 00:08:24,643
Pero podría haber sucedido que,
con una física algo diferente,

172
00:08:24,643 --> 00:08:27,131
hubiera sido mucho más difícil
hacer estas cosas.

173
00:08:28,296 --> 00:08:32,348
CA: ¿Qué opinas, Nick, crees que,
teniendo en cuenta todo esto,

174
00:08:34,039 --> 00:08:37,950
este planeta, nosotros como humanidad,
conformamos un mundo vulnerable,

175
00:08:37,950 --> 00:08:40,419
que hay una bola de muerte
en nuestro futuro?

176
00:08:43,898 --> 00:08:45,240
NB: Es difícil de decir,

177
00:08:45,240 --> 00:08:51,433
creo que también hay algunas bolas doradas
en la urna, o eso parece.

178
00:08:51,667 --> 00:08:54,059
Puede que haya algunas bolas doradas

179
00:08:54,059 --> 00:08:57,236
que nos puedan proteger
de las bolas negras.

180
00:08:57,583 --> 00:09:00,218
Y no sé en qué orden van a salir.

181
00:09:00,583 --> 00:09:04,211
CA: Una posible crítica
filosófica a esta idea

182
00:09:04,434 --> 00:09:10,125
es que implica la visión de que el futuro
está básicamente determinado.

183
00:09:10,125 --> 00:09:12,881
De que o bien está esa bola ahí o no está.

184
00:09:12,881 --> 00:09:17,437
Y de alguna manera, no es una visión
del futuro en la que quiero creer.

185
00:09:17,437 --> 00:09:19,752
Quiero creer que el futuro
es indeterminado,

186
00:09:19,752 --> 00:09:24,643
que nuestras decisiones de hoy
determinarán qué tipos de bolas sacamos.

187
00:09:25,917 --> 00:09:29,844
NB: Si seguimos inventando,

188
00:09:29,844 --> 00:09:32,042
al final acabaremos
sacando todas las bolas.

189
00:09:32,625 --> 00:09:35,859
Creo que hay una forma débil
de determinismo tecnológico

190
00:09:35,859 --> 00:09:37,339
que es bastante plausible,

191
00:09:37,339 --> 00:09:40,320
como que es bastante improbable
que encontremos una sociedad

192
00:09:40,320 --> 00:09:43,083
que use hachas de pedernal
y aviones tipo jet.

193
00:09:44,208 --> 00:09:48,268
Pero casi puedes pensar en una tecnología
como un conjunto de posibilidades.

194
00:09:48,268 --> 00:09:50,745
La tecnología nos permite
hacer varias cosas

195
00:09:50,745 --> 00:09:52,725
y conseguir diversos efectos en el mundo.

196
00:09:52,725 --> 00:09:55,407
Cómo la usemos depende
de nuestra elección como humanos.

197
00:09:55,787 --> 00:09:58,615
Pero si pensamos 
en estos tres tipos de vulnerabilidades,

198
00:09:58,615 --> 00:10:02,282
hacen unas asunciones bastante débiles
sobre cómo podríamos elegir utilizarla.

199
00:10:02,282 --> 00:10:05,644
En el Tipo 1 de vulnerabilidad,
con su poder destructor masivo,

200
00:10:05,644 --> 00:10:07,677
es una asunción bastante débil suponer

201
00:10:07,677 --> 00:10:09,723
que en una población
de millones de personas

202
00:10:09,723 --> 00:10:12,158
haya alguno que elija
usarlo de manera destructiva.

203
00:10:12,542 --> 00:10:15,000
CA: Para mí, el argumento más inquietante

204
00:10:15,000 --> 00:10:19,583
es que puede que tengamos
cierta visión de la urna,

205
00:10:19,583 --> 00:10:22,651
que hace pensar que muy posiblemente
estemos condenados.

206
00:10:23,125 --> 00:10:27,768
Por ejemplo, si crees
en el poder de la aceleración,

207
00:10:27,768 --> 00:10:29,942
esa tecnología inherentemente se acelera,

208
00:10:29,942 --> 00:10:32,292
y si creamos la herramientas
que nos den más poder

209
00:10:32,292 --> 00:10:35,309
llegaremos a un punto

210
00:10:35,309 --> 00:10:38,123
en el que un solo individuo
pueda acabar con todo,

211
00:10:38,292 --> 00:10:41,143
y eso nos lleva a pensar
que estamos apañados.

212
00:10:41,143 --> 00:10:43,391
¿No es un argumento bastante alarmante?

213
00:10:44,125 --> 00:10:45,875
NB: Ah, sí...

214
00:10:46,708 --> 00:10:47,886
(Risas)

215
00:10:48,140 --> 00:10:49,333
Creo que...

216
00:10:50,875 --> 00:10:52,476
Sí, tenemos más y más poder,

217
00:10:53,940 --> 00:10:55,924
y es cada vez más sencillo utilizarlo,

218
00:10:56,458 --> 00:10:58,438
pero también podemos inventar tecnologías

219
00:10:58,438 --> 00:11:02,083
que nos ayuden a controlar 
cómo las personas utilizan ese poder.

220
00:11:02,083 --> 00:11:04,508
CA: Hablemos de eso, de la respuesta.

221
00:11:04,508 --> 00:11:09,048
Imagina todas las posibilidades
que tenemos ahora,

222
00:11:09,417 --> 00:11:11,513
no es solo la biología sintética,

223
00:11:11,513 --> 00:11:15,558
sino cosas como la ciberguerra,
la inteligencia artificial, etc.,

224
00:11:16,542 --> 00:11:20,959
que indican que nuestro futuro
puede estar seriamente condenado.

225
00:11:20,959 --> 00:11:22,848
¿Cuáles son las posibles respuestas?

226
00:11:23,228 --> 00:11:26,921
Has hablado de cuatro posibles respuestas.

227
00:11:27,625 --> 00:11:31,268
NB: Restringir el desarrollo tecnológico
no parece prometedor,

228
00:11:31,268 --> 00:11:34,638
si hablamos de un parón general
del progreso tecnológico,

229
00:11:34,638 --> 00:11:38,103
no creo que sea ni factible
ni deseable, aunque lo pudiéramos hacer.

230
00:11:38,167 --> 00:11:41,044
Creo que hay áreas muy limitadas

231
00:11:41,044 --> 00:11:43,921
en las que tal vez desees
un progreso tecnológico más lento.

232
00:11:43,921 --> 00:11:47,531
No creo que quieras un progreso
mayor en bioarmamento,

233
00:11:47,801 --> 00:11:49,434
o en separación isotópica,

234
00:11:49,434 --> 00:11:51,888
que facilitaría la creación
de armas nucleares.

235
00:11:52,583 --> 00:11:55,893
CA: Antes solía estar
totalmente de acuerdo en eso.

236
00:11:55,893 --> 00:11:59,184
Pero me gustaría retroceder
un paso un momento.

237
00:11:59,184 --> 00:12:02,898
Antes de nada, si ves la historia 
de hace un par de décadas,

238
00:12:03,360 --> 00:12:06,809
ha sido una continua
aceleración a toda velocidad,

239
00:12:06,809 --> 00:12:08,708
está bien, pero es nuestra elección,

240
00:12:08,708 --> 00:12:12,976
pero si te fijas en la globalización
y su rápida aceleración,

241
00:12:12,976 --> 00:12:16,434
si te fijas en la estrategia
de "muévete rápido y rompe cosas"

242
00:12:16,434 --> 00:12:18,228
y lo que ha producido,

243
00:12:18,542 --> 00:12:21,309
y luego te fijas en el potencia
de la biología sintética,

244
00:12:21,309 --> 00:12:27,205
no creo que debamos avanzar rápidamente
sin ningún tipo de restricción

245
00:12:27,205 --> 00:12:30,498
hacia un mundo en el que pueda haber
una impresora de ADN en cada casa

246
00:12:30,498 --> 00:12:32,365
en cada laboratorio de secundaria.

247
00:12:33,087 --> 00:12:34,761
Hay algunas restricciones, ¿verdad?

248
00:12:34,761 --> 00:12:37,842
NB: Posiblemente en la primera parte,
en la no factibilidad,

249
00:12:37,842 --> 00:12:41,410
si crees que sería deseable pararla,
aparece el problema de la factibilidad.

250
00:12:41,410 --> 00:12:44,059
No ayudaría que un país...

251
00:12:44,059 --> 00:12:46,115
CA: No, no ayudaría
que un país lo hiciera,

252
00:12:46,115 --> 00:12:48,793
pero hemos tenido
tratados con anterioridad.

253
00:12:49,333 --> 00:12:52,424
Así es como hemos sobrevivido
a la amenaza nuclear,

254
00:12:52,618 --> 00:12:56,326
gracias a que hemos salido y hemos pasado
por el penoso proceso de negociación.

255
00:12:56,542 --> 00:13:01,736
Me pregunto si la lógica no es acaso
que nosotros, como prioridad global,

256
00:13:02,000 --> 00:13:06,114
no deberíamos salir e intentar
negociar normas muy duras

257
00:13:06,114 --> 00:13:09,101
sobre dónde se hace la investigación
en biología sintética,

258
00:13:09,101 --> 00:13:11,856
porque no es algo
que quieras democratizar, ¿no?

259
00:13:11,856 --> 00:13:13,803
NB: Estoy totalmente de acuerdo con eso,

260
00:13:13,803 --> 00:13:18,059
sería deseable, por ejemplo,

261
00:13:18,059 --> 00:13:21,294
tener máquinas para sintetizar ADN,

262
00:13:21,628 --> 00:13:25,292
no de manera en la que cada laboratorio
sea el dueño de su propio dispositivo,

263
00:13:25,292 --> 00:13:26,588
sino como un servicio.

264
00:13:26,792 --> 00:13:29,100
Podría haber 
cuatro o cinco lugares en el mundo

265
00:13:29,100 --> 00:13:32,851
a los que enviar el modelo digital
y recibir el ADN de vuelta, ¿verdad?

266
00:13:32,851 --> 00:13:36,653
Entonces, tendrías la habilidad,
si un día fuera necesario,

267
00:13:36,653 --> 00:13:38,984
tendríamos un número finito
de cuellos de botella.

268
00:13:39,458 --> 00:13:42,976
Creo que tienes que fijarte
en ciertos tipos de oportunidades

269
00:13:42,976 --> 00:13:45,059
sobre las que quieres tener control.

270
00:13:45,059 --> 00:13:46,726
CA: Crees, fundamentalmente,

271
00:13:46,726 --> 00:13:49,643
que no vamos a conseguir retenerlo.

272
00:13:49,643 --> 00:13:52,497
Que alguien, en algún lugar
como Corea del Norte,

273
00:13:52,497 --> 00:13:57,114
va a descubrir este conocimiento,
si es que es posible descubrirlo.

274
00:13:57,114 --> 00:13:59,311
NB: Parece posible
en las condiciones actuales.

275
00:13:59,311 --> 00:14:00,895
No es solo la biología sintética,

276
00:14:00,895 --> 00:14:03,937
sino que cualquier cambio
nuevo y profundo en el mundo

277
00:14:03,937 --> 00:14:05,727
puede convertirse en una bola negra.

278
00:14:05,727 --> 00:14:07,583
CA: Vamos a ver otra posible respuesta.

279
00:14:07,583 --> 00:14:10,116
NB: Creo que esto también
tiene un potencial limitado.

280
00:14:11,251 --> 00:14:13,399
Con el Tipo 1 de vulnerabilidad,

281
00:14:13,753 --> 00:14:18,992
si puedes reducir el número
de personas motivadas a destruir el mundo,

282
00:14:18,992 --> 00:14:21,009
si solo ellos tuvieran
acceso a los medios,

283
00:14:21,009 --> 00:14:22,211
eso estaría bien.

284
00:14:22,211 --> 00:14:24,105
CA: En esta imagen que nos muestras,

285
00:14:24,105 --> 00:14:27,774
imaginas esos drones de reconocimiento
facial volando alrededor del mundo.

286
00:14:27,774 --> 00:14:30,927
Cuando detectan a alguien
con signos de comportamiento sociopático,

287
00:14:31,267 --> 00:14:33,451
lo cubren de amor y lo curan.

288
00:14:33,875 --> 00:14:35,768
NB: Creo que es una imagen híbrida.

289
00:14:35,768 --> 00:14:39,777
Eliminar puede significar
encarcelar o matar,

290
00:14:40,057 --> 00:14:42,675
o persuadir de una visión
más optimista del mundo.

291
00:14:42,875 --> 00:14:45,151
Pero el asunto es,

292
00:14:45,151 --> 00:14:46,852
imagina que tuvieras éxito

293
00:14:46,852 --> 00:14:49,793
y redujeras el número
de esos individuos a la mitad.

294
00:14:49,793 --> 00:14:51,912
Si lo quieres hacer
mediante la persuasión,

295
00:14:51,912 --> 00:14:54,154
estás compitiendo
contra otras fuerzas poderosas

296
00:14:54,154 --> 00:14:55,847
que tratan de persuadir a la gente:

297
00:14:55,847 --> 00:14:58,288
partidos políticos, religión
o el sistema educativo.

298
00:14:58,288 --> 00:15:00,153
Pero imagina que lo reduces a la mitad;

299
00:15:00,153 --> 00:15:02,281
no creo que el riesgo
se redujera a la mitad,

300
00:15:02,281 --> 00:15:03,726
sino a un 5 o 10 %.

301
00:15:03,726 --> 00:15:06,645
CA: No recomiendas que nos juguemos
el futuro de la humanidad

302
00:15:06,645 --> 00:15:07,845
a la respuesta 2.

303
00:15:08,085 --> 00:15:11,143
NB: Creo que está muy bien
tratar de disuadir a las personas,

304
00:15:11,143 --> 00:15:13,893
pero no deberíamos considerarlo
nuestro único salvavidas.

305
00:15:13,893 --> 00:15:15,274
CA: ¿Y la tercera?

306
00:15:15,458 --> 00:15:18,351
NB: Creo que hay tres métodos generales

307
00:15:18,351 --> 00:15:22,351
con los que que podemos tener
la habilidad de estabilizar el mundo

308
00:15:22,351 --> 00:15:25,351
contra todo el espectro
de posibles vulnerabilidades.

309
00:15:25,351 --> 00:15:27,105
Y probablemente necesitamos las dos.

310
00:15:27,410 --> 00:15:33,008
Una es una habilidad extremadamente
efectiva de crear políticas preventivas,

311
00:15:33,292 --> 00:15:34,816
pensadas para interceptar.

312
00:15:34,816 --> 00:15:37,441
Si todos empezaran
a hacer esto tan peligroso,

313
00:15:37,625 --> 00:15:40,329
podrías interceptarlos
en tiempo real y detenerlos.

314
00:15:40,689 --> 00:15:42,785
Esto requeriría vigilancia ubicua,

315
00:15:42,785 --> 00:15:45,120
todo el mundo estaría
monitorizado todo el tiempo.

316
00:15:46,137 --> 00:15:48,917
CA: Esto es "Minority Report", en esencia.

317
00:15:48,917 --> 00:15:50,851
NB: Tal vez tendrías algoritmos de IA,

318
00:15:50,851 --> 00:15:55,292
grandes centros de libertad
que estarían revisándolos, etc.

319
00:15:56,583 --> 00:15:58,420
CA: ¿Sabes que la vigilancia masiva

320
00:15:58,420 --> 00:16:01,000
no es un término
muy popular en este momento?

321
00:16:01,000 --> 00:16:02,550
(Risas)

322
00:16:03,378 --> 00:16:05,392
NB: Sí, ese pequeño dispositivo,

323
00:16:05,392 --> 00:16:08,893
imagina un tipo de collar
que tuvieras que llevar todo el tiempo

324
00:16:08,893 --> 00:16:10,917
con cámaras multidireccionales.

325
00:16:11,652 --> 00:16:13,407
Pero para hacerlo más llevadero,

326
00:16:13,407 --> 00:16:15,903
imagínate llamarlo
"etiqueta de libertad" o algo así.

327
00:16:15,903 --> 00:16:18,184
(Risas)

328
00:16:18,184 --> 00:16:19,500
CA: De acuerdo.

329
00:16:19,500 --> 00:16:21,625
Esta es la conversación, amigos,

330
00:16:21,625 --> 00:16:24,744
esta es la razón por la que es
una conversación alucinante.

331
00:16:24,744 --> 00:16:28,029
NB: De hecho, ya hay una gran conversación
sobre de esto, obviamente.

332
00:16:28,897 --> 00:16:31,533
Entraña grandes problemas
y riesgos, ¿verdad?

333
00:16:31,533 --> 00:16:32,934
Tal vez volvamos a eso.

334
00:16:32,934 --> 00:16:36,906
Así que última, la otra capacidad
de estabilización general

335
00:16:36,906 --> 00:16:38,887
es llenar otro vacío de gobernanza.

336
00:16:38,887 --> 00:16:43,101
De modo que la vigilancia sería
un vacío de gobernanza a nivel micro,

337
00:16:43,101 --> 00:16:46,036
como impedir que cualquiera
haga algo altamente ilegal.

338
00:16:46,250 --> 00:16:49,983
Pero hay un vacío de gobernanza
a nivel macro, global.

339
00:16:49,983 --> 00:16:54,370
Necesitarías la habilidad,
de manera fiable,

340
00:16:54,370 --> 00:16:57,309
de prevenir los mayores fallos
de coordinación global,

341
00:16:57,309 --> 00:17:00,661
para evitar guerras entre grandes poderes,

342
00:17:00,661 --> 00:17:02,208
guerras armamentísticas,

343
00:17:03,380 --> 00:17:05,708
problemas cataclísmicos
de los bienes comunes,

344
00:17:07,667 --> 00:17:11,466
para poder lidiar
con las vulnerabilidades del Tipo 2a.

345
00:17:11,875 --> 00:17:15,899
CA: La gobernanza global es un término
totalmente en desuso ahora,

346
00:17:16,107 --> 00:17:17,645
pero se podría argumentar

347
00:17:17,645 --> 00:17:19,853
que a lo largo de la historia
de la humanidad,

348
00:17:19,853 --> 00:17:24,711
en cada fase del aumento
del poder tecnológico,

349
00:17:25,365 --> 00:17:28,625
la gente se ha reorganizado
para centralizar el poder, por así decir,

350
00:17:28,625 --> 00:17:32,059
Por ejemplo, cuando una banda
errante de criminales

351
00:17:32,059 --> 00:17:33,768
podía conquistar una sociedad,

352
00:17:33,768 --> 00:17:35,771
se respondía con el Estado nación,

353
00:17:35,771 --> 00:17:38,126
y se centralizaba la fuerza,
policial o militar,

354
00:17:38,126 --> 00:17:40,143
así que "no, no puedes hacer eso".

355
00:17:40,143 --> 00:17:45,846
La lógica de que una sola persona o grupo
pueda conquistar la humanidad

356
00:17:45,846 --> 00:17:49,247
tal vez signifique que en algún momento
tendremos que tomar este camino,

357
00:17:49,247 --> 00:17:50,725
al menos en cierta manera, ¿no?

358
00:17:50,725 --> 00:17:54,309
NB: Es cierto que la escala
de la organización política ha aumentado

359
00:17:54,309 --> 00:17:56,416
a lo largo de la historia de la humanidad.

360
00:17:56,416 --> 00:17:58,612
Solíamos ser grupos 
de cazadores-recolectores,

361
00:17:58,612 --> 00:18:01,090
luego liderados por jefes,
Estados naciones, naciones,

362
00:18:01,090 --> 00:18:05,246
y ahora hay organizaciones
internacionales y todo eso.

363
00:18:05,500 --> 00:18:07,688
De nuevo, solo quiero asegurarme

364
00:18:07,688 --> 00:18:10,684
de que remarco que obviamente
hay enormes desventajas,

365
00:18:10,684 --> 00:18:12,420
y desde luego, riesgos descomunales,

366
00:18:12,420 --> 00:18:15,601
tanto en la vigilancia masiva
como en la gobernanza global.

367
00:18:15,601 --> 00:18:18,144
Solo estoy destacando que,
si tenemos suerte,

368
00:18:18,144 --> 00:18:19,693
el mundo puede llegar a un punto

369
00:18:19,693 --> 00:18:22,228
en el que solo así podamos
sobrevivir a la bola negra.

370
00:18:22,458 --> 00:18:24,215
CA: La lógica de esta teoría,

371
00:18:24,976 --> 00:18:26,268
me parece,

372
00:18:26,268 --> 00:18:29,893
es que tenemos que asumir
que no podemos tenerlo todo.

373
00:18:29,893 --> 00:18:36,300
Que el sueño inocente, por así decir,
que muchos de nosotros teníamos

374
00:18:36,300 --> 00:18:39,851
de que esa tecnología siempre
va a ser una fuerza positiva,

375
00:18:39,851 --> 00:18:42,851
sigue adelante, no pares,
ve tan rápido como puedas

376
00:18:42,851 --> 00:18:44,972
y no te fijes en las consecuencias,

377
00:18:45,250 --> 00:18:46,694
ya no es una opción.

378
00:18:46,958 --> 00:18:48,893
Podemos tenerlo.

379
00:18:48,893 --> 00:18:50,184
Si podemos tenerlo,

380
00:18:50,184 --> 00:18:54,250
tendremos que aceptar algunos aspectos
muy incómodos que conlleva,

381
00:18:54,250 --> 00:18:56,930
y entrar esta carrera armamentística
con nosotros mismos,

382
00:18:56,930 --> 00:18:59,285
de modo que si quieres poder
tienes que limitarlo,

383
00:18:59,285 --> 00:19:00,664
y más te vale averiguar cómo.

384
00:19:00,934 --> 00:19:04,434
NB: Creo que es una opción,

385
00:19:04,434 --> 00:19:07,026
una opción muy tentadora,
diría que la más sencilla,

386
00:19:07,026 --> 00:19:08,542
y podría funcionar,

387
00:19:08,542 --> 00:19:13,351
pero significa que somos fundamentalmente
vulnerables a extraer la bola negra.

388
00:19:13,351 --> 00:19:15,452
Pero pienso que con un poco
de coordinación,

389
00:19:15,452 --> 00:19:18,292
pongamos que has resuelto
el problema de la macrogobernanza

390
00:19:18,292 --> 00:19:19,917
y el de la microgobernanza,

391
00:19:19,917 --> 00:19:22,226
podríamos extraer
todas las bolas de la urna

392
00:19:22,226 --> 00:19:23,918
y beneficiarnos enormemente.

393
00:19:24,542 --> 00:19:27,836
CA: Y si estamos viviendo
en una simulación, ¿qué más da?

394
00:19:27,836 --> 00:19:29,333
Simplemente nos reiniciamos.

395
00:19:29,333 --> 00:19:30,601
(Risas)

396
00:19:30,601 --> 00:19:32,268
NB: Entonces...

397
00:19:32,268 --> 00:19:34,598
(Risas)

398
00:19:34,598 --> 00:19:36,208
Eso no me lo esperaba.

399
00:19:38,125 --> 00:19:39,577
CA: ¿Cuál es tu opinión?

400
00:19:39,577 --> 00:19:41,150
Si juntamos todas las piezas,

401
00:19:41,150 --> 00:19:43,760
qué posibilidades tenemos
de estar condenados?

402
00:19:44,250 --> 00:19:45,788
(Risas)

403
00:19:46,852 --> 00:19:49,488
Me encanta que la gente se ría
cuando hago esa pregunta.

404
00:19:49,488 --> 00:19:51,089
NB: A nivel individual,

405
00:19:51,349 --> 00:19:54,684
parece que ya estamos condenados,
solo con el cronograma,

406
00:19:54,684 --> 00:19:57,309
nos pudrimos y envejecemos
y todo eso, ¿verdad?

407
00:19:57,309 --> 00:19:58,554
(Risas)

408
00:19:58,554 --> 00:20:00,407
La verdad es que es un poco complicado.

409
00:20:00,407 --> 00:20:03,164
Si quieres hacerte una idea
para obtener una probabilidad,

410
00:20:03,164 --> 00:20:04,596
antes de nada, ¿quiénes somos?

411
00:20:04,596 --> 00:20:07,476
Si eres muy mayor, seguramente
morirás de causas naturales,

412
00:20:07,476 --> 00:20:09,571
si eres muy joven, tal vez vivas 100 años;

413
00:20:09,571 --> 00:20:11,858
la probabilidad dependerá
de a quién preguntes.

414
00:20:11,858 --> 00:20:15,300
Luego está el umbral: ¿Qué se considera
como devastación de la humanidad?

415
00:20:16,292 --> 00:20:21,562
Sobre el papel, no necesito
una catástrofe existencial

416
00:20:21,832 --> 00:20:23,633
para que la considere como tal.

417
00:20:23,633 --> 00:20:25,125
Es cuestión de definición:

418
00:20:25,125 --> 00:20:28,432
si digo mil millones de muertos,
o la reducción del PIB al 50 %,

419
00:20:28,432 --> 00:20:30,638
así que dependiendo
de dónde pongas el umbral,

420
00:20:30,638 --> 00:20:33,018
obtienes una estimación
de probabilidad diferente.

421
00:20:33,018 --> 00:20:37,009
Supongo que me podrías catalogar
como un optimista asustado.

422
00:20:37,009 --> 00:20:38,458
(Risas)

423
00:20:38,458 --> 00:20:40,101
CA: Eres un optimista asustado,

424
00:20:40,101 --> 00:20:45,213
y creo que acabas de crear
una gran cantidad de personas asustadas...

425
00:20:45,213 --> 00:20:46,402
(Risas)

426
00:20:46,402 --> 00:20:47,569
NB: En la simulación.

427
00:20:47,569 --> 00:20:48,811
CA: En una simulación.

428
00:20:48,811 --> 00:20:50,859
Nick Bostrom, tu mente me fascina,

429
00:20:50,859 --> 00:20:53,256
muchas gracias por asustarnos
hasta la médula.

430
00:20:53,256 --> 00:20:55,681
(Aplausos)