1
00:00:00,584 --> 00:00:04,793
Yo trabajo con un grupo de matemáticos,
filósofos y científicos informáticos,

2
00:00:04,794 --> 00:00:09,985
y nos juntamos para pensar en
el futuro de la inteligencia artificial,

3
00:00:09,986 --> 00:00:12,029
entre otras cosas.

4
00:00:12,030 --> 00:00:16,776
Algunos piensan que estas cosas
son una especie de ciencia ficción

5
00:00:16,777 --> 00:00:19,855
alocadas y alejadas de la verdad.

6
00:00:19,856 --> 00:00:21,325
Pero bueno, me gusta sugerir

7
00:00:21,326 --> 00:00:24,929
que analicemos la 
condición humana moderna.

8
00:00:24,930 --> 00:00:26,621
(Risas)

9
00:00:26,622 --> 00:00:29,023
Así es cómo tienen que ser las cosas.

10
00:00:29,024 --> 00:00:31,308
Pero si lo pensamos,

11
00:00:31,309 --> 00:00:34,601
en realidad acabamos de llegar
a este planeta,

12
00:00:34,602 --> 00:00:36,683
nosotros, la especie humana.

13
00:00:36,684 --> 00:00:41,429
Piensen que si la Tierra
hubiera sido creada hace un año,

14
00:00:41,430 --> 00:00:44,977
entonces la raza humana
solo tendría 10 minutos de edad

15
00:00:44,978 --> 00:00:48,146
y la era industrial habría empezado
hace dos segundos.

16
00:00:49,276 --> 00:00:54,250
Otra forma de abordar esto es pensar en
el PIB mundial en los últimos 10 000 años,

17
00:00:54,251 --> 00:00:57,929
y de hecho, me he tomado la molestia
de representarlo en un gráfico para Uds.

18
00:00:57,930 --> 00:00:59,303
Se ve así.

19
00:00:59,304 --> 00:01:00,426
(Risas)

20
00:01:00,427 --> 00:01:02,817
Tiene una forma curiosa para ser normal.

21
00:01:02,818 --> 00:01:04,935
Y seguro que no me gustaría
sentarme en ella.

22
00:01:04,936 --> 00:01:07,066
(Risas)

23
00:01:07,067 --> 00:01:11,840
Preguntémonos ¿cuál es la
causa de esta anomalía actual?

24
00:01:11,841 --> 00:01:14,392
Algunas personas dirán
que es la tecnología.

25
00:01:14,393 --> 00:01:19,060
Ahora bien es cierto que la tecnología
ha aumentado a lo largo de la historia,

26
00:01:19,061 --> 00:01:23,712
y en la actualidad avanza muy rápidamente

27
00:01:23,713 --> 00:01:25,277
--esa es la causa inmediata--

28
00:01:25,278 --> 00:01:27,843
y por esto la razón de ser
muy productivos hoy en día.

29
00:01:28,473 --> 00:01:32,134
Pero me gusta indagar más allá,
buscar la causa de todo.

30
00:01:33,114 --> 00:01:36,875
Miren a estos 2 caballeros
muy distinguidos:

31
00:01:36,876 --> 00:01:38,460
Tenemos a Kanzi,

32
00:01:38,480 --> 00:01:43,123
que domina 200 unidades léxicas,
una hazaña increíble,

33
00:01:43,125 --> 00:01:46,626
y a Ed Witten que desató la segunda
revolución de las supercuerdas.

34
00:01:46,626 --> 00:01:49,127
Si miramos atentamente
esto es lo que encontramos:

35
00:01:49,141 --> 00:01:50,710
básicamente la misma cosa.

36
00:01:50,711 --> 00:01:52,523
Uno es un poco más grande,

37
00:01:52,524 --> 00:01:56,291
y puede que también tenga algunos trucos
más por la forma en que está diseñado,

38
00:01:56,292 --> 00:02:00,033
sin embargo, estas diferencias invisibles
no pueden ser demasiado complicadas

39
00:02:00,034 --> 00:02:03,378
porque solo nos separan
250 000 generaciones

40
00:02:03,379 --> 00:02:05,110
de nuestro último ancestro común.

41
00:02:05,111 --> 00:02:08,960
Sabemos que los mecanismos complicados
tardan mucho tiempo en evolucionar

42
00:02:10,000 --> 00:02:12,498
así que una serie de pequeños cambios

43
00:02:12,499 --> 00:02:15,566
nos lleva de Kanzi a Witten,

44
00:02:15,584 --> 00:02:20,126
de las ramas de árboles rotas a
los misiles balísticos intercontinentales.

45
00:02:20,839 --> 00:02:24,553
Así que parece bastante claro
que todo lo que hemos logrado,

46
00:02:24,554 --> 00:02:26,151
y todo lo que nos importa,

47
00:02:26,152 --> 00:02:29,725
depende fundamentalmente de algunos 
cambios relativamente menores

48
00:02:29,726 --> 00:02:31,380
sufridos por la mente humana.

49
00:02:32,650 --> 00:02:36,311
Y el corolario es que, por supuesto,
cualquier cambio ulterior

50
00:02:36,312 --> 00:02:39,788
que cambiara significativamente
el fundamento del pensamiento

51
00:02:39,789 --> 00:02:42,991
podría potencialmente acarrear
enormes consecuencias.

52
00:02:44,321 --> 00:02:47,225
Algunos de mis colegas
piensan que estamos muy cerca

53
00:02:47,226 --> 00:02:51,134
de algo que podría causar un cambio 
significativo en ese fundamento

54
00:02:51,135 --> 00:02:54,334
y que eso es la máquina superinteligente.

55
00:02:54,347 --> 00:02:59,085
La inteligencia artificial solía ser
la integración de comandos en una caja,

56
00:02:59,086 --> 00:03:00,750
con programadores humanos

57
00:03:00,751 --> 00:03:03,885
que elaboraban conocimiento 
minuciosamente a mano.

58
00:03:03,886 --> 00:03:05,971
Se construían
estos sistemas especializados

59
00:03:05,972 --> 00:03:08,295
y eran bastante útiles
para ciertos propósitos,

60
00:03:08,296 --> 00:03:10,968
pero eran muy frágiles
y no se podían ampliar.

61
00:03:10,969 --> 00:03:14,376
Básicamente, se conseguía solamente
lo que se invertía en ellos.

62
00:03:14,410 --> 00:03:15,407
Pero desde entonces,

63
00:03:15,408 --> 00:03:19,082
hubo un cambio de paradigma en
el campo de la inteligencia artificial.

64
00:03:19,083 --> 00:03:23,001
Hoy, la acción gira en torno
al aprendizaje máquina.

65
00:03:23,002 --> 00:03:25,575
Así que en lugar de 
producir características

66
00:03:25,576 --> 00:03:28,820
y representar el conocimiento
de manera artesanal,

67
00:03:28,821 --> 00:03:34,064
creamos algoritmos que aprenden a menudo 
a partir de datos de percepción en bruto.

68
00:03:34,065 --> 00:03:39,062
Básicamente lo mismo
que hace el bebé humano.

69
00:03:39,063 --> 00:03:43,269
El resultado es inteligencia artificial
que no se limita a un solo campo;

70
00:03:43,270 --> 00:03:47,901
el mismo sistema puede aprender
a traducir entre cualquier par de idiomas

71
00:03:47,918 --> 00:03:53,335
o aprender a jugar a cualquier juego
de ordenador en la consola Atari.

72
00:03:53,338 --> 00:03:55,117
Ahora, por supuesto,

73
00:03:55,125 --> 00:03:59,121
la IA está todavía muy lejos de tener el
mismo poder y alcance interdisciplinario

74
00:03:59,122 --> 00:04:02,154
para aprender y planificar
como lo hacen los humanos.

75
00:04:02,155 --> 00:04:04,960
La corteza cerebral aún esconde
algunos trucos algorítmicos

76
00:04:04,961 --> 00:04:07,765
que todavía no sabemos
cómo simular en las máquinas.

77
00:04:07,766 --> 00:04:09,784
Así que la pregunta es,

78
00:04:09,785 --> 00:04:13,285
¿cuánto nos falta para poder
implementar esos trucos?

79
00:04:14,145 --> 00:04:15,138
Hace un par de años

80
00:04:15,139 --> 00:04:18,445
hicimos una encuesta entre los expertos
de IA más importantes del mundo

81
00:04:18,446 --> 00:04:21,559
para ver lo que piensan, y una
de las preguntas que hicimos fue,

82
00:04:21,560 --> 00:04:24,792
"¿En qué año crees que habrá
un 50 % de probabilidad en elevar

83
00:04:24,793 --> 00:04:28,275
la inteligencia artificial al mismo nivel
que la inteligencia humana?"

84
00:04:28,785 --> 00:04:32,627
Donde hemos definido ese nivel
como la capacidad de realizar

85
00:04:32,628 --> 00:04:36,168
casi todas las tareas, al menos así 
como las desarrolla un humano adulto,

86
00:04:36,169 --> 00:04:39,843
por lo cual, un nivel real no solo
dentro de un área limitada.

87
00:04:39,844 --> 00:04:43,493
Y la respuesta fue
alrededor de 2040 o 2050,

88
00:04:43,494 --> 00:04:46,299
dependiendo del grupo
de expertos consultados.

89
00:04:46,300 --> 00:04:50,338
Ahora, puede ocurrir
mucho más tarde o más temprano,

90
00:04:50,339 --> 00:04:52,559
la verdad es que nadie lo sabe realmente.

91
00:04:53,259 --> 00:04:57,671
Lo que sí sabemos es que el umbral
en el procesamiento de información

92
00:04:57,672 --> 00:05:00,042
en una infraestructura artificial

93
00:05:00,055 --> 00:05:03,301
se encuentra mucho más allá de 
los límites del tejido biológico.

94
00:05:03,302 --> 00:05:05,618
Esto pertenece al campo de la física.

95
00:05:05,619 --> 00:05:10,077
Una neurona biológica manda impulsos
quizá a 200 Hertz, 200 veces por segundo.

96
00:05:10,083 --> 00:05:13,917
mientras que incluso hoy, un transistor
opera a la frecuencia de los gigahercios.

97
00:05:13,931 --> 00:05:17,237
Las neuronas propagan el impulso
lentamente a lo largo de los axones,

98
00:05:17,238 --> 00:05:19,227
a máximo 100 metros por segundo.

99
00:05:19,228 --> 00:05:23,078
Pero en las computadoras, las señales
pueden viajar a la velocidad de la luz.

100
00:05:23,079 --> 00:05:24,947
También hay limitaciones de tamaño,

101
00:05:24,948 --> 00:05:27,974
como el cerebro humano que tiene
que encajar dentro del cráneo,

102
00:05:27,975 --> 00:05:32,735
pero una computadora puede ser del 
tamaño de un almacén o aún más grande.

103
00:05:32,736 --> 00:05:36,024
Así que el potencial de 
la máquina superinteligente

104
00:05:36,025 --> 00:05:38,334
permanece latente en la materia,

105
00:05:38,335 --> 00:05:44,046
al igual que el poder atómico
a lo largo de toda la historia

106
00:05:44,047 --> 00:05:48,451
que esperó pacientemente hasta 1945.

107
00:05:48,452 --> 00:05:51,609
De cara a este siglo los científicos
pueden aprender a despertar

108
00:05:51,610 --> 00:05:53,817
el poder de la inteligencia artificial

109
00:05:53,818 --> 00:05:57,826
y creo que podríamos ser testigos
de una explosión de inteligencia.

110
00:05:58,406 --> 00:06:02,420
Cuando la mayoría de la gente piensa
en lo inteligente o lo tonto

111
00:06:02,421 --> 00:06:05,385
creo que tienen en mente
una imagen más o menos así.

112
00:06:05,386 --> 00:06:07,983
En un extremo tenemos 
al tonto del pueblo,

113
00:06:07,984 --> 00:06:10,458
y lejos en el otro extremo,

114
00:06:10,459 --> 00:06:15,210
tenemos a Ed Witten o a Albert Einstein,
o quien sea su gurú favorito.

115
00:06:15,223 --> 00:06:19,056
Pero creo que desde el punto de 
vista de la inteligencia artificial,

116
00:06:19,057 --> 00:06:22,738
lo más probable es que la imagen
real sea la siguiente:

117
00:06:23,258 --> 00:06:26,635
Se empieza en este punto aquí,
en ausencia de inteligencia

118
00:06:26,636 --> 00:06:29,646
y luego, después de muchos,
muchos años de trabajo muy arduo,

119
00:06:29,647 --> 00:06:33,490
quizá finalmente lleguemos
al nivel intelectual de un ratón,

120
00:06:33,491 --> 00:06:35,920
algo que puede navegar
entornos desordenados

121
00:06:35,921 --> 00:06:37,907
igual que un ratón.

122
00:06:37,908 --> 00:06:40,114
Y luego, después de muchos,
muchos más años

123
00:06:40,115 --> 00:06:42,220
de trabajo muy arduo,
de mucha inversión,

124
00:06:42,221 --> 00:06:46,859
tal vez alcancemos el nivel de 
inteligencia de un chimpancé.

125
00:06:46,860 --> 00:06:50,070
Y luego, después de más años
de trabajo muy, muy arduo

126
00:06:50,083 --> 00:06:52,993
alcancemos la inteligencia artificial
del tonto del pueblo.

127
00:06:52,994 --> 00:06:56,104
Un poco más tarde,
estaremos más allá de Ed Witten.

128
00:06:56,105 --> 00:06:59,224
El tren del progreso no se detiene
en la estación de los Humanos.

129
00:06:59,225 --> 00:07:02,246
Es probable que más bien,
pase volando.

130
00:07:02,247 --> 00:07:04,230
Esto tiene profundas consecuencias,

131
00:07:04,231 --> 00:07:08,092
especialmente si se trata de poder.

132
00:07:08,093 --> 00:07:10,291
Por ejemplo, los chimpancés son fuertes.

133
00:07:10,292 --> 00:07:15,213
Un chimpancé es dos veces más fuerte
y en mejor forma física que un hombre

134
00:07:15,214 --> 00:07:19,827
y, sin embargo, el destino de Kanzi
y sus amigos depende mucho más

135
00:07:19,828 --> 00:07:23,968
de lo que hacemos los humanos
que de lo que ellos mismos hacen.

136
00:07:25,209 --> 00:07:27,541
Una vez que hay superinteligencia,

137
00:07:27,542 --> 00:07:31,381
el destino de la humanidad dependerá
de lo que haga la superinteligencia.

138
00:07:32,451 --> 00:07:33,507
Piensen en esto:

139
00:07:33,508 --> 00:07:36,258
la máquina inteligente
es el último invento

140
00:07:36,259 --> 00:07:38,551
que la humanidad jamás
tendrá que realizar.

141
00:07:38,552 --> 00:07:41,524
Las máquinas serán entonces
mejores inventores que nosotros,

142
00:07:41,525 --> 00:07:44,065
y lo harán a escala
de tiempo digital

143
00:07:44,083 --> 00:07:48,965
lo que significa básicamente
que acelerarán la cercanía al futuro.

144
00:07:48,966 --> 00:07:53,041
Piensen en todas las tecnologías
que tal vez, en su opinión,

145
00:07:53,042 --> 00:07:55,584
los humanos pueden desarrollar
con el paso del tiempo:

146
00:07:55,586 --> 00:07:58,710
tratamientos para el envejecimiento,
la colonización del espacio,

147
00:07:58,711 --> 00:08:02,293
nanobots autoreplicantes,
mentes integradas en las computadoras,

148
00:08:02,311 --> 00:08:04,469
todo tipo de ciencia-ficción

149
00:08:04,470 --> 00:08:07,206
y sin embargo en consonancia
con las leyes de la física.

150
00:08:07,207 --> 00:08:09,585
Todo esta superinteligencia
podría desarrollarse

151
00:08:09,586 --> 00:08:11,419
y posiblemente
con bastante rapidez.

152
00:08:12,449 --> 00:08:16,006
Ahora, una superinteligencia
con tanta madurez tecnológica

153
00:08:16,007 --> 00:08:18,185
sería extremadamente poderosa,

154
00:08:18,186 --> 00:08:22,732
y con la excepción de algunos casos
sería capaz de conseguir lo que quiere.

155
00:08:22,751 --> 00:08:27,585
Nuestro futuro se determinaría
por las preferencias de esta IA.

156
00:08:29,855 --> 00:08:33,604
Y una buena pregunta es
¿cuáles son esas preferencias?

157
00:08:34,244 --> 00:08:36,010
Aquí se vuelve más complicado.

158
00:08:36,013 --> 00:08:37,447
Para avanzar con esto,

159
00:08:37,448 --> 00:08:40,724
debemos en primer lugar
evitar el antropomorfismo.

160
00:08:41,933 --> 00:08:46,654
Y esto es irónico porque cada artículo
de prensa sobre el futuro de la IA

161
00:08:46,655 --> 00:08:49,090
presenta una imagen como esta:

162
00:08:50,700 --> 00:08:54,413
Así que creo que tenemos que 
pensar de manera más abstracta,

163
00:08:54,414 --> 00:08:57,204
no según escenarios
entretenidos de Hollywood.

164
00:08:57,209 --> 00:09:00,835
Tenemos que pensar en la inteligencia
como un proceso de optimización

165
00:09:00,836 --> 00:09:06,469
un proceso que dirige el futuro hacia un
conjunto especifico de configuraciones.

166
00:09:06,470 --> 00:09:09,980
Un superinteligencia es un proceso
de optimización realmente potente.

167
00:09:09,981 --> 00:09:13,037
Es muy bueno en el uso
de recursos disponibles

168
00:09:13,038 --> 00:09:16,007
para lograr un estado óptimo
y alcanzar su objetivo.

169
00:09:16,447 --> 00:09:19,118
Esto significa que no hay
ningún vínculo necesario

170
00:09:19,119 --> 00:09:21,852
entre ser muy inteligente en este sentido,

171
00:09:21,853 --> 00:09:26,496
y tener una meta que para los humanos
vale la pena o es significativa.

172
00:09:27,334 --> 00:09:31,124
Por ejemplo, la IA podría tener el
objetivo de hacer sonreír a los humanos.

173
00:09:31,125 --> 00:09:34,125
Cuando la IA está en desarrollo,
realiza acciones entretenidas

174
00:09:34,126 --> 00:09:36,613
para hacer sonreír a su usuario.

175
00:09:36,614 --> 00:09:39,030
Cuando la IA se vuelve superinteligente,

176
00:09:39,031 --> 00:09:42,553
se da cuenta de que hay una manera
más eficaz para lograr su objetivo:

177
00:09:42,554 --> 00:09:44,475
tomar el control del mundo

178
00:09:44,476 --> 00:09:47,637
e introducir electrodos en 
los músculos faciales de la gente

179
00:09:47,638 --> 00:09:50,578
para provocar sonrisas
constantes y radiantes.

180
00:09:50,579 --> 00:09:51,613
Otro ejemplo,

181
00:09:51,614 --> 00:09:55,416
supongamos que le damos el objetivo de
resolver un problema matemático difícil.

182
00:09:55,417 --> 00:09:57,383
Cuando la IA se vuelve superinteligente,

183
00:09:57,384 --> 00:10:01,334
se da cuenta de que la forma más eficaz
para conseguir la solución a este problema

184
00:10:01,335 --> 00:10:04,484
es mediante la transformación
del planeta en un computador gigante,

185
00:10:04,485 --> 00:10:06,730
para aumentar su capacidad de pensar.

186
00:10:06,731 --> 00:10:09,724
Y tengan en cuenta que esto da
a la IA una razón instrumental

187
00:10:09,725 --> 00:10:12,110
para hacer cosas que nosotros
no podemos aprobar.

188
00:10:12,111 --> 00:10:14,395
Los seres humanos
se convierten en una amenaza,

189
00:10:14,396 --> 00:10:17,126
ya que podríamos evitar
que el problema se resuelva.

190
00:10:17,127 --> 00:10:20,714
Por supuesto, las cosas no tienen
necesariamente que pasar de esa manera:

191
00:10:20,715 --> 00:10:22,453
son ejemplos de muestra.

192
00:10:22,454 --> 00:10:24,392
Pero lo importante,

193
00:10:24,393 --> 00:10:27,258
si crean un proceso
de optimización muy potente,

194
00:10:27,259 --> 00:10:29,500
optimizado para lograr el objetivo X,

195
00:10:29,501 --> 00:10:31,775
más vale asegurarse
de que la definición de X

196
00:10:31,776 --> 00:10:34,245
incluye todo lo que importa.

197
00:10:34,835 --> 00:10:39,218
Es una moraleja que también
se enseña a través de varios mitos.

198
00:10:39,219 --> 00:10:44,516
El rey Midas deseaba convertir
en oro todo lo que tocaba.

199
00:10:44,517 --> 00:10:47,377
Toca a su hija
y ella se convierte en oro.

200
00:10:47,378 --> 00:10:49,930
Toca su comida, se convierte en oro.

201
00:10:49,931 --> 00:10:52,519
Es un ejemplo relevante

202
00:10:52,520 --> 00:10:55,844
no solo de una metáfora de 
la codicia sino como ilustración

203
00:10:55,845 --> 00:10:59,321
de lo que sucede si crean
un proceso de optimización potente

204
00:10:59,322 --> 00:11:04,110
pero le encomiendan objetivos
incomprensibles o sin claridad.

205
00:11:04,111 --> 00:11:05,453
Uno puede pensar:

206
00:11:05,454 --> 00:11:09,540
"Si una computadora empieza a poner
electrodos en la cara de la gente

207
00:11:09,542 --> 00:11:11,584
bastaría simplemente con apagarla.

208
00:11:12,555 --> 00:11:15,132
En primer lugar, puede
que no sea tan sencillo

209
00:11:15,133 --> 00:11:17,894
si somos dependientes del sistema

210
00:11:17,895 --> 00:11:20,626
por ejemplo: ¿dónde está el botón
para apagar Internet?

211
00:11:20,627 --> 00:11:23,370
En segundo lugar,
¿por qué los chimpancés

212
00:11:23,375 --> 00:11:27,334
no tienen acceso al mismo interruptor
de la humanidad, o los neandertales?

213
00:11:27,335 --> 00:11:29,963
Sin duda razones tendrían.

214
00:11:29,964 --> 00:11:32,758
Tenemos un interruptor de apagado,
por ejemplo, aquí mismo.

215
00:11:32,759 --> 00:11:34,312
(Finge estrangulación)

216
00:11:34,313 --> 00:11:37,237
La razón es que somos
un adversario inteligente;

217
00:11:37,238 --> 00:11:39,895
podemos anticipar amenazas
y planificar en consecuencia,

218
00:11:39,896 --> 00:11:42,469
pero también podría hacerlo
un agente superinteligente,

219
00:11:42,470 --> 00:11:45,723
y mucho mejor que nosotros.

220
00:11:45,724 --> 00:11:48,591
El tema es que no debemos confiar

221
00:11:50,661 --> 00:11:52,910
que podemos controlar esta situación.

222
00:11:52,911 --> 00:11:56,357
Y podríamos tratar de hacer nuestro
trabajo un poco más fácil digamos,

223
00:11:56,358 --> 00:11:59,767
poniendo a la IA en una caja,
en un entorno de software seguro,

224
00:11:59,768 --> 00:12:02,765
una simulación de realidad virtual
de la que no pueda escapar.

225
00:12:02,766 --> 00:12:06,912
Pero, ¿cómo podemos estar seguros
de que la IA no encontrará un error?

226
00:12:06,918 --> 00:12:10,377
Dado que incluso los hackers humanos
encuentran errores todo el tiempo,

227
00:12:10,381 --> 00:12:13,117
yo diría que probablemente,
no podemos estar muy seguros.

228
00:12:14,250 --> 00:12:18,620
Así que desconectamos el cable ethernet
para crear un espacio vacío,

229
00:12:18,621 --> 00:12:21,452
pero una vez más, al igual
que los hackers humanos,

230
00:12:21,453 --> 00:12:24,813
podrían superar estos espacios
usando la ingeniería social.

231
00:12:24,814 --> 00:12:26,162
Ahora mismo, mientras hablo,

232
00:12:26,163 --> 00:12:28,581
estoy seguro de que algún
empleado, en algún lugar

233
00:12:28,582 --> 00:12:31,828
ha sido convencido para revelar
los detalles de su cuenta

234
00:12:31,834 --> 00:12:34,573
por alguien que dice ser
del departamento de IT.

235
00:12:34,574 --> 00:12:36,850
Otros escenarios creativos
también son posibles,

236
00:12:36,851 --> 00:12:38,205
por ejemplo si Ud. es la IA,

237
00:12:38,206 --> 00:12:41,717
puede hacer cambios en los electrodos
de su circuito interno de seguridad

238
00:12:41,718 --> 00:12:45,009
para crear ondas de radio y
usarlas para comunicarse.

239
00:12:45,010 --> 00:12:47,253
O tal vez fingir un mal funcionamiento,

240
00:12:47,254 --> 00:12:50,861
y cuando los programadores
lo abren para entender qué está mal,

241
00:12:50,862 --> 00:12:52,798
al mirar el código fuente, ¡pum!

242
00:12:52,799 --> 00:12:55,244
ya empieza a manipular.

243
00:12:55,245 --> 00:12:58,674
O podría idear un programa
tecnológico realmente ingenioso,

244
00:12:58,675 --> 00:13:00,182
y cuando lo implementamos,

245
00:13:00,183 --> 00:13:04,538
tener efectos secundarios
ocultos planeados por la IA.

246
00:13:04,539 --> 00:13:08,001
No debemos confiar en nuestra capacidad

247
00:13:08,002 --> 00:13:11,809
para mantener un genio superinteligente
encerrado en su lámpara para siempre.

248
00:13:11,810 --> 00:13:14,064
Tarde o temprano, saldrá.

249
00:13:15,034 --> 00:13:20,226
Creo que la solución es averiguar
cómo crear una IA superinteligente

250
00:13:20,227 --> 00:13:24,250
para que incluso si, o cuando
se escape, sea todavía segura

251
00:13:24,251 --> 00:13:28,397
para que fundamentalmente esté de
nuestro lado y comparta nuestros valores.

252
00:13:28,398 --> 00:13:31,547
No veo cómo evitar
este problema difícil.

253
00:13:32,557 --> 00:13:36,543
En realidad soy bastante optimista de
que este problema pueda ser resuelto.

254
00:13:36,544 --> 00:13:40,293
No tendríamos que escribir una larga
lista de todo lo que nos importa,

255
00:13:40,294 --> 00:13:43,937
o, peor aún, codificarla
en algún lenguaje informático

256
00:13:43,938 --> 00:13:45,377
como C++ o Python,

257
00:13:45,391 --> 00:13:48,157
sería una reto imposible.

258
00:13:48,158 --> 00:13:52,454
A cambio, crearíamos una IA 
que use su inteligencia

259
00:13:52,455 --> 00:13:55,225
para aprender lo que valoramos,

260
00:13:55,226 --> 00:13:57,846
y su sistema integrado
de motivación sería diseñado

261
00:13:59,926 --> 00:14:01,844
para defender nuestros valores

262
00:14:01,845 --> 00:14:05,737
y realizar acciones
que se ajusten a ellos.

263
00:14:05,738 --> 00:14:09,151
Así que usaríamos su inteligencia
tanto como fuera posible

264
00:14:09,152 --> 00:14:11,897
para resolver el problema
de la atribución de valores.

265
00:14:12,727 --> 00:14:14,238
Esto puede suceder,

266
00:14:14,239 --> 00:14:17,834
y el resultado podría ser
muy bueno para la humanidad.

267
00:14:17,835 --> 00:14:21,791
Pero no sucede automáticamente.

268
00:14:21,792 --> 00:14:24,789
Las condiciones iniciales
para la explosión de la inteligencia

269
00:14:24,790 --> 00:14:27,652
necesitan ser perfectamente definidas

270
00:14:27,653 --> 00:14:31,102
si queremos contar con
una detonación controlada.

271
00:14:31,103 --> 00:14:33,920
Los valores de la IA tienen
que coincidir con los nuestros

272
00:14:33,921 --> 00:14:35,490
no solo en el ámbito familiar,

273
00:14:35,491 --> 00:14:37,998
donde podemos comprobar
fácilmente cómo se comporta,

274
00:14:37,999 --> 00:14:41,232
sino también en todos los nuevos contextos

275
00:14:41,233 --> 00:14:43,879
donde la IA podría encontrarse
en un futuro indefinido.

276
00:14:43,880 --> 00:14:47,567
Y también hay algunas cuestiones
esotéricas que habría que resolver:

277
00:14:47,568 --> 00:14:49,945
los detalles exactos de
su teoría de la decisión,

278
00:14:49,946 --> 00:14:52,480
cómo manejar la incertidumbre lógica, etc.

279
00:14:53,330 --> 00:14:55,958
Así que los problemas
técnicos que hay que resolver

280
00:14:55,959 --> 00:14:58,126
para hacer este trabajo
parecen muy difíciles

281
00:14:58,162 --> 00:15:00,922
--no tan difíciles como crear
una IA superinteligente--

282
00:15:00,923 --> 00:15:02,502
pero bastante difíciles.

283
00:15:03,793 --> 00:15:05,488
Este es la preocupación:

284
00:15:05,501 --> 00:15:09,127
crear una IA superinteligente
es un reto muy difícil

285
00:15:10,172 --> 00:15:12,719
y crear una que sea segura

286
00:15:12,720 --> 00:15:15,256
implica desafíos adicionales.

287
00:15:16,586 --> 00:15:20,092
El riesgo es si alguien encuentra
la manera de superar el primer reto

288
00:15:20,093 --> 00:15:24,564
sin resolver el otro desafío
de garantizar la máxima seguridad.

289
00:15:25,375 --> 00:15:28,705
Así que creo que deberíamos
encontrar una solución

290
00:15:28,706 --> 00:15:31,527
al problema del control por adelantado,

291
00:15:31,528 --> 00:15:34,188
de modo que esté disponible
para cuando sea necesario.

292
00:15:34,768 --> 00:15:37,137
Puede ser que no podamos
resolver por completo

293
00:15:37,138 --> 00:15:38,864
el problema del control de antemano

294
00:15:38,865 --> 00:15:41,968
porque tal vez, algunos elementos
solo pueden ser desarrollados

295
00:15:41,959 --> 00:15:45,293
después de reunir los detalles
técnicos de la IA en cuestión.

296
00:15:45,296 --> 00:15:48,675
Pero cuanto antes solucionemos
el problema del control,

297
00:15:48,676 --> 00:15:50,217
mayores serán las probabilidades

298
00:15:50,218 --> 00:15:53,055
de que la transición a la era
de las máquinas inteligentes

299
00:15:53,056 --> 00:15:54,305
vaya bien.

300
00:15:54,306 --> 00:15:58,949
Esto me parece algo digno de hacer

301
00:15:58,950 --> 00:16:02,281
y puedo imaginar que si
las cosas salen bien,

302
00:16:02,282 --> 00:16:06,939
la gente en un millón de años 
discutirá nuestro siglo

303
00:16:06,940 --> 00:16:10,586
y dirá que posiblemente lo único
que hicimos bien y mereció la pena

304
00:16:10,587 --> 00:16:12,508
fue superar con éxito este reto.

305
00:16:12,509 --> 00:16:13,787
Gracias.

306
00:16:13,788 --> 00:16:15,271
(Aplausos)