1
00:00:00,712 --> 00:00:02,424
Este es Lee Sedol.

2
00:00:02,424 --> 00:00:05,354
Lee Sedol es uno de los mejores
jugadores de Go del mundo.

3
00:00:05,354 --> 00:00:08,809
Y está teniendo lo que mis amigos
de Silicon Valley llaman

4
00:00:08,809 --> 00:00:10,729
un momento "¡Bendito Dios!".

5
00:00:10,729 --> 00:00:11,830
(Risas)

6
00:00:11,830 --> 00:00:14,003
Un momento en el que nos damos cuenta

7
00:00:14,003 --> 00:00:17,798
de que la IA está avanzando 
mucho más rápido de lo que esperábamos.

8
00:00:17,798 --> 00:00:20,028
Los humanos han perdido 
en el tablero de Go.

9
00:00:20,028 --> 00:00:21,294
¿Y en el mundo real?

10
00:00:21,294 --> 00:00:24,215
Bueno, el mundo real es mucho 
más grande y complicado

11
00:00:24,215 --> 00:00:25,515
que el tablero de Go.

12
00:00:25,515 --> 00:00:26,935
Es mucho menos visible.

13
00:00:26,935 --> 00:00:29,385
Pero sigue siendo un problema de decisión.

14
00:00:30,765 --> 00:00:35,023
Y si pensamos en algunas
de las tecnologías que están por venir

15
00:00:35,548 --> 00:00:39,883
Noriko [Arai] mencionó 
que las máquinas aún no saben leer,

16
00:00:39,883 --> 00:00:41,683
al menos no comprendiendo,

17
00:00:41,683 --> 00:00:44,197
pero lo harán, y cuando eso suceda,

18
00:00:45,097 --> 00:00:50,659
poco después las máquinas habrán leído 
todo lo que la raza humana ha escrito.

19
00:00:51,850 --> 00:00:53,678
Eso permitirá a las máquinas,

20
00:00:53,678 --> 00:00:56,788
junto a su habilidad mirar más allá 
de lo que pueden los humanos,

21
00:00:56,788 --> 00:00:58,168
como ya hemos visto en el Go,

22
00:00:58,168 --> 00:01:00,552
si también tienen acceso 
a más información,

23
00:01:00,552 --> 00:01:03,792
serán capaces de tomar 
mejores decisiones en el mundo real

24
00:01:03,792 --> 00:01:04,862
que nosotros.

25
00:01:06,792 --> 00:01:08,398
¿Es eso bueno?

26
00:01:09,898 --> 00:01:12,130
Bueno, espero que sí.

27
00:01:14,694 --> 00:01:17,949
Toda nuestra civilización,
todo lo que valoramos,

28
00:01:17,973 --> 00:01:20,041
se basa en nuestra inteligencia.

29
00:01:20,065 --> 00:01:23,759
Y si tuviéramos acceso
a mucha más inteligencia,

30
00:01:23,783 --> 00:01:27,345
entonces no existirían límites
para lo que la raza humana pueda hacer.

31
00:01:28,665 --> 00:01:31,404
Y creo que este podría ser, 
como han dicho algunos,

32
00:01:31,404 --> 00:01:34,030
el mayor acontecimiento
de la historia de la humanidad.

33
00:01:36,665 --> 00:01:39,494
Entonces, ¿por qué la gente afirma
cosas como esta?

34
00:01:39,518 --> 00:01:43,042
Que la inteligencia artificial podría
significar el fin de la raza humana.

35
00:01:43,438 --> 00:01:45,097
¿Es esto algo nuevo?

36
00:01:45,121 --> 00:01:49,231
¿Se trata solo de Elon Musk 
y Bill Gates y Stephen Hawking?

37
00:01:49,953 --> 00:01:53,215
En realidad, no. Esta idea no es nueva.

38
00:01:53,239 --> 00:01:55,201
He aquí una cita:

39
00:01:55,225 --> 00:01:59,575
"Incluso si pudiéramos mantener las
máquinas en una posición servil,

40
00:01:59,599 --> 00:02:02,583
por ejemplo, desconectándolas
en momentos estratégicos"

41
00:02:02,607 --> 00:02:05,844
--volveré a esa idea de 
"quitar la corriente" más adelante--

42
00:02:05,868 --> 00:02:08,726
"deberíamos, como especie,
sentirnos humillados".

43
00:02:10,176 --> 00:02:13,625
¿Quién dijo esto?
Este es Alan Turing, en 1951.

44
00:02:14,300 --> 00:02:17,063
Alan Turing, como Uds. saben,
es el padre de la informática

45
00:02:17,087 --> 00:02:20,135
y en muchos sentidos 
también el padre de la IA.

46
00:02:21,239 --> 00:02:23,121
Así que si pensamos en este problema,

47
00:02:23,145 --> 00:02:26,932
el problema de crear algo
más inteligente que tu propia especie,

48
00:02:26,956 --> 00:02:29,578
podríamos llamar a esto
"el problema del gorila".

49
00:02:30,345 --> 00:02:34,095
Porque los antepasados de los gorilas
hicieron esto hace unos millones de años,

50
00:02:34,119 --> 00:02:36,159
y ahora podríamos
preguntar a los gorilas:

51
00:02:36,752 --> 00:02:37,912
¿Fue una buena idea?

52
00:02:37,936 --> 00:02:41,926
Aquí están, reunidos para discutir 
si fue una buena idea,

53
00:02:41,926 --> 00:02:44,916
y pasado un tiempo concluyen que no.

54
00:02:44,916 --> 00:02:46,275
Fue una idea terrible.

55
00:02:46,275 --> 00:02:48,011
Nuestra especie está en apuros.

56
00:02:48,538 --> 00:02:52,801
De hecho, pueden ver 
la tristeza existencial en sus ojos.

57
00:02:52,825 --> 00:02:54,465
(Risas)

58
00:02:54,489 --> 00:02:58,283
Así que esta sensación mareante
de que crear algo más inteligente

59
00:02:58,283 --> 00:03:01,718
que tu propia especie
tal vez no sea buena idea...

60
00:03:02,488 --> 00:03:03,979
¿Qué podemos hacer al respecto?

61
00:03:04,003 --> 00:03:08,770
Bueno, nada en realidad,
excepto dejar de hacer IA.

62
00:03:08,794 --> 00:03:11,344
Y por todos los beneficios 
que he mencionado

63
00:03:11,344 --> 00:03:13,044
y porque soy un investigador de IA,

64
00:03:13,068 --> 00:03:14,859
no voy a tomar eso.

65
00:03:15,283 --> 00:03:17,751
Sin duda quiero seguir creando IA.

66
00:03:18,615 --> 00:03:21,293
Así que necesitamos precisar
el problema un poco más.

67
00:03:21,317 --> 00:03:22,688
¿Cuál es el problema?

68
00:03:22,712 --> 00:03:25,958
¿Por qué tener mejor IA 
puede ser una catástrofe?

69
00:03:27,398 --> 00:03:28,896
Aquí hay otra cita:

70
00:03:29,935 --> 00:03:32,135
"Más nos vale estar seguros
de que el propósito

71
00:03:32,135 --> 00:03:35,004
que introducimos en la máquina
es el que de verdad deseamos".

72
00:03:36,134 --> 00:03:39,312
Esto fue dicho por Norbert Wiener en 1960,

73
00:03:39,312 --> 00:03:43,490
poco después de ver a uno de
los primeros sistemas de aprendizaje

74
00:03:43,490 --> 00:03:46,336
aprender a jugar a las damas
mejor que su creador.

75
00:03:48,602 --> 00:03:52,165
Pero esto podría haberlo dicho 
de igual modo el Rey Midas.

76
00:03:52,165 --> 00:03:56,146
El Rey Midas dijo, "Deseo que todo 
lo que toque se convierta en oro".

77
00:03:56,146 --> 00:03:58,667
Y obtuvo justo lo que pidió.

78
00:03:58,667 --> 00:04:02,114
Fue el propósito que introdujo
en la máquina, por así decirlo.

79
00:04:02,987 --> 00:04:06,355
Y luego su comida, su bebida
y sus familiares se convirtieron en oro

80
00:04:06,355 --> 00:04:08,736
y murió miserable y muerto de hambre.

81
00:04:10,444 --> 00:04:13,055
Así que llamaremos a esto
"el problema del rey Midas",

82
00:04:13,055 --> 00:04:16,213
el de indicar un objetivo
que no está realmente

83
00:04:16,213 --> 00:04:18,551
alineado con lo que de verdad queremos.

84
00:04:18,575 --> 00:04:22,290
En términos modernos, lo llamamos
"el problema de alineación de valor".

85
00:04:25,047 --> 00:04:28,532
Introducir un objetivo equivocado
no es la única parte del problema.

86
00:04:28,556 --> 00:04:29,708
Hay otra parte.

87
00:04:30,160 --> 00:04:32,103
Al introducir un objetivo en una máquina

88
00:04:32,127 --> 00:04:34,575
incluso algo tan simple como
"Trae el café",

89
00:04:35,908 --> 00:04:37,749
la máquina se dice a sí misma,

90
00:04:38,733 --> 00:04:41,133
"¿Cómo podría fallar 
yendo a buscar el café?

91
00:04:41,133 --> 00:04:42,953
Alguien podría desconectarme.

92
00:04:42,953 --> 00:04:45,655
Vale, debo tomar medidas para evitarlo.

93
00:04:46,019 --> 00:04:48,150
Desactivaré mi interruptor de 'apagado'.


94
00:04:48,150 --> 00:04:51,262
Haré cualquier cosa para protegerme
de interferencias

95
00:04:51,262 --> 00:04:53,508
con este objetivo que me han dado.

96
00:04:54,168 --> 00:04:56,288
Así que esta persecución obsesiva

97
00:04:57,064 --> 00:05:00,164
de un modo muy defensivo
para lograr un objetivo

98
00:05:00,164 --> 00:05:02,494
que no está alineado
con los verdaderos objetivos

99
00:05:02,494 --> 00:05:03,647
de la raza humana...

100
00:05:03,647 --> 00:05:06,006
ese es el problema 
al que nos enfrentamos.

101
00:05:06,706 --> 00:05:11,497
Y de hecho esa es la lección
más valiosa de esta charla.

102
00:05:11,617 --> 00:05:13,818
Si quieren recordar una cosa

103
00:05:13,877 --> 00:05:16,552
es que no se puede ir a buscar
el café si se está muerto.

104
00:05:16,576 --> 00:05:17,637
(Risas)

105
00:05:17,661 --> 00:05:21,490
Es muy simple. Solo recuerden eso.
Repítanlo tres veces al día.

106
00:05:21,514 --> 00:05:23,335
(Risas)

107
00:05:23,359 --> 00:05:26,113
Y de hecho, este es el mismo argumento

108
00:05:26,137 --> 00:05:28,785
de "2001: [Una odisea del espacio]".

109
00:05:29,226 --> 00:05:31,316
HAL tiene un objetivo, una misión,

110
00:05:31,340 --> 00:05:35,072
que no está alineada
con los objetivos de los humanos,

111
00:05:35,096 --> 00:05:36,906
y eso conduce a este conflicto.

112
00:05:37,494 --> 00:05:40,463
Por suerte HAL no es superinteligente.

113
00:05:40,487 --> 00:05:43,028
Es bastante inteligente,
pero llegado el momento,

114
00:05:43,028 --> 00:05:45,947
Dave lo supera y logra apagarlo.

115
00:05:49,828 --> 00:05:51,638
Pero tal vez no tengamos tanta suerte.

116
00:05:56,193 --> 00:05:57,785
Entonces, ¿qué vamos a hacer?

117
00:06:00,371 --> 00:06:02,972
Estoy tratando de redefinir la IA

118
00:06:02,996 --> 00:06:05,057
para alejarnos de esta noción clásica

119
00:06:05,081 --> 00:06:09,648
de máquinas que persiguen objetivos
de manera inteligente.

120
00:06:10,712 --> 00:06:12,510
Hay tres principios implicados.

121
00:06:12,534 --> 00:06:15,823
El primero es un principio
de altruismo, por así decirlo,

122
00:06:15,847 --> 00:06:19,109
el único objetivo del robot

123
00:06:19,133 --> 00:06:23,379
es maximizar la realización
de los objetivos humanos,

124
00:06:23,403 --> 00:06:24,793
de los valores humanos.

125
00:06:24,817 --> 00:06:28,147
Y por valores aquí no me refiero
a valores sentimentales o de bondad.

126
00:06:28,171 --> 00:06:31,958
Solo quiero decir aquello
más similar a la vida

127
00:06:31,982 --> 00:06:33,325
que un humano preferiría.

128
00:06:35,364 --> 00:06:37,487
Y esto viola la ley de Asimov

129
00:06:37,487 --> 00:06:39,966
de que el robot debe proteger
su propia existencia.

130
00:06:39,966 --> 00:06:43,773
No tiene ningún interés en preservar
su existencia en absoluto.

131
00:06:45,420 --> 00:06:49,188
La segunda ley es una ley
de humildad, digamos.

132
00:06:49,974 --> 00:06:53,717
Y resulta muy importante
para que los robots sean seguros.

133
00:06:53,741 --> 00:06:56,883
Dice que el robot no sabe

134
00:06:56,907 --> 00:06:58,935
cuáles son esos valores humanos,

135
00:06:58,959 --> 00:07:02,137
así que debe maximizarlos,
pero no sabe lo que son.

136
00:07:03,254 --> 00:07:05,880
Lo cual evita el problema 
de la búsqueda obsesiva

137
00:07:05,904 --> 00:07:07,116
de un objetivo.

138
00:07:07,140 --> 00:07:09,312
Esta incertidumbre resulta crucial.

139
00:07:09,726 --> 00:07:11,435
Claro que para sernos útiles,

140
00:07:11,435 --> 00:07:14,120
deben tener alguna idea 
de lo que queremos.

141
00:07:15,223 --> 00:07:20,650
Obtiene esa información sobre todo
observando elecciones humanas,

142
00:07:20,674 --> 00:07:23,475
para que nuestras propias
decisiones revelen información

143
00:07:23,499 --> 00:07:26,799
sobre lo que nosotros preferimos
para nuestras vidas.

144
00:07:28,632 --> 00:07:30,315
Estos son los tres principios.

145
00:07:30,339 --> 00:07:32,657
Veamos cómo se aplica a esta cuestión

146
00:07:32,681 --> 00:07:35,470
de "apagar la máquina", 
como sugirió Turing.

147
00:07:37,073 --> 00:07:38,837
He aquí un robot PR2.

148
00:07:38,837 --> 00:07:41,038
Es uno que tenemos
en nuestro laboratorio,

149
00:07:41,062 --> 00:07:44,491
y tiene un gran botón rojo de 'apagado'
en la parte posterior.

150
00:07:44,541 --> 00:07:46,940
La pregunta es: ¿Va a
dejar que lo apaguen?

151
00:07:46,940 --> 00:07:48,645
Si lo hacemos a la manera clásica,

152
00:07:48,669 --> 00:07:52,151
le damos el objetivo de traer
el café. "Debo traer el café.

153
00:07:52,175 --> 00:07:54,755
No puedo traer el café 
si estoy muerto".

154
00:07:54,779 --> 00:07:58,120
Obviamente el PR2 
ha escuchado mi charla,

155
00:07:58,144 --> 00:08:00,046
y por tanto, decide

156
00:08:00,046 --> 00:08:02,976
"Debo inhabilitar mi botón de 'apagado'".

157
00:08:02,976 --> 00:08:06,160
"Y probablemente electrocutar 
al resto de personas en el Starbucks

158
00:08:06,160 --> 00:08:07,434
que podrían interferir".

159
00:08:07,434 --> 00:08:09,340
(Risas)

160
00:08:09,364 --> 00:08:11,517
Así que esto parece ser
inevitable, ¿verdad?

161
00:08:11,541 --> 00:08:13,939
Este tipo de error 
parece ser inevitable,

162
00:08:13,963 --> 00:08:17,506
y sucede por tener 
un objetivo concreto, definido.

163
00:08:18,812 --> 00:08:21,956
Entonces, ¿qué pasa si la máquina
no tiene claro el objetivo?

164
00:08:21,980 --> 00:08:24,107
Bueno, razona de una manera diferente.

165
00:08:24,131 --> 00:08:28,665
Dice, "El humano podría desconectarme,
pero solo si hago algo malo.

166
00:08:29,757 --> 00:08:33,776
No tengo claro lo que es malo
pero sé que no quiero hacerlo".

167
00:08:33,786 --> 00:08:36,359
Ahí están el primer 
y el segundo principio.

168
00:08:37,359 --> 00:08:40,543
"Así que debería dejar 
que el humano me desconecte".

169
00:08:41,721 --> 00:08:45,341
De hecho se puede calcular 
el incentivo que tiene el robot

170
00:08:45,341 --> 00:08:48,211
para permitir que el humano lo apague.

171
00:08:48,218 --> 00:08:50,982
Y está directamente ligado 
al grado de incertidumbre

172
00:08:50,982 --> 00:08:53,032
sobre el objetivo subyacente.

173
00:08:53,426 --> 00:08:57,022
Y entonces cuando la máquina está apagada,

174
00:08:57,022 --> 00:08:58,755
el tercer principio entra en juego.

175
00:08:58,779 --> 00:09:01,841
Aprende algo sobre los objetivos
que debe perseguir,

176
00:09:01,865 --> 00:09:04,398
porque aprende que
lo que hizo no estaba bien.

177
00:09:04,422 --> 00:09:07,992
De hecho, podemos, con el uso adecuado
de los símbolos griegos,

178
00:09:08,016 --> 00:09:10,147
como suelen hacer los matemáticos,

179
00:09:10,171 --> 00:09:12,155
podemos probar un teorema

180
00:09:12,179 --> 00:09:15,732
que dice que tal robot es probablemente
beneficioso para el humano.

181
00:09:15,756 --> 00:09:19,559
Se está demostrablemente mejor con
una máquina que se diseña de esta manera

182
00:09:19,583 --> 00:09:20,829
que sin ella.

183
00:09:21,237 --> 00:09:24,143
Este es un ejemplo muy simple,
pero este es el primer paso

184
00:09:24,167 --> 00:09:28,070
en lo que estamos tratando de hacer
con IA compatible con humanos.

185
00:09:30,657 --> 00:09:33,914
Ahora, este tercer principio,

186
00:09:33,938 --> 00:09:37,050
es probablemente el que está haciendo
que se rasquen la cabeza.

187
00:09:37,074 --> 00:09:40,084
Probablemente piensen: 
"Yo me comporto mal.

188
00:09:40,084 --> 00:09:43,174
No quiero que mi robot 
se comporte como yo.

189
00:09:43,174 --> 00:09:46,264
Me escabullo en mitad de la noche 
y tomo cosas de la nevera,

190
00:09:46,264 --> 00:09:47,545
hago esto y hago aquello".

191
00:09:47,545 --> 00:09:50,196
Hay todo tipo de cosas que no
quieres que haga el robot.

192
00:09:50,596 --> 00:09:52,824
Pero lo cierto es que 
no funciona así.

193
00:09:52,824 --> 00:09:54,986
Solo porque uno se comporte mal

194
00:09:54,986 --> 00:09:57,771
no significa que el robot
vaya a copiar su comportamiento.

195
00:09:57,771 --> 00:10:01,042
Va a entender sus motivaciones
y tal vez a ayudarle a resistirlas,

196
00:10:01,616 --> 00:10:02,936
si es apropiado.

197
00:10:04,206 --> 00:10:05,670
Pero sigue siendo difícil.

198
00:10:06,302 --> 00:10:08,847
Lo que estamos tratando
de hacer, de hecho,

199
00:10:08,871 --> 00:10:12,891
es permitir que las máquinas predigan
para cualquier persona

200
00:10:12,891 --> 00:10:15,852
y para cualquier vida posible 
que podrían vivir,

201
00:10:15,876 --> 00:10:17,473
y las vidas de todos los demás

202
00:10:17,497 --> 00:10:20,014
lo que preferirían.

203
00:10:22,061 --> 00:10:25,015
Y hay muchas, muchas 
dificultades ligadas a hacer esto.

204
00:10:25,039 --> 00:10:27,971
No espero que vaya a resolverse pronto.

205
00:10:27,995 --> 00:10:30,638
Las verdaderas dificultades,
de hecho, somos nosotros.

206
00:10:32,149 --> 00:10:35,266
Como ya he mencionado,
nos comportamos mal.

207
00:10:35,290 --> 00:10:38,243
De hecho, algunos de nosotros
somos francamente desagradables.

208
00:10:38,431 --> 00:10:41,483
Como he dicho, el robot
no tiene que copiar el comportamiento.

209
00:10:41,507 --> 00:10:44,298
El robot no tiene ningún objetivo propio.

210
00:10:44,322 --> 00:10:46,059
Es puramente altruista.

211
00:10:47,293 --> 00:10:52,514
Y no está diseñado solo para satisfacer
los deseos de una persona, el usuario,

212
00:10:52,538 --> 00:10:55,676
sino que tiene que respetar
las preferencias de todos.

213
00:10:57,263 --> 00:10:59,833
Así que puede lidiar 
con cierta cantidad de maldad,

214
00:10:59,857 --> 00:11:03,558
e incluso puede entender
que su maldad, por ejemplo...

215
00:11:03,582 --> 00:11:06,393
Ud. puede aceptar sobornos 
como controlador de pasaportes

216
00:11:06,393 --> 00:11:10,089
porque necesita alimentar a su familia 
y que sus hijos vayan a la escuela.

217
00:11:10,113 --> 00:11:13,019
Puede entender eso;
no significa que vaya a robar.

218
00:11:13,043 --> 00:11:15,908
De hecho, solo le ayudará
a que sus hijos vayan al colegio.

219
00:11:16,976 --> 00:11:19,988
También estamos limitados
computacionalmente.

220
00:11:20,012 --> 00:11:22,517
Lee Sedol es un jugador brillante de Go,

221
00:11:22,541 --> 00:11:23,866
pero aun así perdió.

222
00:11:23,890 --> 00:11:28,129
Si nos fijamos en sus acciones,
tomó una decisión que le hizo perder.

223
00:11:28,153 --> 00:11:30,314
Eso no significa que él quisiera perder.

224
00:11:31,340 --> 00:11:33,380
Así que para entender su comportamiento,

225
00:11:33,404 --> 00:11:37,048
en realidad tenemos que invertir,
a través de un modelo cognitivo humano

226
00:11:37,072 --> 00:11:39,813
que incluye nuestras 
limitaciones computacionales,

227
00:11:39,813 --> 00:11:42,073
y se trata de un modelo muy complicado.

228
00:11:42,073 --> 00:11:44,996
Pero es algo en lo que podemos 
trabajar para comprender.

229
00:11:45,586 --> 00:11:48,280
Puede que la parte más difícil, 
desde mi punto de vista

230
00:11:48,280 --> 00:11:49,500
como investigador de IA,

231
00:11:49,500 --> 00:11:52,795
es el hecho de que hay muchos de nosotros,

232
00:11:54,294 --> 00:11:57,149
con lo cual la máquina tiene que sopesar

233
00:11:57,149 --> 00:12:00,124
las preferencias de mucha gente diferente.

234
00:12:00,148 --> 00:12:02,054
Hay diferentes maneras de hacer eso.

235
00:12:02,078 --> 00:12:05,767
Economistas, sociólogos, 
filósofos morales han comprendido esto

236
00:12:05,791 --> 00:12:08,246
y estamos buscando 
colaboración de manera activa.

237
00:12:08,270 --> 00:12:11,521
Vamos a ver lo que sucede
cuando esto se hace mal.

238
00:12:11,545 --> 00:12:13,678
Ud. puede estar hablando, por ejemplo,

239
00:12:13,702 --> 00:12:15,646
con su asistente personal inteligente

240
00:12:15,670 --> 00:12:17,955
que podría estar disponible
dentro de unos años.

241
00:12:17,979 --> 00:12:20,503
Piensen en Siri con esteroides.

242
00:12:21,627 --> 00:12:25,949
Siri dice "Su esposa llamó para 
recordarle la cena de esta noche".

243
00:12:26,616 --> 00:12:29,904
Por supuesto, lo había olvidado.
¿Qué cena? ¿De qué está hablando?

244
00:12:30,794 --> 00:12:32,806
"Su 20 aniversario, a las 7pm".

245
00:12:36,746 --> 00:12:40,155
"No puedo, me reúno con el 
secretario general a las 7:30.

246
00:12:40,155 --> 00:12:42,495
¿Cómo ha podido suceder esto?".

247
00:12:42,495 --> 00:12:46,924
"Bueno, le advertí, pero ignoró
mi recomendación".

248
00:12:47,174 --> 00:12:50,592
"¿Qué voy a hacer? No puedo decirles 
que estoy demasiado ocupado".

249
00:12:52,128 --> 00:12:56,156
"No se preocupe, he hecho
que su avión se retrase".

250
00:12:56,156 --> 00:12:58,354
(Risas)

251
00:12:58,354 --> 00:13:00,805
"Algún tipo de error en el ordenador".

252
00:13:00,805 --> 00:13:01,610
(Risas)

253
00:13:01,610 --> 00:13:03,227
"¿En serio? ¿Puede hacer eso?".

254
00:13:04,400 --> 00:13:06,579
"Le envía sinceras disculpas

255
00:13:06,603 --> 00:13:09,158
y espera poder conocerle
mañana para el almuerzo".

256
00:13:09,182 --> 00:13:10,481
(Risas)

257
00:13:10,505 --> 00:13:14,908
Así que los valores aquí...
aquí hay un pequeño fallo.

258
00:13:14,932 --> 00:13:17,941
Claramente está siguiendo
los valores de mi esposa

259
00:13:17,965 --> 00:13:20,034
que son "esposa feliz, vida feliz".

260
00:13:20,058 --> 00:13:21,641
(Risas)

261
00:13:21,665 --> 00:13:23,109
Podría suceder al revés.

262
00:13:23,641 --> 00:13:26,022
Podría llegar a casa
tras un duro día de trabajo,

263
00:13:26,046 --> 00:13:28,291
y el ordenador dice "¿Un día duro?".

264
00:13:28,291 --> 00:13:30,127
"Sí, ni tuve tiempo de almorzar".

265
00:13:30,127 --> 00:13:31,939
"Debe tener mucha hambre".

266
00:13:31,939 --> 00:13:34,889
"Me muero de hambre, sí,
¿podría preparar algo de cena?".

267
00:13:36,070 --> 00:13:38,160
"Hay algo que necesito decirle".

268
00:13:38,184 --> 00:13:39,339
(Risas)

269
00:13:40,193 --> 00:13:45,098
"Hay humanos en Sudán del Sur
más necesitados que Ud.".

270
00:13:45,122 --> 00:13:46,226
(Risas)

271
00:13:46,250 --> 00:13:48,325
"Así que me voy, hágase su propia cena".

272
00:13:48,349 --> 00:13:50,349
(Risas)

273
00:13:50,583 --> 00:13:52,702
Así que tenemos que
resolver estos problemas,

274
00:13:52,702 --> 00:13:54,611
y tengo ganas de trabajar en ellos.

275
00:13:55,125 --> 00:13:56,968
Hay razones para ser optimistas.

276
00:13:56,992 --> 00:14:00,071
Una razón es que hay 
gran cantidad de datos

277
00:14:00,071 --> 00:14:03,501
Recuerden, leerán todo lo que 
la raza humana ha escrito.

278
00:14:03,501 --> 00:14:07,123
La mayoría de lo que escribimos
trata sobre humanos haciendo cosas

279
00:14:07,123 --> 00:14:09,117
y cómo estas molestan a otras personas.

280
00:14:09,141 --> 00:14:11,539
Así que hay muchos datos
de los que aprender.

281
00:14:11,563 --> 00:14:13,799
También hay un fuerte incentivo económico

282
00:14:14,971 --> 00:14:16,331
para que esto funcione bien.

283
00:14:16,331 --> 00:14:18,432
Imagine que su robot 
doméstico está en casa

284
00:14:18,432 --> 00:14:19,952
Ud. llega tarde del trabajo,

285
00:14:19,952 --> 00:14:22,087
el robot tiene que dar 
de comer a los niños,

286
00:14:22,087 --> 00:14:24,510
los niños tienen hambre
y no hay nada en la nevera.

287
00:14:24,510 --> 00:14:27,109
Y el robot ve al gato.

288
00:14:27,133 --> 00:14:28,825
(Risas)

289
00:14:28,849 --> 00:14:32,953
Y el robot no ha aprendido del todo bien
la función del valor humano

290
00:14:32,953 --> 00:14:34,464
por lo que no entiende

291
00:14:34,464 --> 00:14:38,766
que el valor sentimental del gato supera
el valor nutricional del gato.

292
00:14:38,766 --> 00:14:39,861
(Risas)

293
00:14:39,861 --> 00:14:41,357
Entonces, ¿qué pasa?

294
00:14:41,357 --> 00:14:45,394
Bueno, sucede lo siguiente:

295
00:14:45,418 --> 00:14:48,382
"Robot desquiciado cocina a un gatito
para la cena familiar".

296
00:14:48,406 --> 00:14:52,929
Ese único incidente acabaría
con la industria de robots domésticos.

297
00:14:52,953 --> 00:14:56,325
Así que hay un gran incentivo
para hacer esto bien.

298
00:14:56,349 --> 00:14:59,064
mucho antes de llegar
a las máquinas superinteligentes.

299
00:15:00,128 --> 00:15:01,663
Así que para resumir:

300
00:15:01,687 --> 00:15:04,568
Estoy intentando cambiar
la definición de IA

301
00:15:04,592 --> 00:15:07,585
para que tengamos máquinas
demostrablemente beneficiosas.

302
00:15:07,609 --> 00:15:08,831
Y los principios son:

303
00:15:08,855 --> 00:15:10,373
Máquinas que son altruistas,

304
00:15:10,373 --> 00:15:13,025
que desean lograr solo nuestros objetivos,

305
00:15:13,025 --> 00:15:16,065
pero que no están seguras
de cuáles son esos objetivos

306
00:15:16,065 --> 00:15:18,303
y nos observarán a todos

307
00:15:18,303 --> 00:15:21,470
para aprender qué es
lo que realmente queremos.

308
00:15:22,373 --> 00:15:25,932
Y con suerte, en el proceso, 
aprenderemos a ser mejores personas.

309
00:15:25,956 --> 00:15:27,147
Muchas gracias.

310
00:15:27,171 --> 00:15:30,664
(Aplausos)

311
00:15:30,664 --> 00:15:32,822
Chris Anderson: Muy interesante, Stuart.

312
00:15:32,822 --> 00:15:35,580
Vamos a estar aquí un poco
porque creo que están preparando

313
00:15:35,580 --> 00:15:37,141
a nuestro próximo orador.

314
00:15:37,165 --> 00:15:38,703
Un par de preguntas.

315
00:15:38,727 --> 00:15:44,154
La idea de programar ignorancia
parece intuitivamente muy poderosa.

316
00:15:44,154 --> 00:15:45,918
Al llegar a la superinteligencia,

317
00:15:45,918 --> 00:15:48,180
¿qué puede impedir que un robot

318
00:15:48,180 --> 00:15:50,950
lea literatura y descubra esta idea
de que el conocimiento

319
00:15:50,950 --> 00:15:52,632
es mejor que la ignorancia,

320
00:15:52,632 --> 00:15:56,794
cambiando sus propios objetivos
y reescribiendo su programación?

321
00:15:57,692 --> 00:16:03,982
Stuart Russell: Queremos
que aprenda más, como he dicho,

322
00:16:03,982 --> 00:16:05,459
sobre nuestros objetivos.

323
00:16:05,459 --> 00:16:10,904
Solo ganará seguridad
cuanto más acierte.

324
00:16:10,928 --> 00:16:12,873
La evidencia estará ahí,

325
00:16:12,897 --> 00:16:15,621
y estará diseñado para 
interpretarla adecuadamente.

326
00:16:15,645 --> 00:16:19,505
Comprenderá, por ejemplo,
que los libros son muy sesgados

327
00:16:19,505 --> 00:16:21,188
en la evidencia que contienen.

328
00:16:21,188 --> 00:16:23,639
Solo hablan de reyes y príncipes

329
00:16:23,639 --> 00:16:26,353
y hombres blancos poderosos 
haciendo cosas.

330
00:16:26,377 --> 00:16:28,357
Es un problema complicado,

331
00:16:28,357 --> 00:16:32,293
pero conforme aprenda más
sobre nuestros objetivos

332
00:16:32,293 --> 00:16:34,456
será cada vez más útil
para nosotros.

333
00:16:34,480 --> 00:16:37,086
CA: Y no podría reducirse a una ley,

334
00:16:37,086 --> 00:16:38,800
ya sabe, grabada a fuego,

335
00:16:38,800 --> 00:16:41,951
"Si un humano alguna vez
intenta apagarme

336
00:16:41,951 --> 00:16:43,956
yo obedezco, obedezco".

337
00:16:43,980 --> 00:16:45,302
SR: Absolutamente no.

338
00:16:45,302 --> 00:16:46,745
Sería una idea terrible.

339
00:16:46,745 --> 00:16:49,508
Imagine, tiene un auto que se conduce solo

340
00:16:49,508 --> 00:16:52,895
y quiere llevar a su hijo de cinco años
al jardín de infancia.

341
00:16:52,895 --> 00:16:56,378
¿Quiere que su hijo de cinco años pueda
apagar el coche mientras conduce?

342
00:16:56,378 --> 00:16:57,636
Probablemente no.

343
00:16:57,636 --> 00:17:03,349
Por tanto necesita entender 
cuán racional y sensata es la persona.

344
00:17:03,349 --> 00:17:05,065
Cuanto más racional sea la persona,

345
00:17:05,065 --> 00:17:07,172
más dispuesto estará 
a dejar que lo apaguen.

346
00:17:07,172 --> 00:17:09,829
Si la persona es impredecible
o incluso malintencionada

347
00:17:09,829 --> 00:17:12,219
estará menos dispuesto
a permitir que lo apaguen.

348
00:17:12,219 --> 00:17:13,533
CA: Stuart, permítame decir

349
00:17:13,533 --> 00:17:16,238
que de veras espero que resuelva esto
por todos nosotros.

350
00:17:16,238 --> 00:17:19,073
Muchas gracias por su charla. 
Ha sido increíble, gracias.

351
00:17:19,073 --> 00:17:20,503
(Aplausos)