WEBVTT

00:00:00.712 --> 00:00:02.424
Este es Lee Sedol.

00:00:02.424 --> 00:00:05.354
Lee Sedol es uno de los mejores
jugadores de Go del mundo.

00:00:05.354 --> 00:00:08.809
Y está teniendo lo que mis amigos
de Silicon Valley llaman

00:00:08.809 --> 00:00:10.729
un momento "¡Bendito Dios!".

00:00:10.729 --> 00:00:11.830
(Risas)

00:00:11.830 --> 00:00:14.003
Un momento en el que nos damos cuenta

00:00:14.003 --> 00:00:17.798
de que la IA está avanzando 
mucho más rápido de lo que esperábamos.

00:00:17.798 --> 00:00:20.028
Los humanos han perdido 
en el tablero de Go.

00:00:20.028 --> 00:00:21.294
¿Y en el mundo real?

00:00:21.294 --> 00:00:24.215
Bueno, el mundo real es mucho 
más grande y complicado

00:00:24.215 --> 00:00:25.515
que el tablero de Go.

00:00:25.515 --> 00:00:26.935
Es mucho menos visible.

00:00:26.935 --> 00:00:29.385
Pero sigue siendo un problema de decisión.

00:00:30.765 --> 00:00:35.023
Y si pensamos en algunas
de las tecnologías que están por venir

00:00:35.548 --> 00:00:39.883
Noriko [Arai] mencionó 
que las máquinas aún no saben leer,

00:00:39.883 --> 00:00:41.683
al menos no comprendiendo,

00:00:41.683 --> 00:00:44.197
pero lo harán, y cuando eso suceda,

00:00:45.097 --> 00:00:50.659
poco después las máquinas habrán leído 
todo lo que la raza humana ha escrito.

00:00:51.850 --> 00:00:53.678
Eso permitirá a las máquinas,

00:00:53.678 --> 00:00:56.788
junto a su habilidad mirar más allá 
de lo que pueden los humanos,

00:00:56.788 --> 00:00:58.168
como ya hemos visto en el Go,

00:00:58.168 --> 00:01:00.552
si también tienen acceso 
a más información,

00:01:00.552 --> 00:01:03.792
serán capaces de tomar 
mejores decisiones en el mundo real

00:01:03.792 --> 00:01:04.862
que nosotros.

00:01:06.792 --> 00:01:08.398
¿Es eso bueno?

00:01:09.898 --> 00:01:12.130
Bueno, espero que sí.

00:01:14.694 --> 00:01:17.949
Toda nuestra civilización,
todo lo que valoramos,

00:01:17.973 --> 00:01:20.041
se basa en nuestra inteligencia.

00:01:20.065 --> 00:01:23.759
Y si tuviéramos acceso
a mucha más inteligencia,

00:01:23.783 --> 00:01:27.345
entonces no existirían límites
para lo que la raza humana pueda hacer.

00:01:28.665 --> 00:01:31.404
Y creo que este podría ser, 
como han dicho algunos,

00:01:31.404 --> 00:01:34.030
el mayor acontecimiento
de la historia de la humanidad.

00:01:36.665 --> 00:01:39.494
Entonces, ¿por qué la gente afirma
cosas como esta?

00:01:39.518 --> 00:01:43.042
Que la inteligencia artificial podría
significar el fin de la raza humana.

00:01:43.438 --> 00:01:45.097
¿Es esto algo nuevo?

00:01:45.121 --> 00:01:49.231
¿Se trata solo de Elon Musk 
y Bill Gates y Stephen Hawking?

00:01:49.953 --> 00:01:53.215
En realidad, no. Esta idea no es nueva.

00:01:53.239 --> 00:01:55.201
He aquí una cita:

00:01:55.225 --> 00:01:59.575
"Incluso si pudiéramos mantener las
máquinas en una posición servil,

00:01:59.599 --> 00:02:02.583
por ejemplo, desconectándolas
en momentos estratégicos"

00:02:02.607 --> 00:02:05.844
--volveré a esa idea de 
"quitar la corriente" más adelante--

00:02:05.868 --> 00:02:08.726
"deberíamos, como especie,
sentirnos humillados".

00:02:10.176 --> 00:02:13.625
¿Quién dijo esto?
Este es Alan Turing, en 1951.

00:02:14.300 --> 00:02:17.063
Alan Turing, como Uds. saben,
es el padre de la informática

00:02:17.087 --> 00:02:20.135
y en muchos sentidos 
también el padre de la IA.

00:02:21.239 --> 00:02:23.121
Así que si pensamos en este problema,

00:02:23.145 --> 00:02:26.932
el problema de crear algo
más inteligente que tu propia especie,

00:02:26.956 --> 00:02:29.578
podríamos llamar a esto
"el problema del gorila".

00:02:30.345 --> 00:02:34.095
Porque los antepasados de los gorilas
hicieron esto hace unos millones de años,

00:02:34.119 --> 00:02:36.159
y ahora podríamos
preguntar a los gorilas:

00:02:36.752 --> 00:02:37.912
¿Fue una buena idea?

00:02:37.936 --> 00:02:41.926
Aquí están, reunidos para discutir 
si fue una buena idea,

00:02:41.926 --> 00:02:44.916
y pasado un tiempo concluyen que no.

00:02:44.916 --> 00:02:46.275
Fue una idea terrible.

00:02:46.275 --> 00:02:48.011
Nuestra especie está en apuros.

00:02:48.538 --> 00:02:52.801
De hecho, pueden ver 
la tristeza existencial en sus ojos.

00:02:52.825 --> 00:02:54.465
(Risas)

00:02:54.489 --> 00:02:58.283
Así que esta sensación mareante
de que crear algo más inteligente

00:02:58.283 --> 00:03:01.718
que tu propia especie
tal vez no sea buena idea...

00:03:02.488 --> 00:03:03.979
¿Qué podemos hacer al respecto?

00:03:04.003 --> 00:03:08.770
Bueno, nada en realidad,
excepto dejar de hacer IA.

00:03:08.794 --> 00:03:11.344
Y por todos los beneficios 
que he mencionado

00:03:11.344 --> 00:03:13.044
y porque soy un investigador de IA,

00:03:13.068 --> 00:03:14.859
no voy a tomar eso.

00:03:15.283 --> 00:03:17.751
Sin duda quiero seguir creando IA.

00:03:18.615 --> 00:03:21.293
Así que necesitamos precisar
el problema un poco más.

00:03:21.317 --> 00:03:22.688
¿Cuál es el problema?

00:03:22.712 --> 00:03:25.958
¿Por qué tener mejor IA 
puede ser una catástrofe?

00:03:27.398 --> 00:03:28.896
Aquí hay otra cita:

00:03:29.935 --> 00:03:32.135
"Más nos vale estar seguros
de que el propósito

00:03:32.135 --> 00:03:35.004
que introducimos en la máquina
es el que de verdad deseamos".

00:03:36.134 --> 00:03:39.312
Esto fue dicho por Norbert Wiener en 1960,

00:03:39.312 --> 00:03:43.490
poco después de ver a uno de
los primeros sistemas de aprendizaje

00:03:43.490 --> 00:03:46.336
aprender a jugar a las damas
mejor que su creador.

00:03:48.602 --> 00:03:52.165
Pero esto podría haberlo dicho 
de igual modo el Rey Midas.

00:03:52.165 --> 00:03:56.146
El Rey Midas dijo, "Deseo que todo 
lo que toque se convierta en oro".

00:03:56.146 --> 00:03:58.667
Y obtuvo justo lo que pidió.

00:03:58.667 --> 00:04:02.114
Fue el propósito que introdujo
en la máquina, por así decirlo.

00:04:02.987 --> 00:04:06.355
Y luego su comida, su bebida
y sus familiares se convirtieron en oro

00:04:06.355 --> 00:04:08.736
y murió miserable y muerto de hambre.

00:04:10.444 --> 00:04:13.055
Así que llamaremos a esto
"el problema del rey Midas",

00:04:13.055 --> 00:04:16.213
el de indicar un objetivo
que no está realmente

00:04:16.213 --> 00:04:18.551
alineado con lo que de verdad queremos.

00:04:18.575 --> 00:04:22.290
En términos modernos, lo llamamos
"el problema de alineación de valor".

00:04:25.047 --> 00:04:28.532
Introducir un objetivo equivocado
no es la única parte del problema.

00:04:28.556 --> 00:04:29.708
Hay otra parte.

00:04:30.160 --> 00:04:32.103
Al introducir un objetivo en una máquina

00:04:32.127 --> 00:04:34.575
incluso algo tan simple como
"Trae el café",

00:04:35.908 --> 00:04:37.749
la máquina se dice a sí misma,

00:04:38.733 --> 00:04:41.133
"¿Cómo podría fallar 
yendo a buscar el café?

00:04:41.133 --> 00:04:42.953
Alguien podría desconectarme.

00:04:42.953 --> 00:04:45.655
Vale, debo tomar medidas para evitarlo.

00:04:46.019 --> 00:04:48.150
Desactivaré mi interruptor de 'apagado'.


00:04:48.150 --> 00:04:51.262
Haré cualquier cosa para protegerme
de interferencias

00:04:51.262 --> 00:04:53.508
con este objetivo que me han dado.

00:04:54.168 --> 00:04:56.288
Así que esta persecución obsesiva

00:04:57.064 --> 00:05:00.164
de un modo muy defensivo
para lograr un objetivo

00:05:00.164 --> 00:05:02.494
que no está alineado
con los verdaderos objetivos

00:05:02.494 --> 00:05:03.647
de la raza humana...

00:05:03.647 --> 00:05:06.006
ese es el problema 
al que nos enfrentamos.

00:05:06.706 --> 00:05:11.497
Y de hecho esa es la lección
más valiosa de esta charla.

00:05:11.617 --> 00:05:13.818
Si quieren recordar una cosa

00:05:13.877 --> 00:05:16.552
es que no se puede ir a buscar
el café si se está muerto.

00:05:16.576 --> 00:05:17.637
(Risas)

00:05:17.661 --> 00:05:21.490
Es muy simple. Solo recuerden eso.
Repítanlo tres veces al día.

00:05:21.514 --> 00:05:23.335
(Risas)

00:05:23.359 --> 00:05:26.113
Y de hecho, este es el mismo argumento

00:05:26.137 --> 00:05:28.785
de "2001: [Una odisea del espacio]".

00:05:29.226 --> 00:05:31.316
HAL tiene un objetivo, una misión,

00:05:31.340 --> 00:05:35.072
que no está alineada
con los objetivos de los humanos,

00:05:35.096 --> 00:05:36.906
y eso conduce a este conflicto.

00:05:37.494 --> 00:05:40.463
Por suerte HAL no es superinteligente.

00:05:40.487 --> 00:05:43.028
Es bastante inteligente,
pero llegado el momento,

00:05:43.028 --> 00:05:45.947
Dave lo supera y logra apagarlo.

00:05:49.828 --> 00:05:51.638
Pero tal vez no tengamos tanta suerte.

00:05:56.193 --> 00:05:57.785
Entonces, ¿qué vamos a hacer?

00:06:00.371 --> 00:06:02.972
Estoy tratando de redefinir la IA

00:06:02.996 --> 00:06:05.057
para alejarnos de esta noción clásica

00:06:05.081 --> 00:06:09.648
de máquinas que persiguen objetivos
de manera inteligente.

00:06:10.712 --> 00:06:12.510
Hay tres principios implicados.

00:06:12.534 --> 00:06:15.823
El primero es un principio
de altruismo, por así decirlo,

00:06:15.847 --> 00:06:19.109
el único objetivo del robot

00:06:19.133 --> 00:06:23.379
es maximizar la realización
de los objetivos humanos,

00:06:23.403 --> 00:06:24.793
de los valores humanos.

00:06:24.817 --> 00:06:28.147
Y por valores aquí no me refiero
a valores sentimentales o de bondad.

00:06:28.171 --> 00:06:31.958
Solo quiero decir aquello
más similar a la vida

00:06:31.982 --> 00:06:33.325
que un humano preferiría.

00:06:35.364 --> 00:06:37.487
Y esto viola la ley de Asimov

00:06:37.487 --> 00:06:39.966
de que el robot debe proteger
su propia existencia.

00:06:39.966 --> 00:06:43.773
No tiene ningún interés en preservar
su existencia en absoluto.

00:06:45.420 --> 00:06:49.188
La segunda ley es una ley
de humildad, digamos.

00:06:49.974 --> 00:06:53.717
Y resulta muy importante
para que los robots sean seguros.

00:06:53.741 --> 00:06:56.883
Dice que el robot no sabe

00:06:56.907 --> 00:06:58.935
cuáles son esos valores humanos,

00:06:58.959 --> 00:07:02.137
así que debe maximizarlos,
pero no sabe lo que son.

00:07:03.254 --> 00:07:05.880
Lo cual evita el problema 
de la búsqueda obsesiva

00:07:05.904 --> 00:07:07.116
de un objetivo.

00:07:07.140 --> 00:07:09.312
Esta incertidumbre resulta crucial.

00:07:09.726 --> 00:07:11.435
Claro que para sernos útiles,

00:07:11.435 --> 00:07:14.120
deben tener alguna idea 
de lo que queremos.

00:07:15.223 --> 00:07:20.650
Obtiene esa información sobre todo
observando elecciones humanas,

00:07:20.674 --> 00:07:23.475
para que nuestras propias
decisiones revelen información

00:07:23.499 --> 00:07:26.799
sobre lo que nosotros preferimos
para nuestras vidas.

00:07:28.632 --> 00:07:30.315
Estos son los tres principios.

00:07:30.339 --> 00:07:32.657
Veamos cómo se aplica a esta cuestión

00:07:32.681 --> 00:07:35.470
de "apagar la máquina", 
como sugirió Turing.

00:07:37.073 --> 00:07:38.837
He aquí un robot PR2.

00:07:38.837 --> 00:07:41.038
Es uno que tenemos
en nuestro laboratorio,

00:07:41.062 --> 00:07:44.491
y tiene un gran botón rojo de 'apagado'
en la parte posterior.

00:07:44.541 --> 00:07:46.940
La pregunta es: ¿Va a
dejar que lo apaguen?

00:07:46.940 --> 00:07:48.645
Si lo hacemos a la manera clásica,

00:07:48.669 --> 00:07:52.151
le damos el objetivo de traer
el café. "Debo traer el café.

00:07:52.175 --> 00:07:54.755
No puedo traer el café 
si estoy muerto".

00:07:54.779 --> 00:07:58.120
Obviamente el PR2 
ha escuchado mi charla,

00:07:58.144 --> 00:08:00.046
y por tanto, decide

00:08:00.046 --> 00:08:02.976
"Debo inhabilitar mi botón de 'apagado'".

00:08:02.976 --> 00:08:06.160
"Y probablemente electrocutar 
al resto de personas en el Starbucks

00:08:06.160 --> 00:08:07.434
que podrían interferir".

00:08:07.434 --> 00:08:09.340
(Risas)

00:08:09.364 --> 00:08:11.517
Así que esto parece ser
inevitable, ¿verdad?

00:08:11.541 --> 00:08:13.939
Este tipo de error 
parece ser inevitable,

00:08:13.963 --> 00:08:17.506
y sucede por tener 
un objetivo concreto, definido.

00:08:18.812 --> 00:08:21.956
Entonces, ¿qué pasa si la máquina
no tiene claro el objetivo?

00:08:21.980 --> 00:08:24.107
Bueno, razona de una manera diferente.

00:08:24.131 --> 00:08:28.665
Dice, "El humano podría desconectarme,
pero solo si hago algo malo.

00:08:29.757 --> 00:08:33.776
No tengo claro lo que es malo
pero sé que no quiero hacerlo".

00:08:33.786 --> 00:08:36.359
Ahí están el primer 
y el segundo principio.

00:08:37.359 --> 00:08:40.543
"Así que debería dejar 
que el humano me desconecte".

00:08:41.721 --> 00:08:45.341
De hecho se puede calcular 
el incentivo que tiene el robot

00:08:45.341 --> 00:08:48.211
para permitir que el humano lo apague.

00:08:48.218 --> 00:08:50.982
Y está directamente ligado 
al grado de incertidumbre

00:08:50.982 --> 00:08:53.032
sobre el objetivo subyacente.

00:08:53.426 --> 00:08:57.022
Y entonces cuando la máquina está apagada,

00:08:57.022 --> 00:08:58.755
el tercer principio entra en juego.

00:08:58.779 --> 00:09:01.841
Aprende algo sobre los objetivos
que debe perseguir,

00:09:01.865 --> 00:09:04.398
porque aprende que
lo que hizo no estaba bien.

00:09:04.422 --> 00:09:07.992
De hecho, podemos, con el uso adecuado
de los símbolos griegos,

00:09:08.016 --> 00:09:10.147
como suelen hacer los matemáticos,

00:09:10.171 --> 00:09:12.155
podemos probar un teorema

00:09:12.179 --> 00:09:15.732
que dice que tal robot es probablemente
beneficioso para el humano.

00:09:15.756 --> 00:09:19.559
Se está demostrablemente mejor con
una máquina que se diseña de esta manera

00:09:19.583 --> 00:09:20.829
que sin ella.

00:09:21.237 --> 00:09:24.143
Este es un ejemplo muy simple,
pero este es el primer paso

00:09:24.167 --> 00:09:28.070
en lo que estamos tratando de hacer
con IA compatible con humanos.

00:09:30.657 --> 00:09:33.914
Ahora, este tercer principio,

00:09:33.938 --> 00:09:37.050
es probablemente el que está haciendo
que se rasquen la cabeza.

00:09:37.074 --> 00:09:40.084
Probablemente piensen: 
"Yo me comporto mal.

00:09:40.084 --> 00:09:43.174
No quiero que mi robot 
se comporte como yo.

00:09:43.174 --> 00:09:46.264
Me escabullo en mitad de la noche 
y tomo cosas de la nevera,

00:09:46.264 --> 00:09:47.545
hago esto y hago aquello".

00:09:47.545 --> 00:09:50.196
Hay todo tipo de cosas que no
quieres que haga el robot.

00:09:50.596 --> 00:09:52.824
Pero lo cierto es que 
no funciona así.

00:09:52.824 --> 00:09:54.986
Solo porque uno se comporte mal

00:09:54.986 --> 00:09:57.771
no significa que el robot
vaya a copiar su comportamiento.

00:09:57.771 --> 00:10:01.042
Va a entender sus motivaciones
y tal vez a ayudarle a resistirlas,

00:10:01.616 --> 00:10:02.936
si es apropiado.

00:10:04.206 --> 00:10:05.670
Pero sigue siendo difícil.

00:10:06.302 --> 00:10:08.847
Lo que estamos tratando
de hacer, de hecho,

00:10:08.871 --> 00:10:12.891
es permitir que las máquinas predigan
para cualquier persona

00:10:12.891 --> 00:10:15.852
y para cualquier vida posible 
que podrían vivir,

00:10:15.876 --> 00:10:17.473
y las vidas de todos los demás

00:10:17.497 --> 00:10:20.014
lo que preferirían.

00:10:22.061 --> 00:10:25.015
Y hay muchas, muchas 
dificultades ligadas a hacer esto.

00:10:25.039 --> 00:10:27.971
No espero que vaya a resolverse pronto.

00:10:27.995 --> 00:10:30.638
Las verdaderas dificultades,
de hecho, somos nosotros.

00:10:32.149 --> 00:10:35.266
Como ya he mencionado,
nos comportamos mal.

00:10:35.290 --> 00:10:38.243
De hecho, algunos de nosotros
somos francamente desagradables.

00:10:38.431 --> 00:10:41.483
Como he dicho, el robot
no tiene que copiar el comportamiento.

00:10:41.507 --> 00:10:44.298
El robot no tiene ningún objetivo propio.

00:10:44.322 --> 00:10:46.059
Es puramente altruista.

00:10:47.293 --> 00:10:52.514
Y no está diseñado solo para satisfacer
los deseos de una persona, el usuario,

00:10:52.538 --> 00:10:55.676
sino que tiene que respetar
las preferencias de todos.

00:10:57.263 --> 00:10:59.833
Así que puede lidiar 
con cierta cantidad de maldad,

00:10:59.857 --> 00:11:03.558
e incluso puede entender
que su maldad, por ejemplo...

00:11:03.582 --> 00:11:06.393
Ud. puede aceptar sobornos 
como controlador de pasaportes

00:11:06.393 --> 00:11:10.089
porque necesita alimentar a su familia 
y que sus hijos vayan a la escuela.

00:11:10.113 --> 00:11:13.019
Puede entender eso;
no significa que vaya a robar.

00:11:13.043 --> 00:11:15.908
De hecho, solo le ayudará
a que sus hijos vayan al colegio.

00:11:16.976 --> 00:11:19.988
También estamos limitados
computacionalmente.

00:11:20.012 --> 00:11:22.517
Lee Sedol es un jugador brillante de Go,

00:11:22.541 --> 00:11:23.866
pero aun así perdió.

00:11:23.890 --> 00:11:28.129
Si nos fijamos en sus acciones,
tomó una decisión que le hizo perder.

00:11:28.153 --> 00:11:30.314
Eso no significa que él quisiera perder.

00:11:31.340 --> 00:11:33.380
Así que para entender su comportamiento,

00:11:33.404 --> 00:11:37.048
en realidad tenemos que invertir,
a través de un modelo cognitivo humano

00:11:37.072 --> 00:11:39.813
que incluye nuestras 
limitaciones computacionales,

00:11:39.813 --> 00:11:42.073
y se trata de un modelo muy complicado.

00:11:42.073 --> 00:11:44.996
Pero es algo en lo que podemos 
trabajar para comprender.

00:11:45.586 --> 00:11:48.280
Puede que la parte más difícil, 
desde mi punto de vista

00:11:48.280 --> 00:11:49.500
como investigador de IA,

00:11:49.500 --> 00:11:52.795
es el hecho de que hay muchos de nosotros,

00:11:54.294 --> 00:11:57.149
con lo cual la máquina tiene que sopesar

00:11:57.149 --> 00:12:00.124
las preferencias de mucha gente diferente.

00:12:00.148 --> 00:12:02.054
Hay diferentes maneras de hacer eso.

00:12:02.078 --> 00:12:05.767
Economistas, sociólogos, 
filósofos morales han comprendido esto

00:12:05.791 --> 00:12:08.246
y estamos buscando 
colaboración de manera activa.

00:12:08.270 --> 00:12:11.521
Vamos a ver lo que sucede
cuando esto se hace mal.

00:12:11.545 --> 00:12:13.678
Ud. puede estar hablando, por ejemplo,

00:12:13.702 --> 00:12:15.646
con su asistente personal inteligente

00:12:15.670 --> 00:12:17.955
que podría estar disponible
dentro de unos años.

00:12:17.979 --> 00:12:20.503
Piensen en Siri con esteroides.

00:12:21.627 --> 00:12:25.949
Siri dice "Su esposa llamó para 
recordarle la cena de esta noche".

00:12:26.616 --> 00:12:29.904
Por supuesto, lo había olvidado.
¿Qué cena? ¿De qué está hablando?

00:12:30.794 --> 00:12:32.806
"Su 20 aniversario, a las 7pm".

00:12:36.746 --> 00:12:40.155
"No puedo, me reúno con el 
secretario general a las 7:30.

00:12:40.155 --> 00:12:42.495
¿Cómo ha podido suceder esto?".

00:12:42.495 --> 00:12:46.924
"Bueno, le advertí, pero ignoró
mi recomendación".

00:12:47.174 --> 00:12:50.592
"¿Qué voy a hacer? No puedo decirles 
que estoy demasiado ocupado".

00:12:52.128 --> 00:12:56.156
"No se preocupe, he hecho
que su avión se retrase".

00:12:56.156 --> 00:12:58.354
(Risas)

00:12:58.354 --> 00:13:00.805
"Algún tipo de error en el ordenador".

00:13:00.805 --> 00:13:01.610
(Risas)

00:13:01.610 --> 00:13:03.227
"¿En serio? ¿Puede hacer eso?".

00:13:04.400 --> 00:13:06.579
"Le envía sinceras disculpas

00:13:06.603 --> 00:13:09.158
y espera poder conocerle
mañana para el almuerzo".

00:13:09.182 --> 00:13:10.481
(Risas)

00:13:10.505 --> 00:13:14.908
Así que los valores aquí...
aquí hay un pequeño fallo.

00:13:14.932 --> 00:13:17.941
Claramente está siguiendo
los valores de mi esposa

00:13:17.965 --> 00:13:20.034
que son "esposa feliz, vida feliz".

00:13:20.058 --> 00:13:21.641
(Risas)

00:13:21.665 --> 00:13:23.109
Podría suceder al revés.

00:13:23.641 --> 00:13:26.022
Podría llegar a casa
tras un duro día de trabajo,

00:13:26.046 --> 00:13:28.291
y el ordenador dice "¿Un día duro?".

00:13:28.291 --> 00:13:30.127
"Sí, ni tuve tiempo de almorzar".

00:13:30.127 --> 00:13:31.939
"Debe tener mucha hambre".

00:13:31.939 --> 00:13:34.889
"Me muero de hambre, sí,
¿podría preparar algo de cena?".

00:13:36.070 --> 00:13:38.160
"Hay algo que necesito decirle".

00:13:38.184 --> 00:13:39.339
(Risas)

00:13:40.193 --> 00:13:45.098
"Hay humanos en Sudán del Sur
más necesitados que Ud.".

00:13:45.122 --> 00:13:46.226
(Risas)

00:13:46.250 --> 00:13:48.325
"Así que me voy, hágase su propia cena".

00:13:48.349 --> 00:13:50.349
(Risas)

00:13:50.583 --> 00:13:52.702
Así que tenemos que
resolver estos problemas,

00:13:52.702 --> 00:13:54.611
y tengo ganas de trabajar en ellos.

00:13:55.125 --> 00:13:56.968
Hay razones para ser optimistas.

00:13:56.992 --> 00:14:00.071
Una razón es que hay 
gran cantidad de datos

00:14:00.071 --> 00:14:03.501
Recuerden, leerán todo lo que 
la raza humana ha escrito.

00:14:03.501 --> 00:14:07.123
La mayoría de lo que escribimos
trata sobre humanos haciendo cosas

00:14:07.123 --> 00:14:09.117
y cómo estas molestan a otras personas.

00:14:09.141 --> 00:14:11.539
Así que hay muchos datos
de los que aprender.

00:14:11.563 --> 00:14:13.799
También hay un fuerte incentivo económico

00:14:14.971 --> 00:14:16.331
para que esto funcione bien.

00:14:16.331 --> 00:14:18.432
Imagine que su robot 
doméstico está en casa

00:14:18.432 --> 00:14:19.952
Ud. llega tarde del trabajo,

00:14:19.952 --> 00:14:22.087
el robot tiene que dar 
de comer a los niños,

00:14:22.087 --> 00:14:24.510
los niños tienen hambre
y no hay nada en la nevera.

00:14:24.510 --> 00:14:27.109
Y el robot ve al gato.

00:14:27.133 --> 00:14:28.825
(Risas)

00:14:28.849 --> 00:14:32.953
Y el robot no ha aprendido del todo bien
la función del valor humano

00:14:32.953 --> 00:14:34.464
por lo que no entiende

00:14:34.464 --> 00:14:38.766
que el valor sentimental del gato supera
el valor nutricional del gato.

00:14:38.766 --> 00:14:39.861
(Risas)

00:14:39.861 --> 00:14:41.357
Entonces, ¿qué pasa?

00:14:41.357 --> 00:14:45.394
Bueno, sucede lo siguiente:

00:14:45.418 --> 00:14:48.382
"Robot desquiciado cocina a un gatito
para la cena familiar".

00:14:48.406 --> 00:14:52.929
Ese único incidente acabaría
con la industria de robots domésticos.

00:14:52.953 --> 00:14:56.325
Así que hay un gran incentivo
para hacer esto bien.

00:14:56.349 --> 00:14:59.064
mucho antes de llegar
a las máquinas superinteligentes.

00:15:00.128 --> 00:15:01.663
Así que para resumir:

00:15:01.687 --> 00:15:04.568
Estoy intentando cambiar
la definición de IA

00:15:04.592 --> 00:15:07.585
para que tengamos máquinas
demostrablemente beneficiosas.

00:15:07.609 --> 00:15:08.831
Y los principios son:

00:15:08.855 --> 00:15:10.373
Máquinas que son altruistas,

00:15:10.373 --> 00:15:13.025
que desean lograr solo nuestros objetivos,

00:15:13.025 --> 00:15:16.065
pero que no están seguras
de cuáles son esos objetivos

00:15:16.065 --> 00:15:18.303
y nos observarán a todos

00:15:18.303 --> 00:15:21.470
para aprender qué es
lo que realmente queremos.

00:15:22.373 --> 00:15:25.932
Y con suerte, en el proceso, 
aprenderemos a ser mejores personas.

00:15:25.956 --> 00:15:27.147
Muchas gracias.

00:15:27.171 --> 00:15:30.664
(Aplausos)

00:15:30.664 --> 00:15:32.822
Chris Anderson: Muy interesante, Stuart.

00:15:32.822 --> 00:15:35.580
Vamos a estar aquí un poco
porque creo que están preparando

00:15:35.580 --> 00:15:37.141
a nuestro próximo orador.

00:15:37.165 --> 00:15:38.703
Un par de preguntas.

00:15:38.727 --> 00:15:44.154
La idea de programar ignorancia
parece intuitivamente muy poderosa.

00:15:44.154 --> 00:15:45.918
Al llegar a la superinteligencia,

00:15:45.918 --> 00:15:48.180
¿qué puede impedir que un robot

00:15:48.180 --> 00:15:50.950
lea literatura y descubra esta idea
de que el conocimiento

00:15:50.950 --> 00:15:52.632
es mejor que la ignorancia,

00:15:52.632 --> 00:15:56.794
cambiando sus propios objetivos
y reescribiendo su programación?

00:15:57.692 --> 00:16:03.982
Stuart Russell: Queremos
que aprenda más, como he dicho,

00:16:03.982 --> 00:16:05.459
sobre nuestros objetivos.

00:16:05.459 --> 00:16:10.904
Solo ganará seguridad
cuanto más acierte.

00:16:10.928 --> 00:16:12.873
La evidencia estará ahí,

00:16:12.897 --> 00:16:15.621
y estará diseñado para 
interpretarla adecuadamente.

00:16:15.645 --> 00:16:19.505
Comprenderá, por ejemplo,
que los libros son muy sesgados

00:16:19.505 --> 00:16:21.188
en la evidencia que contienen.

00:16:21.188 --> 00:16:23.639
Solo hablan de reyes y príncipes

00:16:23.639 --> 00:16:26.353
y hombres blancos poderosos 
haciendo cosas.

00:16:26.377 --> 00:16:28.357
Es un problema complicado,

00:16:28.357 --> 00:16:32.293
pero conforme aprenda más
sobre nuestros objetivos

00:16:32.293 --> 00:16:34.456
será cada vez más útil
para nosotros.

00:16:34.480 --> 00:16:37.086
CA: Y no podría reducirse a una ley,

00:16:37.086 --> 00:16:38.800
ya sabe, grabada a fuego,

00:16:38.800 --> 00:16:41.951
"Si un humano alguna vez
intenta apagarme

00:16:41.951 --> 00:16:43.956
yo obedezco, obedezco".

00:16:43.980 --> 00:16:45.302
SR: Absolutamente no.

00:16:45.302 --> 00:16:46.745
Sería una idea terrible.

00:16:46.745 --> 00:16:49.508
Imagine, tiene un auto que se conduce solo

00:16:49.508 --> 00:16:52.895
y quiere llevar a su hijo de cinco años
al jardín de infancia.

00:16:52.895 --> 00:16:56.378
¿Quiere que su hijo de cinco años pueda
apagar el coche mientras conduce?

00:16:56.378 --> 00:16:57.636
Probablemente no.

00:16:57.636 --> 00:17:03.349
Por tanto necesita entender 
cuán racional y sensata es la persona.

00:17:03.349 --> 00:17:05.065
Cuanto más racional sea la persona,

00:17:05.065 --> 00:17:07.172
más dispuesto estará 
a dejar que lo apaguen.

00:17:07.172 --> 00:17:09.829
Si la persona es impredecible
o incluso malintencionada

00:17:09.829 --> 00:17:12.219
estará menos dispuesto
a permitir que lo apaguen.

00:17:12.219 --> 00:17:13.533
CA: Stuart, permítame decir

00:17:13.533 --> 00:17:16.238
que de veras espero que resuelva esto
por todos nosotros.

00:17:16.238 --> 00:17:19.073
Muchas gracias por su charla. 
Ha sido increíble, gracias.

00:17:19.073 --> 00:17:20.503
(Aplausos)