0:00:00.712,0:00:02.424
Este es Lee Sedol.

0:00:02.424,0:00:05.354
Lee Sedol es uno de los mejores[br]jugadores de Go del mundo.

0:00:05.354,0:00:08.809
Y está teniendo lo que mis amigos[br]de Silicon Valley llaman

0:00:08.809,0:00:10.729
un momento "¡Bendito Dios!".

0:00:10.729,0:00:11.830
(Risas)

0:00:11.830,0:00:14.003
Un momento en el que nos damos cuenta

0:00:14.003,0:00:17.798
de que la IA está avanzando [br]mucho más rápido de lo que esperábamos.

0:00:17.798,0:00:20.028
Los humanos han perdido [br]en el tablero de Go.

0:00:20.028,0:00:21.294
¿Y en el mundo real?

0:00:21.294,0:00:24.215
Bueno, el mundo real es mucho [br]más grande y complicado

0:00:24.215,0:00:25.515
que el tablero de Go.

0:00:25.515,0:00:26.935
Es mucho menos visible.

0:00:26.935,0:00:29.385
Pero sigue siendo un problema de decisión.

0:00:30.765,0:00:35.023
Y si pensamos en algunas[br]de las tecnologías que están por venir

0:00:35.548,0:00:39.883
Noriko [Arai] mencionó [br]que las máquinas aún no saben leer,

0:00:39.883,0:00:41.683
al menos no comprendiendo,

0:00:41.683,0:00:44.197
pero lo harán, y cuando eso suceda,

0:00:45.097,0:00:50.659
poco después las máquinas habrán leído [br]todo lo que la raza humana ha escrito.

0:00:51.850,0:00:53.678
Eso permitirá a las máquinas,

0:00:53.678,0:00:56.788
junto a su habilidad mirar más allá [br]de lo que pueden los humanos,

0:00:56.788,0:00:58.168
como ya hemos visto en el Go,

0:00:58.168,0:01:00.552
si también tienen acceso [br]a más información,

0:01:00.552,0:01:03.792
serán capaces de tomar [br]mejores decisiones en el mundo real

0:01:03.792,0:01:04.862
que nosotros.

0:01:06.792,0:01:08.398
¿Es eso bueno?

0:01:09.898,0:01:12.130
Bueno, espero que sí.

0:01:14.694,0:01:17.949
Toda nuestra civilización,[br]todo lo que valoramos,

0:01:17.973,0:01:20.041
se basa en nuestra inteligencia.

0:01:20.065,0:01:23.759
Y si tuviéramos acceso[br]a mucha más inteligencia,

0:01:23.783,0:01:27.345
entonces no existirían límites[br]para lo que la raza humana pueda hacer.

0:01:28.665,0:01:31.404
Y creo que este podría ser, [br]como han dicho algunos,

0:01:31.404,0:01:34.030
el mayor acontecimiento[br]de la historia de la humanidad.

0:01:36.665,0:01:39.494
Entonces, ¿por qué la gente afirma[br]cosas como esta?

0:01:39.518,0:01:43.042
Que la inteligencia artificial podría[br]significar el fin de la raza humana.

0:01:43.438,0:01:45.097
¿Es esto algo nuevo?

0:01:45.121,0:01:49.231
¿Se trata solo de Elon Musk [br]y Bill Gates y Stephen Hawking?

0:01:49.953,0:01:53.215
En realidad, no. Esta idea no es nueva.

0:01:53.239,0:01:55.201
He aquí una cita:

0:01:55.225,0:01:59.575
"Incluso si pudiéramos mantener las[br]máquinas en una posición servil,

0:01:59.599,0:02:02.583
por ejemplo, desconectándolas[br]en momentos estratégicos"

0:02:02.607,0:02:05.844
--volveré a esa idea de [br]"quitar la corriente" más adelante--

0:02:05.868,0:02:08.726
"deberíamos, como especie,[br]sentirnos humillados".

0:02:10.176,0:02:13.625
¿Quién dijo esto?[br]Este es Alan Turing, en 1951.

0:02:14.300,0:02:17.063
Alan Turing, como Uds. saben,[br]es el padre de la informática

0:02:17.087,0:02:20.135
y en muchos sentidos [br]también el padre de la IA.

0:02:21.239,0:02:23.121
Así que si pensamos en este problema,

0:02:23.145,0:02:26.932
el problema de crear algo[br]más inteligente que tu propia especie,

0:02:26.956,0:02:29.578
podríamos llamar a esto[br]"el problema del gorila".

0:02:30.345,0:02:34.095
Porque los antepasados de los gorilas[br]hicieron esto hace unos millones de años,

0:02:34.119,0:02:36.159
y ahora podríamos[br]preguntar a los gorilas:

0:02:36.752,0:02:37.912
¿Fue una buena idea?

0:02:37.936,0:02:41.926
Aquí están, reunidos para discutir [br]si fue una buena idea,

0:02:41.926,0:02:44.916
y pasado un tiempo concluyen que no.

0:02:44.916,0:02:46.275
Fue una idea terrible.

0:02:46.275,0:02:48.011
Nuestra especie está en apuros.

0:02:48.538,0:02:52.801
De hecho, pueden ver [br]la tristeza existencial en sus ojos.

0:02:52.825,0:02:54.465
(Risas)

0:02:54.489,0:02:58.283
Así que esta sensación mareante[br]de que crear algo más inteligente

0:02:58.283,0:03:01.718
que tu propia especie[br]tal vez no sea buena idea...

0:03:02.488,0:03:03.979
¿Qué podemos hacer al respecto?

0:03:04.003,0:03:08.770
Bueno, nada en realidad,[br]excepto dejar de hacer IA.

0:03:08.794,0:03:11.344
Y por todos los beneficios [br]que he mencionado

0:03:11.344,0:03:13.044
y porque soy un investigador de IA,

0:03:13.068,0:03:14.859
no voy a tomar eso.

0:03:15.283,0:03:17.751
Sin duda quiero seguir creando IA.

0:03:18.615,0:03:21.293
Así que necesitamos precisar[br]el problema un poco más.

0:03:21.317,0:03:22.688
¿Cuál es el problema?

0:03:22.712,0:03:25.958
¿Por qué tener mejor IA [br]puede ser una catástrofe?

0:03:27.398,0:03:28.896
Aquí hay otra cita:

0:03:29.935,0:03:32.135
"Más nos vale estar seguros[br]de que el propósito

0:03:32.135,0:03:35.004
que introducimos en la máquina[br]es el que de verdad deseamos".

0:03:36.134,0:03:39.312
Esto fue dicho por Norbert Wiener en 1960,

0:03:39.312,0:03:43.490
poco después de ver a uno de[br]los primeros sistemas de aprendizaje

0:03:43.490,0:03:46.336
aprender a jugar a las damas[br]mejor que su creador.

0:03:48.602,0:03:52.165
Pero esto podría haberlo dicho [br]de igual modo el Rey Midas.

0:03:52.165,0:03:56.146
El Rey Midas dijo, "Deseo que todo [br]lo que toque se convierta en oro".

0:03:56.146,0:03:58.667
Y obtuvo justo lo que pidió.

0:03:58.667,0:04:02.114
Fue el propósito que introdujo[br]en la máquina, por así decirlo.

0:04:02.987,0:04:06.355
Y luego su comida, su bebida[br]y sus familiares se convirtieron en oro

0:04:06.355,0:04:08.736
y murió miserable y muerto de hambre.

0:04:10.444,0:04:13.055
Así que llamaremos a esto[br]"el problema del rey Midas",

0:04:13.055,0:04:16.213
el de indicar un objetivo[br]que no está realmente

0:04:16.213,0:04:18.551
alineado con lo que de verdad queremos.

0:04:18.575,0:04:22.290
En términos modernos, lo llamamos[br]"el problema de alineación de valor".

0:04:25.047,0:04:28.532
Introducir un objetivo equivocado[br]no es la única parte del problema.

0:04:28.556,0:04:29.708
Hay otra parte.

0:04:30.160,0:04:32.103
Al introducir un objetivo en una máquina

0:04:32.127,0:04:34.575
incluso algo tan simple como[br]"Trae el café",

0:04:35.908,0:04:37.749
la máquina se dice a sí misma,

0:04:38.733,0:04:41.133
"¿Cómo podría fallar [br]yendo a buscar el café?

0:04:41.133,0:04:42.953
Alguien podría desconectarme.

0:04:42.953,0:04:45.655
Vale, debo tomar medidas para evitarlo.

0:04:46.019,0:04:48.150
Desactivaré mi interruptor de 'apagado'.[br]

0:04:48.150,0:04:51.262
Haré cualquier cosa para protegerme[br]de interferencias

0:04:51.262,0:04:53.508
con este objetivo que me han dado.

0:04:54.168,0:04:56.288
Así que esta persecución obsesiva

0:04:57.064,0:05:00.164
de un modo muy defensivo[br]para lograr un objetivo

0:05:00.164,0:05:02.494
que no está alineado[br]con los verdaderos objetivos

0:05:02.494,0:05:03.647
de la raza humana...

0:05:03.647,0:05:06.006
ese es el problema [br]al que nos enfrentamos.

0:05:06.706,0:05:11.497
Y de hecho esa es la lección[br]más valiosa de esta charla.

0:05:11.617,0:05:13.818
Si quieren recordar una cosa

0:05:13.877,0:05:16.552
es que no se puede ir a buscar[br]el café si se está muerto.

0:05:16.576,0:05:17.637
(Risas)

0:05:17.661,0:05:21.490
Es muy simple. Solo recuerden eso.[br]Repítanlo tres veces al día.

0:05:21.514,0:05:23.335
(Risas)

0:05:23.359,0:05:26.113
Y de hecho, este es el mismo argumento

0:05:26.137,0:05:28.785
de "2001: [Una odisea del espacio]".

0:05:29.226,0:05:31.316
HAL tiene un objetivo, una misión,

0:05:31.340,0:05:35.072
que no está alineada[br]con los objetivos de los humanos,

0:05:35.096,0:05:36.906
y eso conduce a este conflicto.

0:05:37.494,0:05:40.463
Por suerte HAL no es superinteligente.

0:05:40.487,0:05:43.028
Es bastante inteligente,[br]pero llegado el momento,

0:05:43.028,0:05:45.947
Dave lo supera y logra apagarlo.

0:05:49.828,0:05:51.638
Pero tal vez no tengamos tanta suerte.

0:05:56.193,0:05:57.785
Entonces, ¿qué vamos a hacer?

0:06:00.371,0:06:02.972
Estoy tratando de redefinir la IA

0:06:02.996,0:06:05.057
para alejarnos de esta noción clásica

0:06:05.081,0:06:09.648
de máquinas que persiguen objetivos[br]de manera inteligente.

0:06:10.712,0:06:12.510
Hay tres principios implicados.

0:06:12.534,0:06:15.823
El primero es un principio[br]de altruismo, por así decirlo,

0:06:15.847,0:06:19.109
el único objetivo del robot

0:06:19.133,0:06:23.379
es maximizar la realización[br]de los objetivos humanos,

0:06:23.403,0:06:24.793
de los valores humanos.

0:06:24.817,0:06:28.147
Y por valores aquí no me refiero[br]a valores sentimentales o de bondad.

0:06:28.171,0:06:31.958
Solo quiero decir aquello[br]más similar a la vida

0:06:31.982,0:06:33.325
que un humano preferiría.

0:06:35.364,0:06:37.487
Y esto viola la ley de Asimov

0:06:37.487,0:06:39.966
de que el robot debe proteger[br]su propia existencia.

0:06:39.966,0:06:43.773
No tiene ningún interés en preservar[br]su existencia en absoluto.

0:06:45.420,0:06:49.188
La segunda ley es una ley[br]de humildad, digamos.

0:06:49.974,0:06:53.717
Y resulta muy importante[br]para que los robots sean seguros.

0:06:53.741,0:06:56.883
Dice que el robot no sabe

0:06:56.907,0:06:58.935
cuáles son esos valores humanos,

0:06:58.959,0:07:02.137
así que debe maximizarlos,[br]pero no sabe lo que son.

0:07:03.254,0:07:05.880
Lo cual evita el problema [br]de la búsqueda obsesiva

0:07:05.904,0:07:07.116
de un objetivo.

0:07:07.140,0:07:09.312
Esta incertidumbre resulta crucial.

0:07:09.726,0:07:11.435
Claro que para sernos útiles,

0:07:11.435,0:07:14.120
deben tener alguna idea [br]de lo que queremos.

0:07:15.223,0:07:20.650
Obtiene esa información sobre todo[br]observando elecciones humanas,

0:07:20.674,0:07:23.475
para que nuestras propias[br]decisiones revelen información

0:07:23.499,0:07:26.799
sobre lo que nosotros preferimos[br]para nuestras vidas.

0:07:28.632,0:07:30.315
Estos son los tres principios.

0:07:30.339,0:07:32.657
Veamos cómo se aplica a esta cuestión

0:07:32.681,0:07:35.470
de "apagar la máquina", [br]como sugirió Turing.

0:07:37.073,0:07:38.837
He aquí un robot PR2.

0:07:38.837,0:07:41.038
Es uno que tenemos[br]en nuestro laboratorio,

0:07:41.062,0:07:44.491
y tiene un gran botón rojo de 'apagado'[br]en la parte posterior.

0:07:44.541,0:07:46.940
La pregunta es: ¿Va a[br]dejar que lo apaguen?

0:07:46.940,0:07:48.645
Si lo hacemos a la manera clásica,

0:07:48.669,0:07:52.151
le damos el objetivo de traer[br]el café. "Debo traer el café.

0:07:52.175,0:07:54.755
No puedo traer el café [br]si estoy muerto".

0:07:54.779,0:07:58.120
Obviamente el PR2 [br]ha escuchado mi charla,

0:07:58.144,0:08:00.046
y por tanto, decide

0:08:00.046,0:08:02.976
"Debo inhabilitar mi botón de 'apagado'".

0:08:02.976,0:08:06.160
"Y probablemente electrocutar [br]al resto de personas en el Starbucks

0:08:06.160,0:08:07.434
que podrían interferir".

0:08:07.434,0:08:09.340
(Risas)

0:08:09.364,0:08:11.517
Así que esto parece ser[br]inevitable, ¿verdad?

0:08:11.541,0:08:13.939
Este tipo de error [br]parece ser inevitable,

0:08:13.963,0:08:17.506
y sucede por tener [br]un objetivo concreto, definido.

0:08:18.812,0:08:21.956
Entonces, ¿qué pasa si la máquina[br]no tiene claro el objetivo?

0:08:21.980,0:08:24.107
Bueno, razona de una manera diferente.

0:08:24.131,0:08:28.665
Dice, "El humano podría desconectarme,[br]pero solo si hago algo malo.

0:08:29.757,0:08:33.776
No tengo claro lo que es malo[br]pero sé que no quiero hacerlo".

0:08:33.786,0:08:36.359
Ahí están el primer [br]y el segundo principio.

0:08:37.359,0:08:40.543
"Así que debería dejar [br]que el humano me desconecte".

0:08:41.721,0:08:45.341
De hecho se puede calcular [br]el incentivo que tiene el robot

0:08:45.341,0:08:48.211
para permitir que el humano lo apague.

0:08:48.218,0:08:50.982
Y está directamente ligado [br]al grado de incertidumbre

0:08:50.982,0:08:53.032
sobre el objetivo subyacente.

0:08:53.426,0:08:57.022
Y entonces cuando la máquina está apagada,

0:08:57.022,0:08:58.755
el tercer principio entra en juego.

0:08:58.779,0:09:01.841
Aprende algo sobre los objetivos[br]que debe perseguir,

0:09:01.865,0:09:04.398
porque aprende que[br]lo que hizo no estaba bien.

0:09:04.422,0:09:07.992
De hecho, podemos, con el uso adecuado[br]de los símbolos griegos,

0:09:08.016,0:09:10.147
como suelen hacer los matemáticos,

0:09:10.171,0:09:12.155
podemos probar un teorema

0:09:12.179,0:09:15.732
que dice que tal robot es probablemente[br]beneficioso para el humano.

0:09:15.756,0:09:19.559
Se está demostrablemente mejor con[br]una máquina que se diseña de esta manera

0:09:19.583,0:09:20.829
que sin ella.

0:09:21.237,0:09:24.143
Este es un ejemplo muy simple,[br]pero este es el primer paso

0:09:24.167,0:09:28.070
en lo que estamos tratando de hacer[br]con IA compatible con humanos.

0:09:30.657,0:09:33.914
Ahora, este tercer principio,

0:09:33.938,0:09:37.050
es probablemente el que está haciendo[br]que se rasquen la cabeza.

0:09:37.074,0:09:40.084
Probablemente piensen: [br]"Yo me comporto mal.

0:09:40.084,0:09:43.174
No quiero que mi robot [br]se comporte como yo.

0:09:43.174,0:09:46.264
Me escabullo en mitad de la noche [br]y tomo cosas de la nevera,

0:09:46.264,0:09:47.545
hago esto y hago aquello".

0:09:47.545,0:09:50.196
Hay todo tipo de cosas que no[br]quieres que haga el robot.

0:09:50.596,0:09:52.824
Pero lo cierto es que [br]no funciona así.

0:09:52.824,0:09:54.986
Solo porque uno se comporte mal

0:09:54.986,0:09:57.771
no significa que el robot[br]vaya a copiar su comportamiento.

0:09:57.771,0:10:01.042
Va a entender sus motivaciones[br]y tal vez a ayudarle a resistirlas,

0:10:01.616,0:10:02.936
si es apropiado.

0:10:04.206,0:10:05.670
Pero sigue siendo difícil.

0:10:06.302,0:10:08.847
Lo que estamos tratando[br]de hacer, de hecho,

0:10:08.871,0:10:12.891
es permitir que las máquinas predigan[br]para cualquier persona

0:10:12.891,0:10:15.852
y para cualquier vida posible [br]que podrían vivir,

0:10:15.876,0:10:17.473
y las vidas de todos los demás

0:10:17.497,0:10:20.014
lo que preferirían.

0:10:22.061,0:10:25.015
Y hay muchas, muchas [br]dificultades ligadas a hacer esto.

0:10:25.039,0:10:27.971
No espero que vaya a resolverse pronto.

0:10:27.995,0:10:30.638
Las verdaderas dificultades,[br]de hecho, somos nosotros.

0:10:32.149,0:10:35.266
Como ya he mencionado,[br]nos comportamos mal.

0:10:35.290,0:10:38.243
De hecho, algunos de nosotros[br]somos francamente desagradables.

0:10:38.431,0:10:41.483
Como he dicho, el robot[br]no tiene que copiar el comportamiento.

0:10:41.507,0:10:44.298
El robot no tiene ningún objetivo propio.

0:10:44.322,0:10:46.059
Es puramente altruista.

0:10:47.293,0:10:52.514
Y no está diseñado solo para satisfacer[br]los deseos de una persona, el usuario,

0:10:52.538,0:10:55.676
sino que tiene que respetar[br]las preferencias de todos.

0:10:57.263,0:10:59.833
Así que puede lidiar [br]con cierta cantidad de maldad,

0:10:59.857,0:11:03.558
e incluso puede entender[br]que su maldad, por ejemplo...

0:11:03.582,0:11:06.393
Ud. puede aceptar sobornos [br]como controlador de pasaportes

0:11:06.393,0:11:10.089
porque necesita alimentar a su familia [br]y que sus hijos vayan a la escuela.

0:11:10.113,0:11:13.019
Puede entender eso;[br]no significa que vaya a robar.

0:11:13.043,0:11:15.908
De hecho, solo le ayudará[br]a que sus hijos vayan al colegio.

0:11:16.976,0:11:19.988
También estamos limitados[br]computacionalmente.

0:11:20.012,0:11:22.517
Lee Sedol es un jugador brillante de Go,

0:11:22.541,0:11:23.866
pero aun así perdió.

0:11:23.890,0:11:28.129
Si nos fijamos en sus acciones,[br]tomó una decisión que le hizo perder.

0:11:28.153,0:11:30.314
Eso no significa que él quisiera perder.

0:11:31.340,0:11:33.380
Así que para entender su comportamiento,

0:11:33.404,0:11:37.048
en realidad tenemos que invertir,[br]a través de un modelo cognitivo humano

0:11:37.072,0:11:39.813
que incluye nuestras [br]limitaciones computacionales,

0:11:39.813,0:11:42.073
y se trata de un modelo muy complicado.

0:11:42.073,0:11:44.996
Pero es algo en lo que podemos [br]trabajar para comprender.

0:11:45.586,0:11:48.280
Puede que la parte más difícil, [br]desde mi punto de vista

0:11:48.280,0:11:49.500
como investigador de IA,

0:11:49.500,0:11:52.795
es el hecho de que hay muchos de nosotros,

0:11:54.294,0:11:57.149
con lo cual la máquina tiene que sopesar

0:11:57.149,0:12:00.124
las preferencias de mucha gente diferente.

0:12:00.148,0:12:02.054
Hay diferentes maneras de hacer eso.

0:12:02.078,0:12:05.767
Economistas, sociólogos, [br]filósofos morales han comprendido esto

0:12:05.791,0:12:08.246
y estamos buscando [br]colaboración de manera activa.

0:12:08.270,0:12:11.521
Vamos a ver lo que sucede[br]cuando esto se hace mal.

0:12:11.545,0:12:13.678
Ud. puede estar hablando, por ejemplo,

0:12:13.702,0:12:15.646
con su asistente personal inteligente

0:12:15.670,0:12:17.955
que podría estar disponible[br]dentro de unos años.

0:12:17.979,0:12:20.503
Piensen en Siri con esteroides.

0:12:21.627,0:12:25.949
Siri dice "Su esposa llamó para [br]recordarle la cena de esta noche".

0:12:26.616,0:12:29.904
Por supuesto, lo había olvidado.[br]¿Qué cena? ¿De qué está hablando?

0:12:30.794,0:12:32.806
"Su 20 aniversario, a las 7pm".

0:12:36.746,0:12:40.155
"No puedo, me reúno con el [br]secretario general a las 7:30.

0:12:40.155,0:12:42.495
¿Cómo ha podido suceder esto?".

0:12:42.495,0:12:46.924
"Bueno, le advertí, pero ignoró[br]mi recomendación".

0:12:47.174,0:12:50.592
"¿Qué voy a hacer? No puedo decirles [br]que estoy demasiado ocupado".

0:12:52.128,0:12:56.156
"No se preocupe, he hecho[br]que su avión se retrase".

0:12:56.156,0:12:58.354
(Risas)

0:12:58.354,0:13:00.805
"Algún tipo de error en el ordenador".

0:13:00.805,0:13:01.610
(Risas)

0:13:01.610,0:13:03.227
"¿En serio? ¿Puede hacer eso?".

0:13:04.400,0:13:06.579
"Le envía sinceras disculpas

0:13:06.603,0:13:09.158
y espera poder conocerle[br]mañana para el almuerzo".

0:13:09.182,0:13:10.481
(Risas)

0:13:10.505,0:13:14.908
Así que los valores aquí...[br]aquí hay un pequeño fallo.

0:13:14.932,0:13:17.941
Claramente está siguiendo[br]los valores de mi esposa

0:13:17.965,0:13:20.034
que son "esposa feliz, vida feliz".

0:13:20.058,0:13:21.641
(Risas)

0:13:21.665,0:13:23.109
Podría suceder al revés.

0:13:23.641,0:13:26.022
Podría llegar a casa[br]tras un duro día de trabajo,

0:13:26.046,0:13:28.291
y el ordenador dice "¿Un día duro?".

0:13:28.291,0:13:30.127
"Sí, ni tuve tiempo de almorzar".

0:13:30.127,0:13:31.939
"Debe tener mucha hambre".

0:13:31.939,0:13:34.889
"Me muero de hambre, sí,[br]¿podría preparar algo de cena?".

0:13:36.070,0:13:38.160
"Hay algo que necesito decirle".

0:13:38.184,0:13:39.339
(Risas)

0:13:40.193,0:13:45.098
"Hay humanos en Sudán del Sur[br]más necesitados que Ud.".

0:13:45.122,0:13:46.226
(Risas)

0:13:46.250,0:13:48.325
"Así que me voy, hágase su propia cena".

0:13:48.349,0:13:50.349
(Risas)

0:13:50.583,0:13:52.702
Así que tenemos que[br]resolver estos problemas,

0:13:52.702,0:13:54.611
y tengo ganas de trabajar en ellos.

0:13:55.125,0:13:56.968
Hay razones para ser optimistas.

0:13:56.992,0:14:00.071
Una razón es que hay [br]gran cantidad de datos

0:14:00.071,0:14:03.501
Recuerden, leerán todo lo que [br]la raza humana ha escrito.

0:14:03.501,0:14:07.123
La mayoría de lo que escribimos[br]trata sobre humanos haciendo cosas

0:14:07.123,0:14:09.117
y cómo estas molestan a otras personas.

0:14:09.141,0:14:11.539
Así que hay muchos datos[br]de los que aprender.

0:14:11.563,0:14:13.799
También hay un fuerte incentivo económico

0:14:14.971,0:14:16.331
para que esto funcione bien.

0:14:16.331,0:14:18.432
Imagine que su robot [br]doméstico está en casa

0:14:18.432,0:14:19.952
Ud. llega tarde del trabajo,

0:14:19.952,0:14:22.087
el robot tiene que dar [br]de comer a los niños,

0:14:22.087,0:14:24.510
los niños tienen hambre[br]y no hay nada en la nevera.

0:14:24.510,0:14:27.109
Y el robot ve al gato.

0:14:27.133,0:14:28.825
(Risas)

0:14:28.849,0:14:32.953
Y el robot no ha aprendido del todo bien[br]la función del valor humano

0:14:32.953,0:14:34.464
por lo que no entiende

0:14:34.464,0:14:38.766
que el valor sentimental del gato supera[br]el valor nutricional del gato.

0:14:38.766,0:14:39.861
(Risas)

0:14:39.861,0:14:41.357
Entonces, ¿qué pasa?

0:14:41.357,0:14:45.394
Bueno, sucede lo siguiente:

0:14:45.418,0:14:48.382
"Robot desquiciado cocina a un gatito[br]para la cena familiar".

0:14:48.406,0:14:52.929
Ese único incidente acabaría[br]con la industria de robots domésticos.

0:14:52.953,0:14:56.325
Así que hay un gran incentivo[br]para hacer esto bien.

0:14:56.349,0:14:59.064
mucho antes de llegar[br]a las máquinas superinteligentes.

0:15:00.128,0:15:01.663
Así que para resumir:

0:15:01.687,0:15:04.568
Estoy intentando cambiar[br]la definición de IA

0:15:04.592,0:15:07.585
para que tengamos máquinas[br]demostrablemente beneficiosas.

0:15:07.609,0:15:08.831
Y los principios son:

0:15:08.855,0:15:10.373
Máquinas que son altruistas,

0:15:10.373,0:15:13.025
que desean lograr solo nuestros objetivos,

0:15:13.025,0:15:16.065
pero que no están seguras[br]de cuáles son esos objetivos

0:15:16.065,0:15:18.303
y nos observarán a todos

0:15:18.303,0:15:21.470
para aprender qué es[br]lo que realmente queremos.

0:15:22.373,0:15:25.932
Y con suerte, en el proceso, [br]aprenderemos a ser mejores personas.

0:15:25.956,0:15:27.147
Muchas gracias.

0:15:27.171,0:15:30.664
(Aplausos)

0:15:30.664,0:15:32.822
Chris Anderson: Muy interesante, Stuart.

0:15:32.822,0:15:35.580
Vamos a estar aquí un poco[br]porque creo que están preparando

0:15:35.580,0:15:37.141
a nuestro próximo orador.

0:15:37.165,0:15:38.703
Un par de preguntas.

0:15:38.727,0:15:44.154
La idea de programar ignorancia[br]parece intuitivamente muy poderosa.

0:15:44.154,0:15:45.918
Al llegar a la superinteligencia,

0:15:45.918,0:15:48.180
¿qué puede impedir que un robot

0:15:48.180,0:15:50.950
lea literatura y descubra esta idea[br]de que el conocimiento

0:15:50.950,0:15:52.632
es mejor que la ignorancia,

0:15:52.632,0:15:56.794
cambiando sus propios objetivos[br]y reescribiendo su programación?

0:15:57.692,0:16:03.982
Stuart Russell: Queremos[br]que aprenda más, como he dicho,

0:16:03.982,0:16:05.459
sobre nuestros objetivos.

0:16:05.459,0:16:10.904
Solo ganará seguridad[br]cuanto más acierte.

0:16:10.928,0:16:12.873
La evidencia estará ahí,

0:16:12.897,0:16:15.621
y estará diseñado para [br]interpretarla adecuadamente.

0:16:15.645,0:16:19.505
Comprenderá, por ejemplo,[br]que los libros son muy sesgados

0:16:19.505,0:16:21.188
en la evidencia que contienen.

0:16:21.188,0:16:23.639
Solo hablan de reyes y príncipes

0:16:23.639,0:16:26.353
y hombres blancos poderosos [br]haciendo cosas.

0:16:26.377,0:16:28.357
Es un problema complicado,

0:16:28.357,0:16:32.293
pero conforme aprenda más[br]sobre nuestros objetivos

0:16:32.293,0:16:34.456
será cada vez más útil[br]para nosotros.

0:16:34.480,0:16:37.086
CA: Y no podría reducirse a una ley,

0:16:37.086,0:16:38.800
ya sabe, grabada a fuego,

0:16:38.800,0:16:41.951
"Si un humano alguna vez[br]intenta apagarme

0:16:41.951,0:16:43.956
yo obedezco, obedezco".

0:16:43.980,0:16:45.302
SR: Absolutamente no.

0:16:45.302,0:16:46.745
Sería una idea terrible.

0:16:46.745,0:16:49.508
Imagine, tiene un auto que se conduce solo

0:16:49.508,0:16:52.895
y quiere llevar a su hijo de cinco años[br]al jardín de infancia.

0:16:52.895,0:16:56.378
¿Quiere que su hijo de cinco años pueda[br]apagar el coche mientras conduce?

0:16:56.378,0:16:57.636
Probablemente no.

0:16:57.636,0:17:03.349
Por tanto necesita entender [br]cuán racional y sensata es la persona.

0:17:03.349,0:17:05.065
Cuanto más racional sea la persona,

0:17:05.065,0:17:07.172
más dispuesto estará [br]a dejar que lo apaguen.

0:17:07.172,0:17:09.829
Si la persona es impredecible[br]o incluso malintencionada

0:17:09.829,0:17:12.219
estará menos dispuesto[br]a permitir que lo apaguen.

0:17:12.219,0:17:13.533
CA: Stuart, permítame decir

0:17:13.533,0:17:16.238
que de veras espero que resuelva esto[br]por todos nosotros.

0:17:16.238,0:17:19.073
Muchas gracias por su charla. [br]Ha sido increíble, gracias.

0:17:19.073,0:17:20.503
(Aplausos)