Este es Lee Sedol.
Lee Sedol es uno de los mejores jugadores de Go del mundo.
Y está teniendo lo que mis amigos de Silicon Valley llaman
un momento "¡Bendito Dios!".
(Risas)
Un momento en el que nos damos cuenta
de que la IA está avanzando mucho más rápido de lo que esperábamos.
Los humanos han perdido en el tablero de Go.
¿Y en el mundo real?
Bueno, el mundo real es mucho más grande y complicado
que el tablero de Go.
Es mucho menos visible.
Pero sigue siendo un problema de decisión.
Y si pensamos en algunas de las tecnologías que están por venir
Noriko [Arai] mencionó que las máquinas aún no saben leer,
al menos no comprendiendo,
pero lo harán, y cuando eso suceda,
poco después las máquinas habrán leído todo lo que la raza humana ha escrito.
Eso permitirá a las máquinas,
junto a su habilidad mirar más allá de lo que pueden los humanos,
como ya hemos visto en el Go,
si también tienen acceso a más información,
serán capaces de tomar mejores decisiones en el mundo real
que nosotros.
¿Es eso bueno?
Bueno, espero que sí.
Toda nuestra civilización, todo lo que valoramos,
se basa en nuestra inteligencia.
Y si tuviéramos acceso a mucha más inteligencia,
entonces no existirían límites para lo que la raza humana pueda hacer.
Y creo que este podría ser, como han dicho algunos,
el mayor acontecimiento de la historia de la humanidad.
Entonces, ¿por qué la gente afirma cosas como esta?
Que la inteligencia artificial podría significar el fin de la raza humana.
¿Es esto algo nuevo?
¿Se trata solo de Elon Musk y Bill Gates y Stephen Hawking?
En realidad, no. Esta idea no es nueva.
He aquí una cita:
"Incluso si pudiéramos mantener las máquinas en una posición servil,
por ejemplo, desconectándolas en momentos estratégicos"
--volveré a esa idea de "quitar la corriente" más adelante--
"deberíamos, como especie, sentirnos humillados".
¿Quién dijo esto? Este es Alan Turing, en 1951.
Alan Turing, como Uds. saben, es el padre de la informática
y en muchos sentidos también el padre de la IA.
Así que si pensamos en este problema,
el problema de crear algo más inteligente que tu propia especie,
podríamos llamar a esto "el problema del gorila".
Porque los antepasados de los gorilas hicieron esto hace unos millones de años,
y ahora podríamos preguntar a los gorilas:
¿Fue una buena idea?
Aquí están, reunidos para discutir si fue una buena idea,
y pasado un tiempo concluyen que no.
Fue una idea terrible.
Nuestra especie está en apuros.
De hecho, pueden ver la tristeza existencial en sus ojos.
(Risas)
Así que esta sensación mareante de que crear algo más inteligente
que tu propia especie tal vez no sea buena idea...
¿Qué podemos hacer al respecto?
Bueno, nada en realidad, excepto dejar de hacer IA.
Y por todos los beneficios que he mencionado
y porque soy un investigador de IA,
no voy a tomar eso.
Sin duda quiero seguir creando IA.
Así que necesitamos precisar el problema un poco más.
¿Cuál es el problema?
¿Por qué tener mejor IA puede ser una catástrofe?
Aquí hay otra cita:
"Más nos vale estar seguros de que el propósito
que introducimos en la máquina es el que de verdad deseamos".
Esto fue dicho por Norbert Wiener en 1960,
poco después de ver a uno de los primeros sistemas de aprendizaje
aprender a jugar a las damas mejor que su creador.
Pero esto podría haberlo dicho de igual modo el Rey Midas.
El Rey Midas dijo, "Deseo que todo lo que toque se convierta en oro".
Y obtuvo justo lo que pidió.
Fue el propósito que introdujo en la máquina, por así decirlo.
Y luego su comida, su bebida y sus familiares se convirtieron en oro
y murió miserable y muerto de hambre.
Así que llamaremos a esto "el problema del rey Midas",
el de indicar un objetivo que no está realmente
alineado con lo que de verdad queremos.
En términos modernos, lo llamamos "el problema de alineación de valor".
Introducir un objetivo equivocado no es la única parte del problema.
Hay otra parte.
Al introducir un objetivo en una máquina
incluso algo tan simple como "Trae el café",
la máquina se dice a sí misma,
"¿Cómo podría fallar yendo a buscar el café?
Alguien podría desconectarme.
Vale, debo tomar medidas para evitarlo.
Desactivaré mi interruptor de 'apagado'.
Haré cualquier cosa para protegerme de interferencias
con este objetivo que me han dado.
Así que esta persecución obsesiva
de un modo muy defensivo para lograr un objetivo
que no está alineado con los verdaderos objetivos
de la raza humana...
ese es el problema al que nos enfrentamos.
Y de hecho esa es la lección más valiosa de esta charla.
Si quieren recordar una cosa
es que no se puede ir a buscar el café si se está muerto.
(Risas)
Es muy simple. Solo recuerden eso. Repítanlo tres veces al día.
(Risas)
Y de hecho, este es el mismo argumento
de "2001: [Una odisea del espacio]".
HAL tiene un objetivo, una misión,
que no está alineada con los objetivos de los humanos,
y eso conduce a este conflicto.
Por suerte HAL no es superinteligente.
Es bastante inteligente, pero llegado el momento,
Dave lo supera y logra apagarlo.
Pero tal vez no tengamos tanta suerte.
Entonces, ¿qué vamos a hacer?
Estoy tratando de redefinir la IA
para alejarnos de esta noción clásica
de máquinas que persiguen objetivos de manera inteligente.
Hay tres principios implicados.
El primero es un principio de altruismo, por así decirlo,
el único objetivo del robot
es maximizar la realización de los objetivos humanos,
de los valores humanos.
Y por valores aquí no me refiero a valores sentimentales o de bondad.
Solo quiero decir aquello más similar a la vida
que un humano preferiría.
Y esto viola la ley de Asimov
de que el robot debe proteger su propia existencia.
No tiene ningún interés en preservar su existencia en absoluto.
La segunda ley es una ley de humildad, digamos.
Y resulta muy importante para que los robots sean seguros.
Dice que el robot no sabe
cuáles son esos valores humanos,
así que debe maximizarlos, pero no sabe lo que son.
Lo cual evita el problema de la búsqueda obsesiva
de un objetivo.
Esta incertidumbre resulta crucial.
Claro que para sernos útiles,
deben tener alguna idea de lo que queremos.
Obtiene esa información sobre todo observando elecciones humanas,
para que nuestras propias decisiones revelen información
sobre lo que nosotros preferimos para nuestras vidas.
Estos son los tres principios.
Veamos cómo se aplica a esta cuestión
de "apagar la máquina", como sugirió Turing.
He aquí un robot PR2.
Es uno que tenemos en nuestro laboratorio,
y tiene un gran botón rojo de 'apagado' en la parte posterior.
La pregunta es: ¿Va a dejar que lo apaguen?
Si lo hacemos a la manera clásica,
le damos el objetivo de traer el café. "Debo traer el café.
No puedo traer el café si estoy muerto".
Obviamente el PR2 ha escuchado mi charla,
y por tanto, decide
"Debo inhabilitar mi botón de 'apagado'".
"Y probablemente electrocutar al resto de personas en el Starbucks
que podrían interferir".
(Risas)
Así que esto parece ser inevitable, ¿verdad?
Este tipo de error parece ser inevitable,
y sucede por tener un objetivo concreto, definido.
Entonces, ¿qué pasa si la máquina no tiene claro el objetivo?
Bueno, razona de una manera diferente.
Dice, "El humano podría desconectarme, pero solo si hago algo malo.
No tengo claro lo que es malo pero sé que no quiero hacerlo".
Ahí están el primer y el segundo principio.
"Así que debería dejar que el humano me desconecte".
De hecho se puede calcular el incentivo que tiene el robot
para permitir que el humano lo apague.
Y está directamente ligado al grado de incertidumbre
sobre el objetivo subyacente.
Y entonces cuando la máquina está apagada,
el tercer principio entra en juego.
Aprende algo sobre los objetivos que debe perseguir,
porque aprende que lo que hizo no estaba bien.
De hecho, podemos, con el uso adecuado de los símbolos griegos,
como suelen hacer los matemáticos,
podemos probar un teorema
que dice que tal robot es probablemente beneficioso para el humano.
Se está demostrablemente mejor con una máquina que se diseña de esta manera
que sin ella.
Este es un ejemplo muy simple, pero este es el primer paso
en lo que estamos tratando de hacer con IA compatible con humanos.
Ahora, este tercer principio,
es probablemente el que está haciendo que se rasquen la cabeza.
Probablemente piensen: "Yo me comporto mal.
No quiero que mi robot se comporte como yo.
Me escabullo en mitad de la noche y tomo cosas de la nevera,
hago esto y hago aquello".
Hay todo tipo de cosas que no quieres que haga el robot.
Pero lo cierto es que no funciona así.
Solo porque uno se comporte mal
no significa que el robot vaya a copiar su comportamiento.
Va a entender sus motivaciones y tal vez a ayudarle a resistirlas,
si es apropiado.
Pero sigue siendo difícil.
Lo que estamos tratando de hacer, de hecho,
es permitir que las máquinas predigan para cualquier persona
y para cualquier vida posible que podrían vivir,
y las vidas de todos los demás
lo que preferirían.
Y hay muchas, muchas dificultades ligadas a hacer esto.
No espero que vaya a resolverse pronto.
Las verdaderas dificultades, de hecho, somos nosotros.
Como ya he mencionado, nos comportamos mal.
De hecho, algunos de nosotros somos francamente desagradables.
Como he dicho, el robot no tiene que copiar el comportamiento.
El robot no tiene ningún objetivo propio.
Es puramente altruista.
Y no está diseñado solo para satisfacer los deseos de una persona, el usuario,
sino que tiene que respetar las preferencias de todos.
Así que puede lidiar con cierta cantidad de maldad,
e incluso puede entender que su maldad, por ejemplo...
Ud. puede aceptar sobornos como controlador de pasaportes
porque necesita alimentar a su familia y que sus hijos vayan a la escuela.
Puede entender eso; no significa que vaya a robar.
De hecho, solo le ayudará a que sus hijos vayan al colegio.
También estamos limitados computacionalmente.
Lee Sedol es un jugador brillante de Go,
pero aun así perdió.
Si nos fijamos en sus acciones, tomó una decisión que le hizo perder.
Eso no significa que él quisiera perder.
Así que para entender su comportamiento,
en realidad tenemos que invertir, a través de un modelo cognitivo humano
que incluye nuestras limitaciones computacionales,
y se trata de un modelo muy complicado.
Pero es algo en lo que podemos trabajar para comprender.
Puede que la parte más difícil, desde mi punto de vista
como investigador de IA,
es el hecho de que hay muchos de nosotros,
con lo cual la máquina tiene que sopesar
las preferencias de mucha gente diferente.
Hay diferentes maneras de hacer eso.
Economistas, sociólogos, filósofos morales han comprendido esto
y estamos buscando colaboración de manera activa.
Vamos a ver lo que sucede cuando esto se hace mal.
Ud. puede estar hablando, por ejemplo,
con su asistente personal inteligente
que podría estar disponible dentro de unos años.
Piensen en Siri con esteroides.
Siri dice "Su esposa llamó para recordarle la cena de esta noche".
Por supuesto, lo había olvidado. ¿Qué cena? ¿De qué está hablando?
"Su 20 aniversario, a las 7pm".
"No puedo, me reúno con el secretario general a las 7:30.
¿Cómo ha podido suceder esto?".
"Bueno, le advertí, pero ignoró mi recomendación".
"¿Qué voy a hacer? No puedo decirles que estoy demasiado ocupado".
"No se preocupe, he hecho que su avión se retrase".
(Risas)
"Algún tipo de error en el ordenador".
(Risas)
"¿En serio? ¿Puede hacer eso?".
"Le envía sinceras disculpas
y espera poder conocerle mañana para el almuerzo".
(Risas)
Así que los valores aquí... aquí hay un pequeño fallo.
Claramente está siguiendo los valores de mi esposa
que son "esposa feliz, vida feliz".
(Risas)
Podría suceder al revés.
Podría llegar a casa tras un duro día de trabajo,
y el ordenador dice "¿Un día duro?".
"Sí, ni tuve tiempo de almorzar".
"Debe tener mucha hambre".
"Me muero de hambre, sí, ¿podría preparar algo de cena?".
"Hay algo que necesito decirle".
(Risas)
"Hay humanos en Sudán del Sur más necesitados que Ud.".
(Risas)
"Así que me voy, hágase su propia cena".
(Risas)
Así que tenemos que resolver estos problemas,
y tengo ganas de trabajar en ellos.
Hay razones para ser optimistas.
Una razón es que hay gran cantidad de datos
Recuerden, leerán todo lo que la raza humana ha escrito.
La mayoría de lo que escribimos trata sobre humanos haciendo cosas
y cómo estas molestan a otras personas.
Así que hay muchos datos de los que aprender.
También hay un fuerte incentivo económico
para que esto funcione bien.
Imagine que su robot doméstico está en casa
Ud. llega tarde del trabajo,
el robot tiene que dar de comer a los niños,
los niños tienen hambre y no hay nada en la nevera.
Y el robot ve al gato.
(Risas)
Y el robot no ha aprendido del todo bien la función del valor humano
por lo que no entiende
que el valor sentimental del gato supera el valor nutricional del gato.
(Risas)
Entonces, ¿qué pasa?
Bueno, sucede lo siguiente:
"Robot desquiciado cocina a un gatito para la cena familiar".
Ese único incidente acabaría con la industria de robots domésticos.
Así que hay un gran incentivo para hacer esto bien.
mucho antes de llegar a las máquinas superinteligentes.
Así que para resumir:
Estoy intentando cambiar la definición de IA
para que tengamos máquinas demostrablemente beneficiosas.
Y los principios son:
Máquinas que son altruistas,
que desean lograr solo nuestros objetivos,
pero que no están seguras de cuáles son esos objetivos
y nos observarán a todos
para aprender qué es lo que realmente queremos.
Y con suerte, en el proceso, aprenderemos a ser mejores personas.
Muchas gracias.
(Aplausos)
Chris Anderson: Muy interesante, Stuart.
Vamos a estar aquí un poco porque creo que están preparando
a nuestro próximo orador.
Un par de preguntas.
La idea de programar ignorancia parece intuitivamente muy poderosa.
Al llegar a la superinteligencia,
¿qué puede impedir que un robot
lea literatura y descubra esta idea de que el conocimiento
es mejor que la ignorancia,
cambiando sus propios objetivos y reescribiendo su programación?
Stuart Russell: Queremos que aprenda más, como he dicho,
sobre nuestros objetivos.
Solo ganará seguridad cuanto más acierte.
La evidencia estará ahí,
y estará diseñado para interpretarla adecuadamente.
Comprenderá, por ejemplo, que los libros son muy sesgados
en la evidencia que contienen.
Solo hablan de reyes y príncipes
y hombres blancos poderosos haciendo cosas.
Es un problema complicado,
pero conforme aprenda más sobre nuestros objetivos
será cada vez más útil para nosotros.
CA: Y no podría reducirse a una ley,
ya sabe, grabada a fuego,
"Si un humano alguna vez intenta apagarme
yo obedezco, obedezco".
SR: Absolutamente no.
Sería una idea terrible.
Imagine, tiene un auto que se conduce solo
y quiere llevar a su hijo de cinco años al jardín de infancia.
¿Quiere que su hijo de cinco años pueda apagar el coche mientras conduce?
Probablemente no.
Por tanto necesita entender cuán racional y sensata es la persona.
Cuanto más racional sea la persona,
más dispuesto estará a dejar que lo apaguen.
Si la persona es impredecible o incluso malintencionada
estará menos dispuesto a permitir que lo apaguen.
CA: Stuart, permítame decir
que de veras espero que resuelva esto por todos nosotros.
Muchas gracias por su charla. Ha sido increíble, gracias.
(Aplausos)