[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.71,0:00:02.42,Default,,0000,0000,0000,,Este es Lee Sedol.
Dialogue: 0,0:00:02.42,0:00:05.35,Default,,0000,0000,0000,,Lee Sedol es uno de los mejores\Njugadores de Go del mundo.
Dialogue: 0,0:00:05.35,0:00:08.81,Default,,0000,0000,0000,,Y está teniendo lo que mis amigos\Nde Silicon Valley llaman
Dialogue: 0,0:00:08.81,0:00:10.73,Default,,0000,0000,0000,,un momento "¡Bendito Dios!".
Dialogue: 0,0:00:10.73,0:00:11.83,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:00:11.83,0:00:14.00,Default,,0000,0000,0000,,Un momento en el que nos damos cuenta
Dialogue: 0,0:00:14.00,0:00:17.80,Default,,0000,0000,0000,,de que la IA está avanzando \Nmucho más rápido de lo que esperábamos.
Dialogue: 0,0:00:17.80,0:00:20.03,Default,,0000,0000,0000,,Los humanos han perdido \Nen el tablero de Go.
Dialogue: 0,0:00:20.03,0:00:21.29,Default,,0000,0000,0000,,¿Y en el mundo real?
Dialogue: 0,0:00:21.29,0:00:24.22,Default,,0000,0000,0000,,Bueno, el mundo real es mucho \Nmás grande y complicado
Dialogue: 0,0:00:24.22,0:00:25.52,Default,,0000,0000,0000,,que el tablero de Go.
Dialogue: 0,0:00:25.52,0:00:26.94,Default,,0000,0000,0000,,Es mucho menos visible.
Dialogue: 0,0:00:26.94,0:00:29.38,Default,,0000,0000,0000,,Pero sigue siendo un problema de decisión.
Dialogue: 0,0:00:30.76,0:00:35.02,Default,,0000,0000,0000,,Y si pensamos en algunas\Nde las tecnologías que están por venir
Dialogue: 0,0:00:35.55,0:00:39.88,Default,,0000,0000,0000,,Noriko [Arai] mencionó \Nque las máquinas aún no saben leer,
Dialogue: 0,0:00:39.88,0:00:41.68,Default,,0000,0000,0000,,al menos no comprendiendo,
Dialogue: 0,0:00:41.68,0:00:44.20,Default,,0000,0000,0000,,pero lo harán, y cuando eso suceda,
Dialogue: 0,0:00:45.10,0:00:50.66,Default,,0000,0000,0000,,poco después las máquinas habrán leído \Ntodo lo que la raza humana ha escrito.
Dialogue: 0,0:00:51.85,0:00:53.68,Default,,0000,0000,0000,,Eso permitirá a las máquinas,
Dialogue: 0,0:00:53.68,0:00:56.79,Default,,0000,0000,0000,,junto a su habilidad mirar más allá \Nde lo que pueden los humanos,
Dialogue: 0,0:00:56.79,0:00:58.17,Default,,0000,0000,0000,,como ya hemos visto en el Go,
Dialogue: 0,0:00:58.17,0:01:00.55,Default,,0000,0000,0000,,si también tienen acceso \Na más información,
Dialogue: 0,0:01:00.55,0:01:03.79,Default,,0000,0000,0000,,serán capaces de tomar \Nmejores decisiones en el mundo real
Dialogue: 0,0:01:03.79,0:01:04.86,Default,,0000,0000,0000,,que nosotros.
Dialogue: 0,0:01:06.79,0:01:08.40,Default,,0000,0000,0000,,¿Es eso bueno?
Dialogue: 0,0:01:09.90,0:01:12.13,Default,,0000,0000,0000,,Bueno, espero que sí.
Dialogue: 0,0:01:14.69,0:01:17.95,Default,,0000,0000,0000,,Toda nuestra civilización,\Ntodo lo que valoramos,
Dialogue: 0,0:01:17.97,0:01:20.04,Default,,0000,0000,0000,,se basa en nuestra inteligencia.
Dialogue: 0,0:01:20.06,0:01:23.76,Default,,0000,0000,0000,,Y si tuviéramos acceso\Na mucha más inteligencia,
Dialogue: 0,0:01:23.78,0:01:27.34,Default,,0000,0000,0000,,entonces no existirían límites\Npara lo que la raza humana pueda hacer.
Dialogue: 0,0:01:28.66,0:01:31.40,Default,,0000,0000,0000,,Y creo que este podría ser, \Ncomo han dicho algunos,
Dialogue: 0,0:01:31.40,0:01:34.03,Default,,0000,0000,0000,,el mayor acontecimiento\Nde la historia de la humanidad.
Dialogue: 0,0:01:36.66,0:01:39.49,Default,,0000,0000,0000,,Entonces, ¿por qué la gente afirma\Ncosas como esta?
Dialogue: 0,0:01:39.52,0:01:43.04,Default,,0000,0000,0000,,Que la inteligencia artificial podría\Nsignificar el fin de la raza humana.
Dialogue: 0,0:01:43.44,0:01:45.10,Default,,0000,0000,0000,,¿Es esto algo nuevo?
Dialogue: 0,0:01:45.12,0:01:49.23,Default,,0000,0000,0000,,¿Se trata solo de Elon Musk \Ny Bill Gates y Stephen Hawking?
Dialogue: 0,0:01:49.95,0:01:53.22,Default,,0000,0000,0000,,En realidad, no. Esta idea no es nueva.
Dialogue: 0,0:01:53.24,0:01:55.20,Default,,0000,0000,0000,,He aquí una cita:
Dialogue: 0,0:01:55.22,0:01:59.58,Default,,0000,0000,0000,,"Incluso si pudiéramos mantener las\Nmáquinas en una posición servil,
Dialogue: 0,0:01:59.60,0:02:02.58,Default,,0000,0000,0000,,por ejemplo, desconectándolas\Nen momentos estratégicos"
Dialogue: 0,0:02:02.61,0:02:05.84,Default,,0000,0000,0000,,--volveré a esa idea de \N"quitar la corriente" más adelante--
Dialogue: 0,0:02:05.87,0:02:08.73,Default,,0000,0000,0000,,"deberíamos, como especie,\Nsentirnos humillados".
Dialogue: 0,0:02:10.18,0:02:13.62,Default,,0000,0000,0000,,¿Quién dijo esto?\NEste es Alan Turing, en 1951.
Dialogue: 0,0:02:14.30,0:02:17.06,Default,,0000,0000,0000,,Alan Turing, como Uds. saben,\Nes el padre de la informática
Dialogue: 0,0:02:17.09,0:02:20.14,Default,,0000,0000,0000,,y en muchos sentidos \Ntambién el padre de la IA.
Dialogue: 0,0:02:21.24,0:02:23.12,Default,,0000,0000,0000,,Así que si pensamos en este problema,
Dialogue: 0,0:02:23.14,0:02:26.93,Default,,0000,0000,0000,,el problema de crear algo\Nmás inteligente que tu propia especie,
Dialogue: 0,0:02:26.96,0:02:29.58,Default,,0000,0000,0000,,podríamos llamar a esto\N"el problema del gorila".
Dialogue: 0,0:02:30.34,0:02:34.10,Default,,0000,0000,0000,,Porque los antepasados de los gorilas\Nhicieron esto hace unos millones de años,
Dialogue: 0,0:02:34.12,0:02:36.16,Default,,0000,0000,0000,,y ahora podríamos\Npreguntar a los gorilas:
Dialogue: 0,0:02:36.75,0:02:37.91,Default,,0000,0000,0000,,¿Fue una buena idea?
Dialogue: 0,0:02:37.94,0:02:41.93,Default,,0000,0000,0000,,Aquí están, reunidos para discutir \Nsi fue una buena idea,
Dialogue: 0,0:02:41.93,0:02:44.92,Default,,0000,0000,0000,,y pasado un tiempo concluyen que no.
Dialogue: 0,0:02:44.92,0:02:46.28,Default,,0000,0000,0000,,Fue una idea terrible.
Dialogue: 0,0:02:46.28,0:02:48.01,Default,,0000,0000,0000,,Nuestra especie está en apuros.
Dialogue: 0,0:02:48.54,0:02:52.80,Default,,0000,0000,0000,,De hecho, pueden ver \Nla tristeza existencial en sus ojos.
Dialogue: 0,0:02:52.82,0:02:54.46,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:02:54.49,0:02:58.28,Default,,0000,0000,0000,,Así que esta sensación mareante\Nde que crear algo más inteligente
Dialogue: 0,0:02:58.28,0:03:01.72,Default,,0000,0000,0000,,que tu propia especie\Ntal vez no sea buena idea...
Dialogue: 0,0:03:02.49,0:03:03.98,Default,,0000,0000,0000,,¿Qué podemos hacer al respecto?
Dialogue: 0,0:03:04.00,0:03:08.77,Default,,0000,0000,0000,,Bueno, nada en realidad,\Nexcepto dejar de hacer IA.
Dialogue: 0,0:03:08.79,0:03:11.34,Default,,0000,0000,0000,,Y por todos los beneficios \Nque he mencionado
Dialogue: 0,0:03:11.34,0:03:13.04,Default,,0000,0000,0000,,y porque soy un investigador de IA,
Dialogue: 0,0:03:13.07,0:03:14.86,Default,,0000,0000,0000,,no voy a tomar eso.
Dialogue: 0,0:03:15.28,0:03:17.75,Default,,0000,0000,0000,,Sin duda quiero seguir creando IA.
Dialogue: 0,0:03:18.62,0:03:21.29,Default,,0000,0000,0000,,Así que necesitamos precisar\Nel problema un poco más.
Dialogue: 0,0:03:21.32,0:03:22.69,Default,,0000,0000,0000,,¿Cuál es el problema?
Dialogue: 0,0:03:22.71,0:03:25.96,Default,,0000,0000,0000,,¿Por qué tener mejor IA \Npuede ser una catástrofe?
Dialogue: 0,0:03:27.40,0:03:28.90,Default,,0000,0000,0000,,Aquí hay otra cita:
Dialogue: 0,0:03:29.94,0:03:32.14,Default,,0000,0000,0000,,"Más nos vale estar seguros\Nde que el propósito
Dialogue: 0,0:03:32.14,0:03:35.00,Default,,0000,0000,0000,,que introducimos en la máquina\Nes el que de verdad deseamos".
Dialogue: 0,0:03:36.13,0:03:39.31,Default,,0000,0000,0000,,Esto fue dicho por Norbert Wiener en 1960,
Dialogue: 0,0:03:39.31,0:03:43.49,Default,,0000,0000,0000,,poco después de ver a uno de\Nlos primeros sistemas de aprendizaje
Dialogue: 0,0:03:43.49,0:03:46.34,Default,,0000,0000,0000,,aprender a jugar a las damas\Nmejor que su creador.
Dialogue: 0,0:03:48.60,0:03:52.16,Default,,0000,0000,0000,,Pero esto podría haberlo dicho \Nde igual modo el Rey Midas.
Dialogue: 0,0:03:52.16,0:03:56.15,Default,,0000,0000,0000,,El Rey Midas dijo, "Deseo que todo \Nlo que toque se convierta en oro".
Dialogue: 0,0:03:56.15,0:03:58.67,Default,,0000,0000,0000,,Y obtuvo justo lo que pidió.
Dialogue: 0,0:03:58.67,0:04:02.11,Default,,0000,0000,0000,,Fue el propósito que introdujo\Nen la máquina, por así decirlo.
Dialogue: 0,0:04:02.99,0:04:06.36,Default,,0000,0000,0000,,Y luego su comida, su bebida\Ny sus familiares se convirtieron en oro
Dialogue: 0,0:04:06.36,0:04:08.74,Default,,0000,0000,0000,,y murió miserable y muerto de hambre.
Dialogue: 0,0:04:10.44,0:04:13.06,Default,,0000,0000,0000,,Así que llamaremos a esto\N"el problema del rey Midas",
Dialogue: 0,0:04:13.06,0:04:16.21,Default,,0000,0000,0000,,el de indicar un objetivo\Nque no está realmente
Dialogue: 0,0:04:16.21,0:04:18.55,Default,,0000,0000,0000,,alineado con lo que de verdad queremos.
Dialogue: 0,0:04:18.58,0:04:22.29,Default,,0000,0000,0000,,En términos modernos, lo llamamos\N"el problema de alineación de valor".
Dialogue: 0,0:04:25.05,0:04:28.53,Default,,0000,0000,0000,,Introducir un objetivo equivocado\Nno es la única parte del problema.
Dialogue: 0,0:04:28.56,0:04:29.71,Default,,0000,0000,0000,,Hay otra parte.
Dialogue: 0,0:04:30.16,0:04:32.10,Default,,0000,0000,0000,,Al introducir un objetivo en una máquina
Dialogue: 0,0:04:32.13,0:04:34.58,Default,,0000,0000,0000,,incluso algo tan simple como\N"Trae el café",
Dialogue: 0,0:04:35.91,0:04:37.75,Default,,0000,0000,0000,,la máquina se dice a sí misma,
Dialogue: 0,0:04:38.73,0:04:41.13,Default,,0000,0000,0000,,"¿Cómo podría fallar \Nyendo a buscar el café?
Dialogue: 0,0:04:41.13,0:04:42.95,Default,,0000,0000,0000,,Alguien podría desconectarme.
Dialogue: 0,0:04:42.95,0:04:45.66,Default,,0000,0000,0000,,Vale, debo tomar medidas para evitarlo.
Dialogue: 0,0:04:46.02,0:04:48.15,Default,,0000,0000,0000,,Desactivaré mi interruptor de 'apagado'.\N
Dialogue: 0,0:04:48.15,0:04:51.26,Default,,0000,0000,0000,,Haré cualquier cosa para protegerme\Nde interferencias
Dialogue: 0,0:04:51.26,0:04:53.51,Default,,0000,0000,0000,,con este objetivo que me han dado.
Dialogue: 0,0:04:54.17,0:04:56.29,Default,,0000,0000,0000,,Así que esta persecución obsesiva
Dialogue: 0,0:04:57.06,0:05:00.16,Default,,0000,0000,0000,,de un modo muy defensivo\Npara lograr un objetivo
Dialogue: 0,0:05:00.16,0:05:02.49,Default,,0000,0000,0000,,que no está alineado\Ncon los verdaderos objetivos
Dialogue: 0,0:05:02.49,0:05:03.65,Default,,0000,0000,0000,,de la raza humana...
Dialogue: 0,0:05:03.65,0:05:06.01,Default,,0000,0000,0000,,ese es el problema \Nal que nos enfrentamos.
Dialogue: 0,0:05:06.71,0:05:11.50,Default,,0000,0000,0000,,Y de hecho esa es la lección\Nmás valiosa de esta charla.
Dialogue: 0,0:05:11.62,0:05:13.82,Default,,0000,0000,0000,,Si quieren recordar una cosa
Dialogue: 0,0:05:13.88,0:05:16.55,Default,,0000,0000,0000,,es que no se puede ir a buscar\Nel café si se está muerto.
Dialogue: 0,0:05:16.58,0:05:17.64,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:05:17.66,0:05:21.49,Default,,0000,0000,0000,,Es muy simple. Solo recuerden eso.\NRepítanlo tres veces al día.
Dialogue: 0,0:05:21.51,0:05:23.34,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:05:23.36,0:05:26.11,Default,,0000,0000,0000,,Y de hecho, este es el mismo argumento
Dialogue: 0,0:05:26.14,0:05:28.78,Default,,0000,0000,0000,,de "2001: [Una odisea del espacio]".
Dialogue: 0,0:05:29.23,0:05:31.32,Default,,0000,0000,0000,,HAL tiene un objetivo, una misión,
Dialogue: 0,0:05:31.34,0:05:35.07,Default,,0000,0000,0000,,que no está alineada\Ncon los objetivos de los humanos,
Dialogue: 0,0:05:35.10,0:05:36.91,Default,,0000,0000,0000,,y eso conduce a este conflicto.
Dialogue: 0,0:05:37.49,0:05:40.46,Default,,0000,0000,0000,,Por suerte HAL no es superinteligente.
Dialogue: 0,0:05:40.49,0:05:43.03,Default,,0000,0000,0000,,Es bastante inteligente,\Npero llegado el momento,
Dialogue: 0,0:05:43.03,0:05:45.95,Default,,0000,0000,0000,,Dave lo supera y logra apagarlo.
Dialogue: 0,0:05:49.83,0:05:51.64,Default,,0000,0000,0000,,Pero tal vez no tengamos tanta suerte.
Dialogue: 0,0:05:56.19,0:05:57.78,Default,,0000,0000,0000,,Entonces, ¿qué vamos a hacer?
Dialogue: 0,0:06:00.37,0:06:02.97,Default,,0000,0000,0000,,Estoy tratando de redefinir la IA
Dialogue: 0,0:06:02.100,0:06:05.06,Default,,0000,0000,0000,,para alejarnos de esta noción clásica
Dialogue: 0,0:06:05.08,0:06:09.65,Default,,0000,0000,0000,,de máquinas que persiguen objetivos\Nde manera inteligente.
Dialogue: 0,0:06:10.71,0:06:12.51,Default,,0000,0000,0000,,Hay tres principios implicados.
Dialogue: 0,0:06:12.53,0:06:15.82,Default,,0000,0000,0000,,El primero es un principio\Nde altruismo, por así decirlo,
Dialogue: 0,0:06:15.85,0:06:19.11,Default,,0000,0000,0000,,el único objetivo del robot
Dialogue: 0,0:06:19.13,0:06:23.38,Default,,0000,0000,0000,,es maximizar la realización\Nde los objetivos humanos,
Dialogue: 0,0:06:23.40,0:06:24.79,Default,,0000,0000,0000,,de los valores humanos.
Dialogue: 0,0:06:24.82,0:06:28.15,Default,,0000,0000,0000,,Y por valores aquí no me refiero\Na valores sentimentales o de bondad.
Dialogue: 0,0:06:28.17,0:06:31.96,Default,,0000,0000,0000,,Solo quiero decir aquello\Nmás similar a la vida
Dialogue: 0,0:06:31.98,0:06:33.32,Default,,0000,0000,0000,,que un humano preferiría.
Dialogue: 0,0:06:35.36,0:06:37.49,Default,,0000,0000,0000,,Y esto viola la ley de Asimov
Dialogue: 0,0:06:37.49,0:06:39.97,Default,,0000,0000,0000,,de que el robot debe proteger\Nsu propia existencia.
Dialogue: 0,0:06:39.97,0:06:43.77,Default,,0000,0000,0000,,No tiene ningún interés en preservar\Nsu existencia en absoluto.
Dialogue: 0,0:06:45.42,0:06:49.19,Default,,0000,0000,0000,,La segunda ley es una ley\Nde humildad, digamos.
Dialogue: 0,0:06:49.97,0:06:53.72,Default,,0000,0000,0000,,Y resulta muy importante\Npara que los robots sean seguros.
Dialogue: 0,0:06:53.74,0:06:56.88,Default,,0000,0000,0000,,Dice que el robot no sabe
Dialogue: 0,0:06:56.91,0:06:58.94,Default,,0000,0000,0000,,cuáles son esos valores humanos,
Dialogue: 0,0:06:58.96,0:07:02.14,Default,,0000,0000,0000,,así que debe maximizarlos,\Npero no sabe lo que son.
Dialogue: 0,0:07:03.25,0:07:05.88,Default,,0000,0000,0000,,Lo cual evita el problema \Nde la búsqueda obsesiva
Dialogue: 0,0:07:05.90,0:07:07.12,Default,,0000,0000,0000,,de un objetivo.
Dialogue: 0,0:07:07.14,0:07:09.31,Default,,0000,0000,0000,,Esta incertidumbre resulta crucial.
Dialogue: 0,0:07:09.73,0:07:11.44,Default,,0000,0000,0000,,Claro que para sernos útiles,
Dialogue: 0,0:07:11.44,0:07:14.12,Default,,0000,0000,0000,,deben tener alguna idea \Nde lo que queremos.
Dialogue: 0,0:07:15.22,0:07:20.65,Default,,0000,0000,0000,,Obtiene esa información sobre todo\Nobservando elecciones humanas,
Dialogue: 0,0:07:20.67,0:07:23.48,Default,,0000,0000,0000,,para que nuestras propias\Ndecisiones revelen información
Dialogue: 0,0:07:23.50,0:07:26.80,Default,,0000,0000,0000,,sobre lo que nosotros preferimos\Npara nuestras vidas.
Dialogue: 0,0:07:28.63,0:07:30.32,Default,,0000,0000,0000,,Estos son los tres principios.
Dialogue: 0,0:07:30.34,0:07:32.66,Default,,0000,0000,0000,,Veamos cómo se aplica a esta cuestión
Dialogue: 0,0:07:32.68,0:07:35.47,Default,,0000,0000,0000,,de "apagar la máquina", \Ncomo sugirió Turing.
Dialogue: 0,0:07:37.07,0:07:38.84,Default,,0000,0000,0000,,He aquí un robot PR2.
Dialogue: 0,0:07:38.84,0:07:41.04,Default,,0000,0000,0000,,Es uno que tenemos\Nen nuestro laboratorio,
Dialogue: 0,0:07:41.06,0:07:44.49,Default,,0000,0000,0000,,y tiene un gran botón rojo de 'apagado'\Nen la parte posterior.
Dialogue: 0,0:07:44.54,0:07:46.94,Default,,0000,0000,0000,,La pregunta es: ¿Va a\Ndejar que lo apaguen?
Dialogue: 0,0:07:46.94,0:07:48.64,Default,,0000,0000,0000,,Si lo hacemos a la manera clásica,
Dialogue: 0,0:07:48.67,0:07:52.15,Default,,0000,0000,0000,,le damos el objetivo de traer\Nel café. "Debo traer el café.
Dialogue: 0,0:07:52.18,0:07:54.76,Default,,0000,0000,0000,,No puedo traer el café \Nsi estoy muerto".
Dialogue: 0,0:07:54.78,0:07:58.12,Default,,0000,0000,0000,,Obviamente el PR2 \Nha escuchado mi charla,
Dialogue: 0,0:07:58.14,0:08:00.05,Default,,0000,0000,0000,,y por tanto, decide
Dialogue: 0,0:08:00.05,0:08:02.98,Default,,0000,0000,0000,,"Debo inhabilitar mi botón de 'apagado'".
Dialogue: 0,0:08:02.98,0:08:06.16,Default,,0000,0000,0000,,"Y probablemente electrocutar \Nal resto de personas en el Starbucks
Dialogue: 0,0:08:06.16,0:08:07.43,Default,,0000,0000,0000,,que podrían interferir".
Dialogue: 0,0:08:07.43,0:08:09.34,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:08:09.36,0:08:11.52,Default,,0000,0000,0000,,Así que esto parece ser\Ninevitable, ¿verdad?
Dialogue: 0,0:08:11.54,0:08:13.94,Default,,0000,0000,0000,,Este tipo de error \Nparece ser inevitable,
Dialogue: 0,0:08:13.96,0:08:17.51,Default,,0000,0000,0000,,y sucede por tener \Nun objetivo concreto, definido.
Dialogue: 0,0:08:18.81,0:08:21.96,Default,,0000,0000,0000,,Entonces, ¿qué pasa si la máquina\Nno tiene claro el objetivo?
Dialogue: 0,0:08:21.98,0:08:24.11,Default,,0000,0000,0000,,Bueno, razona de una manera diferente.
Dialogue: 0,0:08:24.13,0:08:28.66,Default,,0000,0000,0000,,Dice, "El humano podría desconectarme,\Npero solo si hago algo malo.
Dialogue: 0,0:08:29.76,0:08:33.78,Default,,0000,0000,0000,,No tengo claro lo que es malo\Npero sé que no quiero hacerlo".
Dialogue: 0,0:08:33.79,0:08:36.36,Default,,0000,0000,0000,,Ahí están el primer \Ny el segundo principio.
Dialogue: 0,0:08:37.36,0:08:40.54,Default,,0000,0000,0000,,"Así que debería dejar \Nque el humano me desconecte".
Dialogue: 0,0:08:41.72,0:08:45.34,Default,,0000,0000,0000,,De hecho se puede calcular \Nel incentivo que tiene el robot
Dialogue: 0,0:08:45.34,0:08:48.21,Default,,0000,0000,0000,,para permitir que el humano lo apague.
Dialogue: 0,0:08:48.22,0:08:50.98,Default,,0000,0000,0000,,Y está directamente ligado \Nal grado de incertidumbre
Dialogue: 0,0:08:50.98,0:08:53.03,Default,,0000,0000,0000,,sobre el objetivo subyacente.
Dialogue: 0,0:08:53.43,0:08:57.02,Default,,0000,0000,0000,,Y entonces cuando la máquina está apagada,
Dialogue: 0,0:08:57.02,0:08:58.76,Default,,0000,0000,0000,,el tercer principio entra en juego.
Dialogue: 0,0:08:58.78,0:09:01.84,Default,,0000,0000,0000,,Aprende algo sobre los objetivos\Nque debe perseguir,
Dialogue: 0,0:09:01.86,0:09:04.40,Default,,0000,0000,0000,,porque aprende que\Nlo que hizo no estaba bien.
Dialogue: 0,0:09:04.42,0:09:07.99,Default,,0000,0000,0000,,De hecho, podemos, con el uso adecuado\Nde los símbolos griegos,
Dialogue: 0,0:09:08.02,0:09:10.15,Default,,0000,0000,0000,,como suelen hacer los matemáticos,
Dialogue: 0,0:09:10.17,0:09:12.16,Default,,0000,0000,0000,,podemos probar un teorema
Dialogue: 0,0:09:12.18,0:09:15.73,Default,,0000,0000,0000,,que dice que tal robot es probablemente\Nbeneficioso para el humano.
Dialogue: 0,0:09:15.76,0:09:19.56,Default,,0000,0000,0000,,Se está demostrablemente mejor con\Nuna máquina que se diseña de esta manera
Dialogue: 0,0:09:19.58,0:09:20.83,Default,,0000,0000,0000,,que sin ella.
Dialogue: 0,0:09:21.24,0:09:24.14,Default,,0000,0000,0000,,Este es un ejemplo muy simple,\Npero este es el primer paso
Dialogue: 0,0:09:24.17,0:09:28.07,Default,,0000,0000,0000,,en lo que estamos tratando de hacer\Ncon IA compatible con humanos.
Dialogue: 0,0:09:30.66,0:09:33.91,Default,,0000,0000,0000,,Ahora, este tercer principio,
Dialogue: 0,0:09:33.94,0:09:37.05,Default,,0000,0000,0000,,es probablemente el que está haciendo\Nque se rasquen la cabeza.
Dialogue: 0,0:09:37.07,0:09:40.08,Default,,0000,0000,0000,,Probablemente piensen: \N"Yo me comporto mal.
Dialogue: 0,0:09:40.08,0:09:43.17,Default,,0000,0000,0000,,No quiero que mi robot \Nse comporte como yo.
Dialogue: 0,0:09:43.17,0:09:46.26,Default,,0000,0000,0000,,Me escabullo en mitad de la noche \Ny tomo cosas de la nevera,
Dialogue: 0,0:09:46.26,0:09:47.54,Default,,0000,0000,0000,,hago esto y hago aquello".
Dialogue: 0,0:09:47.54,0:09:50.20,Default,,0000,0000,0000,,Hay todo tipo de cosas que no\Nquieres que haga el robot.
Dialogue: 0,0:09:50.60,0:09:52.82,Default,,0000,0000,0000,,Pero lo cierto es que \Nno funciona así.
Dialogue: 0,0:09:52.82,0:09:54.99,Default,,0000,0000,0000,,Solo porque uno se comporte mal
Dialogue: 0,0:09:54.99,0:09:57.77,Default,,0000,0000,0000,,no significa que el robot\Nvaya a copiar su comportamiento.
Dialogue: 0,0:09:57.77,0:10:01.04,Default,,0000,0000,0000,,Va a entender sus motivaciones\Ny tal vez a ayudarle a resistirlas,
Dialogue: 0,0:10:01.62,0:10:02.94,Default,,0000,0000,0000,,si es apropiado.
Dialogue: 0,0:10:04.21,0:10:05.67,Default,,0000,0000,0000,,Pero sigue siendo difícil.
Dialogue: 0,0:10:06.30,0:10:08.85,Default,,0000,0000,0000,,Lo que estamos tratando\Nde hacer, de hecho,
Dialogue: 0,0:10:08.87,0:10:12.89,Default,,0000,0000,0000,,es permitir que las máquinas predigan\Npara cualquier persona
Dialogue: 0,0:10:12.89,0:10:15.85,Default,,0000,0000,0000,,y para cualquier vida posible \Nque podrían vivir,
Dialogue: 0,0:10:15.88,0:10:17.47,Default,,0000,0000,0000,,y las vidas de todos los demás
Dialogue: 0,0:10:17.50,0:10:20.01,Default,,0000,0000,0000,,lo que preferirían.
Dialogue: 0,0:10:22.06,0:10:25.02,Default,,0000,0000,0000,,Y hay muchas, muchas \Ndificultades ligadas a hacer esto.
Dialogue: 0,0:10:25.04,0:10:27.97,Default,,0000,0000,0000,,No espero que vaya a resolverse pronto.
Dialogue: 0,0:10:27.100,0:10:30.64,Default,,0000,0000,0000,,Las verdaderas dificultades,\Nde hecho, somos nosotros.
Dialogue: 0,0:10:32.15,0:10:35.27,Default,,0000,0000,0000,,Como ya he mencionado,\Nnos comportamos mal.
Dialogue: 0,0:10:35.29,0:10:38.24,Default,,0000,0000,0000,,De hecho, algunos de nosotros\Nsomos francamente desagradables.
Dialogue: 0,0:10:38.43,0:10:41.48,Default,,0000,0000,0000,,Como he dicho, el robot\Nno tiene que copiar el comportamiento.
Dialogue: 0,0:10:41.51,0:10:44.30,Default,,0000,0000,0000,,El robot no tiene ningún objetivo propio.
Dialogue: 0,0:10:44.32,0:10:46.06,Default,,0000,0000,0000,,Es puramente altruista.
Dialogue: 0,0:10:47.29,0:10:52.51,Default,,0000,0000,0000,,Y no está diseñado solo para satisfacer\Nlos deseos de una persona, el usuario,
Dialogue: 0,0:10:52.54,0:10:55.68,Default,,0000,0000,0000,,sino que tiene que respetar\Nlas preferencias de todos.
Dialogue: 0,0:10:57.26,0:10:59.83,Default,,0000,0000,0000,,Así que puede lidiar \Ncon cierta cantidad de maldad,
Dialogue: 0,0:10:59.86,0:11:03.56,Default,,0000,0000,0000,,e incluso puede entender\Nque su maldad, por ejemplo...
Dialogue: 0,0:11:03.58,0:11:06.39,Default,,0000,0000,0000,,Ud. puede aceptar sobornos \Ncomo controlador de pasaportes
Dialogue: 0,0:11:06.39,0:11:10.09,Default,,0000,0000,0000,,porque necesita alimentar a su familia \Ny que sus hijos vayan a la escuela.
Dialogue: 0,0:11:10.11,0:11:13.02,Default,,0000,0000,0000,,Puede entender eso;\Nno significa que vaya a robar.
Dialogue: 0,0:11:13.04,0:11:15.91,Default,,0000,0000,0000,,De hecho, solo le ayudará\Na que sus hijos vayan al colegio.
Dialogue: 0,0:11:16.98,0:11:19.99,Default,,0000,0000,0000,,También estamos limitados\Ncomputacionalmente.
Dialogue: 0,0:11:20.01,0:11:22.52,Default,,0000,0000,0000,,Lee Sedol es un jugador brillante de Go,
Dialogue: 0,0:11:22.54,0:11:23.87,Default,,0000,0000,0000,,pero aun así perdió.
Dialogue: 0,0:11:23.89,0:11:28.13,Default,,0000,0000,0000,,Si nos fijamos en sus acciones,\Ntomó una decisión que le hizo perder.
Dialogue: 0,0:11:28.15,0:11:30.31,Default,,0000,0000,0000,,Eso no significa que él quisiera perder.
Dialogue: 0,0:11:31.34,0:11:33.38,Default,,0000,0000,0000,,Así que para entender su comportamiento,
Dialogue: 0,0:11:33.40,0:11:37.05,Default,,0000,0000,0000,,en realidad tenemos que invertir,\Na través de un modelo cognitivo humano
Dialogue: 0,0:11:37.07,0:11:39.81,Default,,0000,0000,0000,,que incluye nuestras \Nlimitaciones computacionales,
Dialogue: 0,0:11:39.81,0:11:42.07,Default,,0000,0000,0000,,y se trata de un modelo muy complicado.
Dialogue: 0,0:11:42.07,0:11:44.100,Default,,0000,0000,0000,,Pero es algo en lo que podemos \Ntrabajar para comprender.
Dialogue: 0,0:11:45.59,0:11:48.28,Default,,0000,0000,0000,,Puede que la parte más difícil, \Ndesde mi punto de vista
Dialogue: 0,0:11:48.28,0:11:49.50,Default,,0000,0000,0000,,como investigador de IA,
Dialogue: 0,0:11:49.50,0:11:52.80,Default,,0000,0000,0000,,es el hecho de que hay muchos de nosotros,
Dialogue: 0,0:11:54.29,0:11:57.15,Default,,0000,0000,0000,,con lo cual la máquina tiene que sopesar
Dialogue: 0,0:11:57.15,0:12:00.12,Default,,0000,0000,0000,,las preferencias de mucha gente diferente.
Dialogue: 0,0:12:00.15,0:12:02.05,Default,,0000,0000,0000,,Hay diferentes maneras de hacer eso.
Dialogue: 0,0:12:02.08,0:12:05.77,Default,,0000,0000,0000,,Economistas, sociólogos, \Nfilósofos morales han comprendido esto
Dialogue: 0,0:12:05.79,0:12:08.25,Default,,0000,0000,0000,,y estamos buscando \Ncolaboración de manera activa.
Dialogue: 0,0:12:08.27,0:12:11.52,Default,,0000,0000,0000,,Vamos a ver lo que sucede\Ncuando esto se hace mal.
Dialogue: 0,0:12:11.54,0:12:13.68,Default,,0000,0000,0000,,Ud. puede estar hablando, por ejemplo,
Dialogue: 0,0:12:13.70,0:12:15.65,Default,,0000,0000,0000,,con su asistente personal inteligente
Dialogue: 0,0:12:15.67,0:12:17.96,Default,,0000,0000,0000,,que podría estar disponible\Ndentro de unos años.
Dialogue: 0,0:12:17.98,0:12:20.50,Default,,0000,0000,0000,,Piensen en Siri con esteroides.
Dialogue: 0,0:12:21.63,0:12:25.95,Default,,0000,0000,0000,,Siri dice "Su esposa llamó para \Nrecordarle la cena de esta noche".
Dialogue: 0,0:12:26.62,0:12:29.90,Default,,0000,0000,0000,,Por supuesto, lo había olvidado.\N¿Qué cena? ¿De qué está hablando?
Dialogue: 0,0:12:30.79,0:12:32.81,Default,,0000,0000,0000,,"Su 20 aniversario, a las 7pm".
Dialogue: 0,0:12:36.75,0:12:40.16,Default,,0000,0000,0000,,"No puedo, me reúno con el \Nsecretario general a las 7:30.
Dialogue: 0,0:12:40.16,0:12:42.50,Default,,0000,0000,0000,,¿Cómo ha podido suceder esto?".
Dialogue: 0,0:12:42.50,0:12:46.92,Default,,0000,0000,0000,,"Bueno, le advertí, pero ignoró\Nmi recomendación".
Dialogue: 0,0:12:47.17,0:12:50.59,Default,,0000,0000,0000,,"¿Qué voy a hacer? No puedo decirles \Nque estoy demasiado ocupado".
Dialogue: 0,0:12:52.13,0:12:56.16,Default,,0000,0000,0000,,"No se preocupe, he hecho\Nque su avión se retrase".
Dialogue: 0,0:12:56.16,0:12:58.35,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:12:58.35,0:13:00.80,Default,,0000,0000,0000,,"Algún tipo de error en el ordenador".
Dialogue: 0,0:13:00.80,0:13:01.61,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:13:01.61,0:13:03.23,Default,,0000,0000,0000,,"¿En serio? ¿Puede hacer eso?".
Dialogue: 0,0:13:04.40,0:13:06.58,Default,,0000,0000,0000,,"Le envía sinceras disculpas
Dialogue: 0,0:13:06.60,0:13:09.16,Default,,0000,0000,0000,,y espera poder conocerle\Nmañana para el almuerzo".
Dialogue: 0,0:13:09.18,0:13:10.48,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:13:10.50,0:13:14.91,Default,,0000,0000,0000,,Así que los valores aquí...\Naquí hay un pequeño fallo.
Dialogue: 0,0:13:14.93,0:13:17.94,Default,,0000,0000,0000,,Claramente está siguiendo\Nlos valores de mi esposa
Dialogue: 0,0:13:17.96,0:13:20.03,Default,,0000,0000,0000,,que son "esposa feliz, vida feliz".
Dialogue: 0,0:13:20.06,0:13:21.64,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:13:21.66,0:13:23.11,Default,,0000,0000,0000,,Podría suceder al revés.
Dialogue: 0,0:13:23.64,0:13:26.02,Default,,0000,0000,0000,,Podría llegar a casa\Ntras un duro día de trabajo,
Dialogue: 0,0:13:26.05,0:13:28.29,Default,,0000,0000,0000,,y el ordenador dice "¿Un día duro?".
Dialogue: 0,0:13:28.29,0:13:30.13,Default,,0000,0000,0000,,"Sí, ni tuve tiempo de almorzar".
Dialogue: 0,0:13:30.13,0:13:31.94,Default,,0000,0000,0000,,"Debe tener mucha hambre".
Dialogue: 0,0:13:31.94,0:13:34.89,Default,,0000,0000,0000,,"Me muero de hambre, sí,\N¿podría preparar algo de cena?".
Dialogue: 0,0:13:36.07,0:13:38.16,Default,,0000,0000,0000,,"Hay algo que necesito decirle".
Dialogue: 0,0:13:38.18,0:13:39.34,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:13:40.19,0:13:45.10,Default,,0000,0000,0000,,"Hay humanos en Sudán del Sur\Nmás necesitados que Ud.".
Dialogue: 0,0:13:45.12,0:13:46.23,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:13:46.25,0:13:48.32,Default,,0000,0000,0000,,"Así que me voy, hágase su propia cena".
Dialogue: 0,0:13:48.35,0:13:50.35,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:13:50.58,0:13:52.70,Default,,0000,0000,0000,,Así que tenemos que\Nresolver estos problemas,
Dialogue: 0,0:13:52.70,0:13:54.61,Default,,0000,0000,0000,,y tengo ganas de trabajar en ellos.
Dialogue: 0,0:13:55.12,0:13:56.97,Default,,0000,0000,0000,,Hay razones para ser optimistas.
Dialogue: 0,0:13:56.99,0:14:00.07,Default,,0000,0000,0000,,Una razón es que hay \Ngran cantidad de datos
Dialogue: 0,0:14:00.07,0:14:03.50,Default,,0000,0000,0000,,Recuerden, leerán todo lo que \Nla raza humana ha escrito.
Dialogue: 0,0:14:03.50,0:14:07.12,Default,,0000,0000,0000,,La mayoría de lo que escribimos\Ntrata sobre humanos haciendo cosas
Dialogue: 0,0:14:07.12,0:14:09.12,Default,,0000,0000,0000,,y cómo estas molestan a otras personas.
Dialogue: 0,0:14:09.14,0:14:11.54,Default,,0000,0000,0000,,Así que hay muchos datos\Nde los que aprender.
Dialogue: 0,0:14:11.56,0:14:13.80,Default,,0000,0000,0000,,También hay un fuerte incentivo económico
Dialogue: 0,0:14:14.97,0:14:16.33,Default,,0000,0000,0000,,para que esto funcione bien.
Dialogue: 0,0:14:16.33,0:14:18.43,Default,,0000,0000,0000,,Imagine que su robot \Ndoméstico está en casa
Dialogue: 0,0:14:18.43,0:14:19.95,Default,,0000,0000,0000,,Ud. llega tarde del trabajo,
Dialogue: 0,0:14:19.95,0:14:22.09,Default,,0000,0000,0000,,el robot tiene que dar \Nde comer a los niños,
Dialogue: 0,0:14:22.09,0:14:24.51,Default,,0000,0000,0000,,los niños tienen hambre\Ny no hay nada en la nevera.
Dialogue: 0,0:14:24.51,0:14:27.11,Default,,0000,0000,0000,,Y el robot ve al gato.
Dialogue: 0,0:14:27.13,0:14:28.82,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:14:28.85,0:14:32.95,Default,,0000,0000,0000,,Y el robot no ha aprendido del todo bien\Nla función del valor humano
Dialogue: 0,0:14:32.95,0:14:34.46,Default,,0000,0000,0000,,por lo que no entiende
Dialogue: 0,0:14:34.46,0:14:38.77,Default,,0000,0000,0000,,que el valor sentimental del gato supera\Nel valor nutricional del gato.
Dialogue: 0,0:14:38.77,0:14:39.86,Default,,0000,0000,0000,,(Risas)
Dialogue: 0,0:14:39.86,0:14:41.36,Default,,0000,0000,0000,,Entonces, ¿qué pasa?
Dialogue: 0,0:14:41.36,0:14:45.39,Default,,0000,0000,0000,,Bueno, sucede lo siguiente:
Dialogue: 0,0:14:45.42,0:14:48.38,Default,,0000,0000,0000,,"Robot desquiciado cocina a un gatito\Npara la cena familiar".
Dialogue: 0,0:14:48.41,0:14:52.93,Default,,0000,0000,0000,,Ese único incidente acabaría\Ncon la industria de robots domésticos.
Dialogue: 0,0:14:52.95,0:14:56.32,Default,,0000,0000,0000,,Así que hay un gran incentivo\Npara hacer esto bien.
Dialogue: 0,0:14:56.35,0:14:59.06,Default,,0000,0000,0000,,mucho antes de llegar\Na las máquinas superinteligentes.
Dialogue: 0,0:15:00.13,0:15:01.66,Default,,0000,0000,0000,,Así que para resumir:
Dialogue: 0,0:15:01.69,0:15:04.57,Default,,0000,0000,0000,,Estoy intentando cambiar\Nla definición de IA
Dialogue: 0,0:15:04.59,0:15:07.58,Default,,0000,0000,0000,,para que tengamos máquinas\Ndemostrablemente beneficiosas.
Dialogue: 0,0:15:07.61,0:15:08.83,Default,,0000,0000,0000,,Y los principios son:
Dialogue: 0,0:15:08.86,0:15:10.37,Default,,0000,0000,0000,,Máquinas que son altruistas,
Dialogue: 0,0:15:10.37,0:15:13.02,Default,,0000,0000,0000,,que desean lograr solo nuestros objetivos,
Dialogue: 0,0:15:13.02,0:15:16.06,Default,,0000,0000,0000,,pero que no están seguras\Nde cuáles son esos objetivos
Dialogue: 0,0:15:16.06,0:15:18.30,Default,,0000,0000,0000,,y nos observarán a todos
Dialogue: 0,0:15:18.30,0:15:21.47,Default,,0000,0000,0000,,para aprender qué es\Nlo que realmente queremos.
Dialogue: 0,0:15:22.37,0:15:25.93,Default,,0000,0000,0000,,Y con suerte, en el proceso, \Naprenderemos a ser mejores personas.
Dialogue: 0,0:15:25.96,0:15:27.15,Default,,0000,0000,0000,,Muchas gracias.
Dialogue: 0,0:15:27.17,0:15:30.66,Default,,0000,0000,0000,,(Aplausos)
Dialogue: 0,0:15:30.66,0:15:32.82,Default,,0000,0000,0000,,Chris Anderson: Muy interesante, Stuart.
Dialogue: 0,0:15:32.82,0:15:35.58,Default,,0000,0000,0000,,Vamos a estar aquí un poco\Nporque creo que están preparando
Dialogue: 0,0:15:35.58,0:15:37.14,Default,,0000,0000,0000,,a nuestro próximo orador.
Dialogue: 0,0:15:37.16,0:15:38.70,Default,,0000,0000,0000,,Un par de preguntas.
Dialogue: 0,0:15:38.73,0:15:44.15,Default,,0000,0000,0000,,La idea de programar ignorancia\Nparece intuitivamente muy poderosa.
Dialogue: 0,0:15:44.15,0:15:45.92,Default,,0000,0000,0000,,Al llegar a la superinteligencia,
Dialogue: 0,0:15:45.92,0:15:48.18,Default,,0000,0000,0000,,¿qué puede impedir que un robot
Dialogue: 0,0:15:48.18,0:15:50.95,Default,,0000,0000,0000,,lea literatura y descubra esta idea\Nde que el conocimiento
Dialogue: 0,0:15:50.95,0:15:52.63,Default,,0000,0000,0000,,es mejor que la ignorancia,
Dialogue: 0,0:15:52.63,0:15:56.79,Default,,0000,0000,0000,,cambiando sus propios objetivos\Ny reescribiendo su programación?
Dialogue: 0,0:15:57.69,0:16:03.98,Default,,0000,0000,0000,,Stuart Russell: Queremos\Nque aprenda más, como he dicho,
Dialogue: 0,0:16:03.98,0:16:05.46,Default,,0000,0000,0000,,sobre nuestros objetivos.
Dialogue: 0,0:16:05.46,0:16:10.90,Default,,0000,0000,0000,,Solo ganará seguridad\Ncuanto más acierte.
Dialogue: 0,0:16:10.93,0:16:12.87,Default,,0000,0000,0000,,La evidencia estará ahí,
Dialogue: 0,0:16:12.90,0:16:15.62,Default,,0000,0000,0000,,y estará diseñado para \Ninterpretarla adecuadamente.
Dialogue: 0,0:16:15.64,0:16:19.50,Default,,0000,0000,0000,,Comprenderá, por ejemplo,\Nque los libros son muy sesgados
Dialogue: 0,0:16:19.50,0:16:21.19,Default,,0000,0000,0000,,en la evidencia que contienen.
Dialogue: 0,0:16:21.19,0:16:23.64,Default,,0000,0000,0000,,Solo hablan de reyes y príncipes
Dialogue: 0,0:16:23.64,0:16:26.35,Default,,0000,0000,0000,,y hombres blancos poderosos \Nhaciendo cosas.
Dialogue: 0,0:16:26.38,0:16:28.36,Default,,0000,0000,0000,,Es un problema complicado,
Dialogue: 0,0:16:28.36,0:16:32.29,Default,,0000,0000,0000,,pero conforme aprenda más\Nsobre nuestros objetivos
Dialogue: 0,0:16:32.29,0:16:34.46,Default,,0000,0000,0000,,será cada vez más útil\Npara nosotros.
Dialogue: 0,0:16:34.48,0:16:37.09,Default,,0000,0000,0000,,CA: Y no podría reducirse a una ley,
Dialogue: 0,0:16:37.09,0:16:38.80,Default,,0000,0000,0000,,ya sabe, grabada a fuego,
Dialogue: 0,0:16:38.80,0:16:41.95,Default,,0000,0000,0000,,"Si un humano alguna vez\Nintenta apagarme
Dialogue: 0,0:16:41.95,0:16:43.96,Default,,0000,0000,0000,,yo obedezco, obedezco".
Dialogue: 0,0:16:43.98,0:16:45.30,Default,,0000,0000,0000,,SR: Absolutamente no.
Dialogue: 0,0:16:45.30,0:16:46.74,Default,,0000,0000,0000,,Sería una idea terrible.
Dialogue: 0,0:16:46.74,0:16:49.51,Default,,0000,0000,0000,,Imagine, tiene un auto que se conduce solo
Dialogue: 0,0:16:49.51,0:16:52.90,Default,,0000,0000,0000,,y quiere llevar a su hijo de cinco años\Nal jardín de infancia.
Dialogue: 0,0:16:52.90,0:16:56.38,Default,,0000,0000,0000,,¿Quiere que su hijo de cinco años pueda\Napagar el coche mientras conduce?
Dialogue: 0,0:16:56.38,0:16:57.64,Default,,0000,0000,0000,,Probablemente no.
Dialogue: 0,0:16:57.64,0:17:03.35,Default,,0000,0000,0000,,Por tanto necesita entender \Ncuán racional y sensata es la persona.
Dialogue: 0,0:17:03.35,0:17:05.06,Default,,0000,0000,0000,,Cuanto más racional sea la persona,
Dialogue: 0,0:17:05.06,0:17:07.17,Default,,0000,0000,0000,,más dispuesto estará \Na dejar que lo apaguen.
Dialogue: 0,0:17:07.17,0:17:09.83,Default,,0000,0000,0000,,Si la persona es impredecible\No incluso malintencionada
Dialogue: 0,0:17:09.83,0:17:12.22,Default,,0000,0000,0000,,estará menos dispuesto\Na permitir que lo apaguen.
Dialogue: 0,0:17:12.22,0:17:13.53,Default,,0000,0000,0000,,CA: Stuart, permítame decir
Dialogue: 0,0:17:13.53,0:17:16.24,Default,,0000,0000,0000,,que de veras espero que resuelva esto\Npor todos nosotros.
Dialogue: 0,0:17:16.24,0:17:19.07,Default,,0000,0000,0000,,Muchas gracias por su charla. \NHa sido increíble, gracias.
Dialogue: 0,0:17:19.07,0:17:20.50,Default,,0000,0000,0000,,(Aplausos)