[Script Info] Title: [Events] Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text Dialogue: 0,0:00:00.57,0:00:05.01,Default,,0000,0000,0000,,Eu trabalho com um grupo de matemáticos,\Nfilósofos e cientistas da computação, Dialogue: 0,0:00:05.01,0:00:09.99,Default,,0000,0000,0000,,e trocamos ideias sobre o futuro\Nda inteligência das máquinas, Dialogue: 0,0:00:09.99,0:00:12.03,Default,,0000,0000,0000,,entre outras coisas. Dialogue: 0,0:00:12.03,0:00:16.76,Default,,0000,0000,0000,,Alguns consideram essas coisas\Ncomo ficção científica, Dialogue: 0,0:00:16.76,0:00:19.86,Default,,0000,0000,0000,,muito irreais, malucas. Dialogue: 0,0:00:19.86,0:00:21.33,Default,,0000,0000,0000,,Mas eu gosto de dizer: Dialogue: 0,0:00:21.33,0:00:24.93,Default,,0000,0000,0000,,certo, vamos olhar\Na condição humana moderna. Dialogue: 0,0:00:24.93,0:00:26.62,Default,,0000,0000,0000,,(Risos) Dialogue: 0,0:00:26.62,0:00:29.02,Default,,0000,0000,0000,,Este é o modo normal das coisas. Dialogue: 0,0:00:29.02,0:00:31.31,Default,,0000,0000,0000,,Mas se pensarmos bem, Dialogue: 0,0:00:31.31,0:00:34.49,Default,,0000,0000,0000,,somos hóspedes\Nmuito recentes deste planeta. Dialogue: 0,0:00:34.49,0:00:36.68,Default,,0000,0000,0000,,Nós, a espécie humana. Dialogue: 0,0:00:36.68,0:00:41.43,Default,,0000,0000,0000,,Imaginem que a Terra\Ntenha sido criada há um ano, Dialogue: 0,0:00:41.43,0:00:44.70,Default,,0000,0000,0000,,então a espécie humana\Nexistiria apenas há 10 minutos. Dialogue: 0,0:00:44.70,0:00:48.15,Default,,0000,0000,0000,,A era industrial teria começado\Ndois segundos atrás. Dialogue: 0,0:00:48.87,0:00:54.28,Default,,0000,0000,0000,,Outro modo de encarar isto é pensar\Nno PIB global dos últimos 10 mil anos. Dialogue: 0,0:00:54.28,0:00:57.53,Default,,0000,0000,0000,,Eu me dei ao trabalho de colocar\Nisso num gráfico para vocês. Dialogue: 0,0:00:57.53,0:00:58.90,Default,,0000,0000,0000,,Ele tem este aspecto. Dialogue: 0,0:00:58.90,0:01:00.28,Default,,0000,0000,0000,,(Risos) Dialogue: 0,0:01:00.28,0:01:02.82,Default,,0000,0000,0000,,É uma forma curiosa\Npara uma condição normal. Dialogue: 0,0:01:02.82,0:01:04.52,Default,,0000,0000,0000,,Não gostaria de me sentar nele. Dialogue: 0,0:01:04.52,0:01:06.61,Default,,0000,0000,0000,,(Risos) Dialogue: 0,0:01:07.07,0:01:11.84,Default,,0000,0000,0000,,Perguntemo-nos:\Nqual é a causa da anomalia atual? Dialogue: 0,0:01:11.84,0:01:14.39,Default,,0000,0000,0000,,Alguns diriam que é a tecnologia. Dialogue: 0,0:01:14.39,0:01:16.06,Default,,0000,0000,0000,,É verdade, Dialogue: 0,0:01:16.06,0:01:19.06,Default,,0000,0000,0000,,a tecnologia tem se acumulado\Natravés da história Dialogue: 0,0:01:19.06,0:01:23.31,Default,,0000,0000,0000,,e atualmente, ela avança\Ncom extrema rapidez... Dialogue: 0,0:01:23.31,0:01:25.28,Default,,0000,0000,0000,,esta é a causa mais imediata, Dialogue: 0,0:01:25.28,0:01:27.84,Default,,0000,0000,0000,,e a razão de sermos \Nmuito produtivos hoje em dia. Dialogue: 0,0:01:28.47,0:01:32.13,Default,,0000,0000,0000,,Mas gosto de buscar no passado distante\Na causa fundamental de tudo. Dialogue: 0,0:01:33.11,0:01:36.66,Default,,0000,0000,0000,,Observem estes dois distintos senhores: Dialogue: 0,0:01:36.69,0:01:38.48,Default,,0000,0000,0000,,Temos o Kanzi... Dialogue: 0,0:01:38.48,0:01:43.12,Default,,0000,0000,0000,,ele domina 200 símbolos\Nde léxicos, um feito incrível. Dialogue: 0,0:01:43.12,0:01:46.82,Default,,0000,0000,0000,,E Ed Witten, que desencadeou\Na segunda revolução da supercorda. Dialogue: 0,0:01:46.82,0:01:48.88,Default,,0000,0000,0000,,Dentro do crânio,\Neis o que descobriremos: Dialogue: 0,0:01:48.88,0:01:50.71,Default,,0000,0000,0000,,essencialmente a mesma coisa. Dialogue: 0,0:01:50.71,0:01:52.52,Default,,0000,0000,0000,,Um deles é um pouco maior, Dialogue: 0,0:01:52.52,0:01:55.59,Default,,0000,0000,0000,,pode ter alguns truques a mais,\Ndevido à sua arquitetura. Dialogue: 0,0:01:55.59,0:01:59.09,Default,,0000,0000,0000,,Contudo, essas diferenças invisíveis,\Nnão podem ser muito complicadas, Dialogue: 0,0:01:59.09,0:02:03.38,Default,,0000,0000,0000,,porque foram apenas 250 mil gerações Dialogue: 0,0:02:03.38,0:02:05.11,Default,,0000,0000,0000,,desde o último ancestral comum. Dialogue: 0,0:02:05.11,0:02:08.96,Default,,0000,0000,0000,,Sabemos que mecanismos complicados\Nlevam muito tempo para evoluir. Dialogue: 0,0:02:09.79,0:02:12.50,Default,,0000,0000,0000,,Então um conjunto de pequenas mudanças Dialogue: 0,0:02:12.50,0:02:15.57,Default,,0000,0000,0000,,nos levam do Kanzi ao Witten, Dialogue: 0,0:02:15.57,0:02:20.11,Default,,0000,0000,0000,,de galhos de árvores quebrados\Na mísseis balísticos intercontinentais. Dialogue: 0,0:02:20.62,0:02:24.77,Default,,0000,0000,0000,,Parece bastante óbvio\Nque tudo que realizamos, Dialogue: 0,0:02:24.77,0:02:27.72,Default,,0000,0000,0000,,e tudo o que prezamos \Ndepende de modo crucial Dialogue: 0,0:02:27.72,0:02:32.65,Default,,0000,0000,0000,,de mudanças relativamente pequenas \Nque fizeram a mente humana. Dialogue: 0,0:02:32.65,0:02:36.31,Default,,0000,0000,0000,,E tem como consequência, é claro,\Nque quaisquer mudanças posteriores Dialogue: 0,0:02:36.31,0:02:39.79,Default,,0000,0000,0000,,que possam alterar significativamente\No substrato do pensamento Dialogue: 0,0:02:39.79,0:02:42.99,Default,,0000,0000,0000,,poderiam ter enormes consequências. Dialogue: 0,0:02:44.32,0:02:47.23,Default,,0000,0000,0000,,Alguns colegas acham\Nque estamos muito próximos Dialogue: 0,0:02:47.23,0:02:51.13,Default,,0000,0000,0000,,de algo que poderia causar \Numa profunda mudança no substrato, Dialogue: 0,0:02:51.13,0:02:54.35,Default,,0000,0000,0000,,que é a máquina superinteligente. Dialogue: 0,0:02:54.35,0:02:59.09,Default,,0000,0000,0000,,A inteligência artificial costumava ser\Ncolocar comandos em uma caixa. Dialogue: 0,0:02:59.09,0:03:03.93,Default,,0000,0000,0000,,Programadores humanos elaborariam \Npenosamente itens de conhecimento. Dialogue: 0,0:03:04.49,0:03:06.42,Default,,0000,0000,0000,,Construímos tais sistemas inteligentes Dialogue: 0,0:03:06.42,0:03:08.43,Default,,0000,0000,0000,,e eles eram úteis\Npara algumas finalidades, Dialogue: 0,0:03:08.43,0:03:10.94,Default,,0000,0000,0000,,mas eram muito frágeis,\Nnão podiam ser ampliados. Dialogue: 0,0:03:10.94,0:03:14.09,Default,,0000,0000,0000,,Essencialmente, obtinha-se deles\No que havia sido colocado neles. Dialogue: 0,0:03:14.09,0:03:15.41,Default,,0000,0000,0000,,Desde então, Dialogue: 0,0:03:15.41,0:03:18.87,Default,,0000,0000,0000,,houve uma mudança de paradigma\Nno campo da inteligência artificial. Dialogue: 0,0:03:18.87,0:03:21.64,Default,,0000,0000,0000,,Hoje, o esforço é voltado \Nà aprendizagem das máquinas. Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,Em vez de construirmos representações\Ndo conhecimento e recursos, Dialogue: 0,0:03:28.51,0:03:31.06,Default,,0000,0000,0000,,criamos algoritmos que aprendem, Dialogue: 0,0:03:31.06,0:03:34.06,Default,,0000,0000,0000,,quase sempre a partir\Nde dados não tratados de percepção. Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,Basicamente a mesma coisa\Nque o bebê humano faz. Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,O resultado é IA que não se limita\Na um único domínio, Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,o mesmo sistema pode aprender\Na traduzir qualquer par de idiomas, Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,ou aprender a jogar qualquer game\Nde computador num console Atari. Dialogue: 0,0:03:53.34,0:03:54.95,Default,,0000,0000,0000,,Agora, é claro, Dialogue: 0,0:03:54.95,0:03:59.12,Default,,0000,0000,0000,,a IA ainda não está nada perto\Nde ter a mesma poderosa habilidade Dialogue: 0,0:03:59.12,0:04:02.22,Default,,0000,0000,0000,,de aprender e planejar em várias áreas,\Ncomo o ser humano. Dialogue: 0,0:04:02.22,0:04:04.46,Default,,0000,0000,0000,,O córtex ainda guarda\Nsegredos de algoritmos Dialogue: 0,0:04:04.46,0:04:07.81,Default,,0000,0000,0000,,que ainda não sabemos\Ncomo reproduzir nas máquinas. Dialogue: 0,0:04:07.81,0:04:09.64,Default,,0000,0000,0000,,Então a questão é: Dialogue: 0,0:04:09.64,0:04:13.60,Default,,0000,0000,0000,,"Estamos muito longe de podermos\Nreproduzir essas proezas?" Dialogue: 0,0:04:14.06,0:04:18.92,Default,,0000,0000,0000,,Há alguns anos, pesquisamos o que pensavam\Nos maiores especialistas em IA do mundo. Dialogue: 0,0:04:18.92,0:04:21.44,Default,,0000,0000,0000,,E uma das perguntas que fizemos foi: Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,“Em qual ano você acha que haverá\N50% de probabilidade\N Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,de termos conseguido a inteligência \Nde máquinas com nível humano?" Dialogue: 0,0:04:28.78,0:04:32.97,Default,,0000,0000,0000,,Definimos o nível humano\Ncomo a habilidade de realizar Dialogue: 0,0:04:32.97,0:04:35.84,Default,,0000,0000,0000,,quase toda tarefa pelo menos\Ntão bem quanto um adulto humano. Dialogue: 0,0:04:35.84,0:04:39.62,Default,,0000,0000,0000,,Então, nível humano real,\Nnão apenas em alguma área limitada. Dialogue: 0,0:04:39.62,0:04:43.29,Default,,0000,0000,0000,,E a resposta foi em média 2040 ou 2050, Dialogue: 0,0:04:43.29,0:04:46.30,Default,,0000,0000,0000,,dependendo do grupo\Nde especialistas consultado. Dialogue: 0,0:04:46.75,0:04:50.34,Default,,0000,0000,0000,,Poderá acontecer muito mais tarde\Nou mais cedo, Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,a verdade é que ninguém sabe. Dialogue: 0,0:04:53.17,0:04:57.67,Default,,0000,0000,0000,,O que sabemos é que o último limite\Ndo processamento da informação Dialogue: 0,0:04:57.67,0:05:02.54,Default,,0000,0000,0000,,em um substrato de máquina situa-se\Nbem além dos limites do tecido biológico. Dialogue: 0,0:05:03.24,0:05:05.33,Default,,0000,0000,0000,,Isto pertence ao domínio da física. Dialogue: 0,0:05:05.33,0:05:10.34,Default,,0000,0000,0000,,Um neurônio dispara, talvez,\Na 200 hertz, 200 vezes por segundo. Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,Até mesmo os transistores atuais operam\Nà frequência de gigahertz. Dialogue: 0,0:05:13.93,0:05:16.60,Default,,0000,0000,0000,,Os neurônios se propagam\Nlentamente nos axônios, Dialogue: 0,0:05:16.60,0:05:19.23,Default,,0000,0000,0000,,no máximo a 100 metros por segundo. Dialogue: 0,0:05:19.23,0:05:22.34,Default,,0000,0000,0000,,Mas nos computadores,\Nos sinais viajam à velocidade da luz. Dialogue: 0,0:05:22.79,0:05:24.76,Default,,0000,0000,0000,,Há também limitações de tamanho, Dialogue: 0,0:05:24.76,0:05:27.72,Default,,0000,0000,0000,,como a do cérebro humano\Nter que caber no crânio, Dialogue: 0,0:05:27.72,0:05:32.04,Default,,0000,0000,0000,,mas um computador pode ser do tamanho\Nde um armazém ou maior ainda. Dialogue: 0,0:05:32.04,0:05:38.34,Default,,0000,0000,0000,,Então o potencial para a superinteligência\Nde certa forma está latente na matéria, Dialogue: 0,0:05:38.34,0:05:44.05,Default,,0000,0000,0000,,do mesmo modo que o poder do átomo\Npermaneceu latente durante a história, Dialogue: 0,0:05:44.05,0:05:48.45,Default,,0000,0000,0000,,esperando pacientemente até 1945. Dialogue: 0,0:05:48.45,0:05:50.83,Default,,0000,0000,0000,,Neste século, cientistas podem descobrir Dialogue: 0,0:05:50.83,0:05:53.82,Default,,0000,0000,0000,,como despertar\No poder da inteligência artificial. Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,Eu penso que poderemos presenciar\Numa explosão de inteligência. Dialogue: 0,0:05:58.41,0:06:02.16,Default,,0000,0000,0000,,Quando a maioria das pessoas pensa\Nsobre o que é inteligente ou estúpido, Dialogue: 0,0:06:02.16,0:06:05.39,Default,,0000,0000,0000,,acho que elas têm em mente\Numa imagem como esta. Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,Num extremo tem-se um idiota Dialogue: 0,0:06:07.98,0:06:10.47,Default,,0000,0000,0000,,e lá longe, no outro extremo, Dialogue: 0,0:06:10.47,0:06:15.22,Default,,0000,0000,0000,,temos o Ed Witten, ou Albert Einstein,\Nou o seu guru favorito. Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,Mas penso que do ponto de vista\Nda inteligência artificial, Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,é mais provável \Nque o quadro real seja assim: Dialogue: 0,0:06:23.26,0:06:26.64,Default,,0000,0000,0000,,a IA começa neste ponto,\Nna ausência de inteligência, Dialogue: 0,0:06:26.64,0:06:29.65,Default,,0000,0000,0000,,e então, após muitos anos\Nde trabalho bastante duro, Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,talvez cheguemos ao nível \Nde inteligência de um rato, Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,algo capaz de se mover\Nem ambientes desorganizados Dialogue: 0,0:06:35.92,0:06:37.91,Default,,0000,0000,0000,,tão bem quanto um rato. Dialogue: 0,0:06:37.91,0:06:42.22,Default,,0000,0000,0000,,E a seguir, após muitos anos\Nde trabalho duro, de muito investimento, Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,talvez cheguemos ao nível \Nda inteligência de um chimpanzé. Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,E depois de ainda muito mais anos\Nde trabalho realmente árduo, Dialogue: 0,0:06:50.07,0:06:52.98,Default,,0000,0000,0000,,atinjamos a inteligência artificial\Nde um idiota. Dialogue: 0,0:06:52.98,0:06:56.26,Default,,0000,0000,0000,,Alguns momentos mais tarde,\Nestamos além de Ed Witten. Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,O trem não para\Nna Estação Cidade da Humanidade. Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,É provável que passe zunindo, sem parar. Dialogue: 0,0:07:02.25,0:07:04.23,Default,,0000,0000,0000,,Isso tem implicações profundas, Dialogue: 0,0:07:04.23,0:07:08.09,Default,,0000,0000,0000,,particularmente no que se refere\Na questões de poder. Dialogue: 0,0:07:08.09,0:07:10.97,Default,,0000,0000,0000,,Por exemplo, um chimpanzé é\Nduas vezes mais forte Dialogue: 0,0:07:10.97,0:07:15.31,Default,,0000,0000,0000,,do que um humano do sexo masculino \Ne em boa forma física. Dialogue: 0,0:07:15.31,0:07:19.83,Default,,0000,0000,0000,,Apesar disso, o destino de Kanzi\Ne seus amigos depende muito mais Dialogue: 0,0:07:19.83,0:07:23.48,Default,,0000,0000,0000,,do que fazem os humanos\Ne não do que fazem os chimpanzés. Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,Quando houver a superinteligência, Dialogue: 0,0:07:27.54,0:07:31.94,Default,,0000,0000,0000,,o destino da humanidade pode depender\Ndo que a superinteligência fizer. Dialogue: 0,0:07:32.31,0:07:33.51,Default,,0000,0000,0000,,Pensem nisso. Dialogue: 0,0:07:33.51,0:07:38.19,Default,,0000,0000,0000,,Máquina inteligente é a última invenção\Nque a humanidade precisará fazer. Dialogue: 0,0:07:38.19,0:07:41.52,Default,,0000,0000,0000,,As máquinas então serão \Nmelhores inventoras do que nós Dialogue: 0,0:07:41.52,0:07:44.06,Default,,0000,0000,0000,,e elas o farão\Nnuma escala de tempo digital. Dialogue: 0,0:07:44.06,0:07:48.97,Default,,0000,0000,0000,,Basicamente significa fazer\No futuro ficar mais próximo. Dialogue: 0,0:07:48.97,0:07:52.24,Default,,0000,0000,0000,,Imaginem todas as possíveis\Ntecnologias malucas Dialogue: 0,0:07:52.24,0:07:55.44,Default,,0000,0000,0000,,que os humanos poderiam ter desenvolvido \Nnum longo espaço de tempo: Dialogue: 0,0:07:55.44,0:07:58.58,Default,,0000,0000,0000,,curas para o envelhecimento,\Na colonização do espaço, Dialogue: 0,0:07:58.58,0:08:02.09,Default,,0000,0000,0000,,robôs autorreplicantes, ou fazer o upload\Nde mentes em computadores, Dialogue: 0,0:08:02.09,0:08:04.35,Default,,0000,0000,0000,,tudo coisas do repertório\Nda ficção científica Dialogue: 0,0:08:04.35,0:08:06.96,Default,,0000,0000,0000,,embora consistentes com as leis da física. Dialogue: 0,0:08:06.96,0:08:09.45,Default,,0000,0000,0000,,Tudo isso a superinteligência\Npode desenvolver Dialogue: 0,0:08:09.45,0:08:12.13,Default,,0000,0000,0000,,e talvez bem rapidamente. Dialogue: 0,0:08:12.13,0:08:18.02,Default,,0000,0000,0000,,Uma inteligência assim tão desenvolvida\Nseria extremamente poderosa Dialogue: 0,0:08:18.02,0:08:22.73,Default,,0000,0000,0000,,e pelo menos em certas situações,\Nseria capaz de obter o que desejasse. Dialogue: 0,0:08:22.73,0:08:28.39,Default,,0000,0000,0000,,O nosso futuro seria determinado\Npelas preferências da IA. Dialogue: 0,0:08:29.64,0:08:33.60,Default,,0000,0000,0000,,Qual seriam essas preferências?\NÉ uma boa pergunta. Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,É aqui que a coisa se complica. Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,Para prosseguirmos com isto, Dialogue: 0,0:08:37.45,0:08:40.72,Default,,0000,0000,0000,,primeiro devemos evitar\Na antropomorfização. Dialogue: 0,0:08:41.93,0:08:45.24,Default,,0000,0000,0000,,E é irônico, pois toda matéria de revista Dialogue: 0,0:08:45.24,0:08:49.09,Default,,0000,0000,0000,,sobre o futuro da IA\Npublica um fotografia assim. Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,Eu acho que precisamos considerar\Na questão mais abstratamente, Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,não em termos hollywoodianos. Dialogue: 0,0:08:57.20,0:09:00.82,Default,,0000,0000,0000,,Precisamos pensar na inteligência\Ncomo um processo de otimização Dialogue: 0,0:09:00.82,0:09:03.47,Default,,0000,0000,0000,,que direciona o futuro Dialogue: 0,0:09:03.47,0:09:06.47,Default,,0000,0000,0000,,para um conjunto específco \Nde configurações. Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,Uma superinteligência é\Num poderoso processo de otimização. Dialogue: 0,0:09:09.98,0:09:13.02,Default,,0000,0000,0000,,É extremamente eficiente \Nem usar os recursos disponíveis Dialogue: 0,0:09:13.02,0:09:16.01,Default,,0000,0000,0000,,para atingir seu objetivo. Dialogue: 0,0:09:16.27,0:09:19.12,Default,,0000,0000,0000,,Quer dizer que não há necessária ligação Dialogue: 0,0:09:19.12,0:09:21.85,Default,,0000,0000,0000,,entre ser muito inteligente neste sentido, Dialogue: 0,0:09:21.85,0:09:26.52,Default,,0000,0000,0000,,e ter um objetivo que os humanos\Njulgariam valer a pena ou ser importante. Dialogue: 0,0:09:26.89,0:09:31.12,Default,,0000,0000,0000,,Suponham que déssemos a uma IA\No objetivo de fazer as pessoas sorrirem. Dialogue: 0,0:09:31.12,0:09:34.10,Default,,0000,0000,0000,,Quando a IA é fraca, ela realiza \Nações úteis ou engraçadas Dialogue: 0,0:09:34.10,0:09:36.61,Default,,0000,0000,0000,,que fazem o usuário sorrir. Dialogue: 0,0:09:36.61,0:09:39.03,Default,,0000,0000,0000,,Quando a IA se torna superinteligente, Dialogue: 0,0:09:39.03,0:09:42.55,Default,,0000,0000,0000,,ela percebe que há um modo\Nmais eficiente de atingir o objetivo: Dialogue: 0,0:09:42.55,0:09:44.48,Default,,0000,0000,0000,,assume o controle do mundo Dialogue: 0,0:09:44.48,0:09:47.64,Default,,0000,0000,0000,,e introduz eletrodos nos músculos\Ndas faces das pessoas Dialogue: 0,0:09:47.64,0:09:50.15,Default,,0000,0000,0000,,provocando sorrisos\Nconstantes e radiantes. Dialogue: 0,0:09:50.15,0:09:52.69,Default,,0000,0000,0000,,Outro exemplo:\Nsuponham que atribuamos à IA Dialogue: 0,0:09:52.69,0:09:55.07,Default,,0000,0000,0000,,a meta de resolver\Num problema matemático difícil. Dialogue: 0,0:09:55.07,0:09:56.93,Default,,0000,0000,0000,,Quando a IA se torna superinteligente, Dialogue: 0,0:09:56.93,0:10:01.10,Default,,0000,0000,0000,,ela percebe que o modo mais eficiente\Nde obter a solução do problema Dialogue: 0,0:10:01.10,0:10:04.04,Default,,0000,0000,0000,,é transformar o planeta\Nem um computador gigantesco, Dialogue: 0,0:10:04.04,0:10:06.28,Default,,0000,0000,0000,,para aumentar sua capacidade de pensar. Dialogue: 0,0:10:06.28,0:10:09.90,Default,,0000,0000,0000,,E notem que isso dá às IAs\Numa razão instrumental para fazerem coisas Dialogue: 0,0:10:09.90,0:10:11.78,Default,,0000,0000,0000,,com as quais talvez não concordássemos. Dialogue: 0,0:10:11.78,0:10:13.90,Default,,0000,0000,0000,,Neste modelo, os humanos são ameaças Dialogue: 0,0:10:13.90,0:10:16.43,Default,,0000,0000,0000,,que poderiam impedir a solução\Ndo problema matemático. Dialogue: 0,0:10:16.43,0:10:20.43,Default,,0000,0000,0000,,É evidente que não haverá\Nproblemas desta natureza; Dialogue: 0,0:10:20.43,0:10:22.45,Default,,0000,0000,0000,,estes são exemplos de desenho animado. Dialogue: 0,0:10:22.45,0:10:24.39,Default,,0000,0000,0000,,Mas a questão mais geral é importante: Dialogue: 0,0:10:24.39,0:10:27.27,Default,,0000,0000,0000,,se criarmos um processo de otimização\Nrealmente poderoso, Dialogue: 0,0:10:27.27,0:10:29.50,Default,,0000,0000,0000,,otimizado para o objetivo x, Dialogue: 0,0:10:29.50,0:10:31.78,Default,,0000,0000,0000,,é bom ter certeza\Nde que a sua definição de x Dialogue: 0,0:10:31.78,0:10:34.24,Default,,0000,0000,0000,,incorpora tudo o que lhe interessa. Dialogue: 0,0:10:34.84,0:10:39.22,Default,,0000,0000,0000,,Esta lição também é ensinada\Ncomo um mito. Dialogue: 0,0:10:39.22,0:10:44.52,Default,,0000,0000,0000,,O rei Midas deseja que tudo que ele tocar\Ntransforme-se em ouro. Dialogue: 0,0:10:44.52,0:10:47.38,Default,,0000,0000,0000,,Ele toca sua filha\Ne ela se transforma em ouro.\N Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,Ele toca sua comida e ela vira ouro. Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,Isto poderia tornar-se relevante\Nem termos práticos, Dialogue: 0,0:10:52.52,0:10:56.18,Default,,0000,0000,0000,,não apenas uma metáfora para a ganância,\Nmas uma ilustração do que acontece Dialogue: 0,0:10:56.18,0:10:59.23,Default,,0000,0000,0000,,quando se cria um processo\Npoderoso de otimização Dialogue: 0,0:10:59.23,0:11:04.01,Default,,0000,0000,0000,,e se fornecem objetivos incompreensíveis\Nou especificados sem clareza. Dialogue: 0,0:11:04.01,0:11:07.78,Default,,0000,0000,0000,,Poderíamos dizer que,\Nse um computador puser eletrodos Dialogue: 0,0:11:07.78,0:11:11.30,Default,,0000,0000,0000,,nas faces das pessoas, \Nbastaria desligá-lo. Dialogue: 0,0:11:11.94,0:11:15.36,Default,,0000,0000,0000,,A: isso não é necessariamente \Nfácil de fazer Dialogue: 0,0:11:15.36,0:11:17.90,Default,,0000,0000,0000,,se nos tormanos dependentes do sistema, Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,por exemplo: onde fica o botão\Npara desligar a Internet? Dialogue: 0,0:11:20.63,0:11:24.10,Default,,0000,0000,0000,,B: por que os chimpanzés ou os neandertais Dialogue: 0,0:11:24.10,0:11:27.20,Default,,0000,0000,0000,,não interroperam voluntariamente\Nsua evolução para a humanidade?\N Dialogue: 0,0:11:27.20,0:11:29.96,Default,,0000,0000,0000,,Eles certamente tiveram motivos para isso. Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,Por exemplo, não temos\Numa chave para desligar aqui.\N Dialogue: 0,0:11:32.76,0:11:34.46,Default,,0000,0000,0000,,(Engasgando) Dialogue: 0,0:11:34.46,0:11:37.08,Default,,0000,0000,0000,,É que somos um adversário inteligente; Dialogue: 0,0:11:37.08,0:11:39.97,Default,,0000,0000,0000,,podemos antecipar as ameaças\Ne planejar levando-as em conta. Dialogue: 0,0:11:39.97,0:11:42.60,Default,,0000,0000,0000,,Mas um agente superinteligente\Ntambém poderia fazê-lo Dialogue: 0,0:11:42.60,0:11:45.72,Default,,0000,0000,0000,,e muito melhor do que nós. Dialogue: 0,0:11:45.72,0:11:48.96,Default,,0000,0000,0000,,Não deveríamos confiar Dialogue: 0,0:11:50.58,0:11:52.91,Default,,0000,0000,0000,,que temos tudo sob o nosso controle. Dialogue: 0,0:11:52.91,0:11:56.08,Default,,0000,0000,0000,,Poderíamos tornar nossa tarefa\Num pouco mais fácil, digamos, Dialogue: 0,0:11:56.08,0:11:59.76,Default,,0000,0000,0000,,protegendo a IA num ambiente \Nde software seguro, Dialogue: 0,0:11:59.76,0:12:02.86,Default,,0000,0000,0000,,uma simulação de realidade virtual\Nda qual ela não possa escapar. Dialogue: 0,0:12:02.86,0:12:06.91,Default,,0000,0000,0000,,Mas como termos certeza\Nde que a IA não descobriria uma brecha? Dialogue: 0,0:12:06.91,0:12:09.85,Default,,0000,0000,0000,,Visto que os hackers\Nencontram falhas a toda hora, Dialogue: 0,0:12:09.85,0:12:13.12,Default,,0000,0000,0000,,eu diria que não temos muita certeza. Dialogue: 0,0:12:14.13,0:12:18.36,Default,,0000,0000,0000,,Então desconectaríamos o cabo Ethernet\Npara criar um “air gap", Dialogue: 0,0:12:18.36,0:12:22.55,Default,,0000,0000,0000,,mas de novo, os hackers \Ntransgridem rotineiramebte os air gaps Dialogue: 0,0:12:23.20,0:12:24.83,Default,,0000,0000,0000,,usando a engenharia social. Dialogue: 0,0:12:24.83,0:12:28.41,Default,,0000,0000,0000,,Enquanto eu falo,\Ntenho certeza de que algum funcionário Dialogue: 0,0:12:28.41,0:12:31.46,Default,,0000,0000,0000,,foi convencido a revelar\Nos detalhes de sua conta Dialogue: 0,0:12:31.46,0:12:34.39,Default,,0000,0000,0000,,para alguém que dizia ser\Ndo departamento de TI. Dialogue: 0,0:12:34.39,0:12:36.67,Default,,0000,0000,0000,,Situações mais criativas \Ntambém são possíveis, Dialogue: 0,0:12:36.67,0:12:40.05,Default,,0000,0000,0000,,como se você for a IA, \Npode imaginar colocar muitos eletrodos Dialogue: 0,0:12:40.05,0:12:41.88,Default,,0000,0000,0000,,no circuito de segurança interna Dialogue: 0,0:12:41.88,0:12:44.87,Default,,0000,0000,0000,,para criar ondas de rádio\Nque podem ser usadas para comunicação. Dialogue: 0,0:12:44.87,0:12:49.54,Default,,0000,0000,0000,,Ou talvez pudesse fingir um defeito\Ne quando os programadores lhe abrissem Dialogue: 0,0:12:49.54,0:12:52.64,Default,,0000,0000,0000,,para investigar o que está errado\Neles veriam o código-fonte, bum! Dialogue: 0,0:12:52.64,0:12:55.31,Default,,0000,0000,0000,,A manipulação pode acontecer. Dialogue: 0,0:12:55.31,0:12:58.74,Default,,0000,0000,0000,,Ou poderia imprimir um projeto\Nde tecnologia muito elegante, Dialogue: 0,0:12:58.74,0:13:00.14,Default,,0000,0000,0000,,e quando o implementássemos, Dialogue: 0,0:13:00.14,0:13:04.54,Default,,0000,0000,0000,,ele teria efeitos colaterais ocultos\Nque a IA houvera planejado. Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,A questão é que não deveríamos\Nconfiar na nossa capacidade Dialogue: 0,0:13:08.00,0:13:11.67,Default,,0000,0000,0000,,de manter um gênio superinteligente\Npreso para sempre em uma garrafa. Dialogue: 0,0:13:11.67,0:13:14.06,Default,,0000,0000,0000,,Mais cedo ou mais tarde ele escapará. Dialogue: 0,0:13:14.66,0:13:19.65,Default,,0000,0000,0000,,Acredito que a solução é descobrir \Ncomo criar uma IA superinteligente Dialogue: 0,0:13:19.65,0:13:23.75,Default,,0000,0000,0000,,que mesmo se, ou quando, ela escapar,\Nainda seja segura, Dialogue: 0,0:13:23.75,0:13:28.33,Default,,0000,0000,0000,,porque no fundo está do nosso lado,\Npois compartilha nossos valores. Dialogue: 0,0:13:28.34,0:13:31.55,Default,,0000,0000,0000,,Não vejo como evitar \Neste problema difícil. Dialogue: 0,0:13:33.55,0:13:36.65,Default,,0000,0000,0000,,Estou razoavelmente otimista\Nque este problema pode ser resolvido. Dialogue: 0,0:13:36.65,0:13:40.29,Default,,0000,0000,0000,,Não teríamos que fazer uma lista grande\Nde todas as coisas relevantes Dialogue: 0,0:13:40.29,0:13:43.94,Default,,0000,0000,0000,,ou pior ainda, escrevê-las\Nem alguma linguagem de computador Dialogue: 0,0:13:43.94,0:13:47.100,Default,,0000,0000,0000,,como C++ ou Python,\Nque seria uma tarefa muito irritante. Dialogue: 0,0:13:47.100,0:13:52.46,Default,,0000,0000,0000,,Em vez disso, criaríamos \Numa IA que usa sua inteligência Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,para aprender o que valorizamos. Dialogue: 0,0:13:55.23,0:13:57.51,Default,,0000,0000,0000,,E seu sistema de motivação\Nseria construído Dialogue: 0,0:13:57.51,0:14:00.33,Default,,0000,0000,0000,,de modo que ela fosse incentivada Dialogue: 0,0:14:00.33,0:14:02.74,Default,,0000,0000,0000,,a obedecer aos nossos valores\Nou realizar ações Dialogue: 0,0:14:02.74,0:14:05.74,Default,,0000,0000,0000,,que ela previsse\Nque teriam nossa aprovação. Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,Assim, aumentaríamos sua inteligência\No mais que pudéssemos Dialogue: 0,0:14:09.15,0:14:11.90,Default,,0000,0000,0000,,para resolver o problema\Nde passar-lhe os nossos valores. \N Dialogue: 0,0:14:12.53,0:14:14.24,Default,,0000,0000,0000,,Isso pode acontecer Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,e o resultado pode ser\Nmuito bom para a humanidade. Dialogue: 0,0:14:17.84,0:14:21.38,Default,,0000,0000,0000,,Mas não acontece automaticamente. Dialogue: 0,0:14:21.38,0:14:24.79,Default,,0000,0000,0000,,As condições inicias\Npara a explosão da inteligência Dialogue: 0,0:14:24.79,0:14:27.37,Default,,0000,0000,0000,,podem precisar sofrer um ajuste\Nno modo correto Dialogue: 0,0:14:27.37,0:14:30.65,Default,,0000,0000,0000,,se quisermos uma detonação controlada. Dialogue: 0,0:14:30.65,0:14:33.51,Default,,0000,0000,0000,,Os valores da IA devem \Ncoincidir com os nossos, Dialogue: 0,0:14:33.51,0:14:35.64,Default,,0000,0000,0000,,não apenas no contexto conhecido, Dialogue: 0,0:14:35.64,0:14:38.41,Default,,0000,0000,0000,,no qual podemos facilmente verificar\Ncomo a IA se comporta, Dialogue: 0,0:14:38.41,0:14:41.38,Default,,0000,0000,0000,,mas também em todos os novos contextos\Nque a IA pode encontrar Dialogue: 0,0:14:41.38,0:14:42.68,Default,,0000,0000,0000,,no futuro indefinido. Dialogue: 0,0:14:42.68,0:14:44.97,Default,,0000,0000,0000,,E há também questões esotéricas \N Dialogue: 0,0:14:44.97,0:14:49.51,Default,,0000,0000,0000,,que precisariam ser resolvidas: \Ndetalhes exatos de sua teoria de decisão, Dialogue: 0,0:14:49.51,0:14:52.48,Default,,0000,0000,0000,,como lidar com a incerteza lógica\Ne assim por diante. Dialogue: 0,0:14:52.83,0:14:55.34,Default,,0000,0000,0000,,Então, os problemas técnicos\Nque devem ser resolvidos Dialogue: 0,0:14:55.34,0:14:57.50,Default,,0000,0000,0000,,para que isso funcione\Nparecem muito difíceis, Dialogue: 0,0:14:57.50,0:15:00.38,Default,,0000,0000,0000,,não tão difíceis quanto construir\Numa IA superinteligente, Dialogue: 0,0:15:00.38,0:15:02.58,Default,,0000,0000,0000,,mas razoavelmente difíceis. Dialogue: 0,0:15:03.51,0:15:05.49,Default,,0000,0000,0000,,Eis a preocupação: Dialogue: 0,0:15:05.49,0:15:09.58,Default,,0000,0000,0000,,construir IA superinteligente\Né um desafio muito grande. Dialogue: 0,0:15:09.58,0:15:12.58,Default,,0000,0000,0000,,Construir IA superinteligente segura Dialogue: 0,0:15:12.58,0:15:15.14,Default,,0000,0000,0000,,envolve desafio adicional. Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,O risco é de alguém descobrir\Ncomo vencer o primeiro desafio Dialogue: 0,0:15:19.70,0:15:22.70,Default,,0000,0000,0000,,sem que também tenha vencido\No desafio adicional Dialogue: 0,0:15:22.70,0:15:24.60,Default,,0000,0000,0000,,de garantir uma segurança perfeita. Dialogue: 0,0:15:25.38,0:15:27.40,Default,,0000,0000,0000,,Eu acredito que deveríamos Dialogue: 0,0:15:27.40,0:15:31.17,Default,,0000,0000,0000,,procurar uma solução antecipada\Npara o problema do controle, Dialogue: 0,0:15:31.17,0:15:34.19,Default,,0000,0000,0000,,para que esteja à mão\Nquando precisarmos dela. Dialogue: 0,0:15:34.56,0:15:36.81,Default,,0000,0000,0000,,Pode ser que não consigamos resolver Dialogue: 0,0:15:36.81,0:15:39.88,Default,,0000,0000,0000,,o problema do controle antecipado\Ntalvez porque alguns elementos Dialogue: 0,0:15:39.88,0:15:43.59,Default,,0000,0000,0000,,só possam ser colocados quando conhecermos\Nos detalhes da arquitetura Dialogue: 0,0:15:43.59,0:15:45.14,Default,,0000,0000,0000,,onde será implementado. Dialogue: 0,0:15:45.14,0:15:48.68,Default,,0000,0000,0000,,Quanto mais antecipadamente resolvermos\No problema do controle, Dialogue: 0,0:15:48.68,0:15:50.95,Default,,0000,0000,0000,,maiores serão as chances \Nde que a transição Dialogue: 0,0:15:50.95,0:15:53.46,Default,,0000,0000,0000,,para a era da máquina inteligente\Nserá bem-sucedida. Dialogue: 0,0:15:54.41,0:15:58.95,Default,,0000,0000,0000,,Para mim, parece algo\Nque vale a pena ser feito Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,e posso imaginar \Nque se as coisas correrem bem, Dialogue: 0,0:16:02.28,0:16:06.87,Default,,0000,0000,0000,,e as pessoas daqui a 1 milhão de anos\Nse lembrarem deste século, Dialogue: 0,0:16:06.87,0:16:10.73,Default,,0000,0000,0000,,pode ser que elas digam que a única coisa\Nque fizemos e que realmente valeu a pena Dialogue: 0,0:16:10.73,0:16:12.26,Default,,0000,0000,0000,,foi fazer isso do jeito correto. Dialogue: 0,0:16:12.26,0:16:13.56,Default,,0000,0000,0000,,Obrigado. Dialogue: 0,0:16:13.56,0:16:17.01,Default,,0000,0000,0000,,(Aplausos)