0:00:00.570,0:00:05.007
Eu trabalho com um grupo de matemáticos,[br]filósofos e cientistas da computação,

0:00:05.007,0:00:09.986
e trocamos ideias sobre o futuro[br]da inteligência das máquinas,

0:00:09.986,0:00:12.030
entre outras coisas.

0:00:12.030,0:00:16.755
Alguns consideram essas coisas[br]como ficção científica,

0:00:16.755,0:00:19.856
muito irreais, malucas.

0:00:19.856,0:00:21.326
Mas eu gosto de dizer:

0:00:21.326,0:00:24.930
certo, vamos olhar[br]a condição humana moderna.

0:00:24.930,0:00:26.622
(Risos)

0:00:26.622,0:00:29.024
Este é o modo normal das coisas.

0:00:29.024,0:00:31.309
Mas se pensarmos bem,

0:00:31.309,0:00:34.492
somos hóspedes[br]muito recentes deste planeta.

0:00:34.492,0:00:36.684
Nós, a espécie humana.

0:00:36.684,0:00:41.430
Imaginem que a Terra[br]tenha sido criada há um ano,

0:00:41.430,0:00:44.698
então a espécie humana[br]existiria apenas há 10 minutos.

0:00:44.698,0:00:48.146
A era industrial teria começado[br]dois segundos atrás.

0:00:48.866,0:00:54.281
Outro modo de encarar isto é pensar[br]no PIB global dos últimos 10 mil anos.

0:00:54.281,0:00:57.530
Eu me dei ao trabalho de colocar[br]isso num gráfico para vocês.

0:00:57.530,0:00:58.900
Ele tem este aspecto.

0:00:58.900,0:01:00.277
(Risos)

0:01:00.277,0:01:02.818
É uma forma curiosa[br]para uma condição normal.

0:01:02.818,0:01:04.516
Não gostaria de me sentar nele.

0:01:04.516,0:01:06.607
(Risos)

0:01:07.067,0:01:11.841
Perguntemo-nos:[br]qual é a causa da anomalia atual?

0:01:11.841,0:01:14.393
Alguns diriam que é a tecnologia.

0:01:14.393,0:01:16.061
É verdade,

0:01:16.061,0:01:19.061
a tecnologia tem se acumulado[br]através da história

0:01:19.061,0:01:23.313
e atualmente, ela avança[br]com extrema rapidez...

0:01:23.313,0:01:25.278
esta é a causa mais imediata,

0:01:25.278,0:01:27.843
e a razão de sermos [br]muito produtivos hoje em dia.

0:01:28.473,0:01:32.134
Mas gosto de buscar no passado distante[br]a causa fundamental de tudo.

0:01:33.114,0:01:36.660
Observem estes dois distintos senhores:

0:01:36.690,0:01:38.480
Temos o Kanzi...

0:01:38.480,0:01:43.123
ele domina 200 símbolos[br]de léxicos, um feito incrível.

0:01:43.123,0:01:46.817
E Ed Witten, que desencadeou[br]a segunda revolução da supercorda.

0:01:46.817,0:01:48.881
Dentro do crânio,[br]eis o que descobriremos:

0:01:48.881,0:01:50.711
essencialmente a mesma coisa.

0:01:50.711,0:01:52.524
Um deles é um pouco maior,

0:01:52.524,0:01:55.592
pode ter alguns truques a mais,[br]devido à sua arquitetura.

0:01:55.592,0:01:59.094
Contudo, essas diferenças invisíveis,[br]não podem ser muito complicadas,

0:01:59.094,0:02:03.379
porque foram apenas 250 mil gerações

0:02:03.379,0:02:05.111
desde o último ancestral comum.

0:02:05.111,0:02:08.960
Sabemos que mecanismos complicados[br]levam muito tempo para evoluir.

0:02:09.790,0:02:12.499
Então um conjunto de pequenas mudanças

0:02:12.499,0:02:15.566
nos levam do Kanzi ao Witten,

0:02:15.566,0:02:20.109
de galhos de árvores quebrados[br]a mísseis balísticos intercontinentais.

0:02:20.619,0:02:24.774
Parece bastante óbvio[br]que tudo que realizamos,

0:02:24.774,0:02:27.720
e tudo o que prezamos [br]depende de modo crucial

0:02:27.720,0:02:32.650
de mudanças relativamente pequenas [br]que fizeram a mente humana.

0:02:32.650,0:02:36.312
E tem como consequência, é claro,[br]que quaisquer mudanças posteriores

0:02:36.312,0:02:39.789
que possam alterar significativamente[br]o substrato do pensamento

0:02:39.789,0:02:42.991
poderiam ter enormes consequências.

0:02:44.321,0:02:47.226
Alguns colegas acham[br]que estamos muito próximos

0:02:47.226,0:02:51.134
de algo que poderia causar [br]uma profunda mudança no substrato,

0:02:51.134,0:02:54.347
que é a máquina superinteligente.

0:02:54.347,0:02:59.086
A inteligência artificial costumava ser[br]colocar comandos em uma caixa.

0:02:59.086,0:03:03.931
Programadores humanos elaborariam [br]penosamente itens de conhecimento.

0:03:04.491,0:03:06.422
Construímos tais sistemas inteligentes

0:03:06.422,0:03:08.426
e eles eram úteis[br]para algumas finalidades,

0:03:08.426,0:03:10.937
mas eram muito frágeis,[br]não podiam ser ampliados.

0:03:10.937,0:03:14.090
Essencialmente, obtinha-se deles[br]o que havia sido colocado neles.

0:03:14.090,0:03:15.407
Desde então,

0:03:15.407,0:03:18.874
houve uma mudança de paradigma[br]no campo da inteligência artificial.

0:03:18.874,0:03:21.644
Hoje, o esforço é voltado [br]à aprendizagem das máquinas.

0:03:22.394,0:03:27.781
Em vez de construirmos representações[br]do conhecimento e recursos,

0:03:28.511,0:03:31.065
criamos algoritmos que aprendem,

0:03:31.065,0:03:34.065
quase sempre a partir[br]de dados não tratados de percepção.

0:03:34.065,0:03:39.063
Basicamente a mesma coisa[br]que o bebê humano faz.

0:03:39.063,0:03:43.270
O resultado é IA que não se limita[br]a um único domínio,

0:03:43.270,0:03:47.901
o mesmo sistema pode aprender[br]a traduzir qualquer par de idiomas,

0:03:47.901,0:03:53.338
ou aprender a jogar qualquer game[br]de computador num console Atari.

0:03:53.338,0:03:54.947
Agora, é claro,

0:03:54.947,0:03:59.116
a IA ainda não está nada perto[br]de ter a mesma poderosa habilidade

0:03:59.116,0:04:02.225
de aprender e planejar em várias áreas,[br]como o ser humano.

0:04:02.225,0:04:04.461
O córtex ainda guarda[br]segredos de algoritmos

0:04:04.461,0:04:07.806
que ainda não sabemos[br]como reproduzir nas máquinas.

0:04:07.806,0:04:09.645
Então a questão é:

0:04:09.645,0:04:13.595
"Estamos muito longe de podermos[br]reproduzir essas proezas?"

0:04:14.065,0:04:18.918
Há alguns anos, pesquisamos o que pensavam[br]os maiores especialistas em IA do mundo.

0:04:18.918,0:04:21.440
E uma das perguntas que fizemos foi:

0:04:21.440,0:04:24.793
“Em qual ano você acha que haverá[br]50% de probabilidade[br]

0:04:24.793,0:04:28.275
de termos conseguido a inteligência [br]de máquinas com nível humano?"

0:04:28.785,0:04:32.968
Definimos o nível humano[br]como a habilidade de realizar

0:04:32.968,0:04:35.839
quase toda tarefa pelo menos[br]tão bem quanto um adulto humano.

0:04:35.839,0:04:39.624
Então, nível humano real,[br]não apenas em alguma área limitada.

0:04:39.624,0:04:43.294
E a resposta foi em média 2040 ou 2050,

0:04:43.294,0:04:46.300
dependendo do grupo[br]de especialistas consultado.

0:04:46.750,0:04:50.339
Poderá acontecer muito mais tarde[br]ou mais cedo,

0:04:50.339,0:04:52.279
a verdade é que ninguém sabe.

0:04:53.169,0:04:57.671
O que sabemos é que o último limite[br]do processamento da informação

0:04:57.671,0:05:02.542
em um substrato de máquina situa-se[br]bem além dos limites do tecido biológico.

0:05:03.241,0:05:05.329
Isto pertence ao domínio da física.

0:05:05.329,0:05:10.337
Um neurônio dispara, talvez,[br]a 200 hertz, 200 vezes por segundo.

0:05:10.337,0:05:13.931
Até mesmo os transistores atuais operam[br]à frequência de gigahertz.

0:05:13.931,0:05:16.598
Os neurônios se propagam[br]lentamente nos axônios,

0:05:16.598,0:05:19.228
no máximo a 100 metros por segundo.

0:05:19.228,0:05:22.339
Mas nos computadores,[br]os sinais viajam à velocidade da luz.

0:05:22.789,0:05:24.758
Há também limitações de tamanho,

0:05:24.758,0:05:27.715
como a do cérebro humano[br]ter que caber no crânio,

0:05:27.715,0:05:32.036
mas um computador pode ser do tamanho[br]de um armazém ou maior ainda.

0:05:32.036,0:05:38.335
Então o potencial para a superinteligência[br]de certa forma está latente na matéria,

0:05:38.335,0:05:44.047
do mesmo modo que o poder do átomo[br]permaneceu latente durante a história,

0:05:44.047,0:05:48.452
esperando pacientemente até 1945.

0:05:48.452,0:05:50.830
Neste século, cientistas podem descobrir

0:05:50.830,0:05:53.818
como despertar[br]o poder da inteligência artificial.

0:05:53.818,0:05:57.826
Eu penso que poderemos presenciar[br]uma explosão de inteligência.

0:05:58.406,0:06:02.163
Quando a maioria das pessoas pensa[br]sobre o que é inteligente ou estúpido,

0:06:02.163,0:06:05.386
acho que elas têm em mente[br]uma imagem como esta.

0:06:05.386,0:06:07.984
Num extremo tem-se um idiota

0:06:07.984,0:06:10.467
e lá longe, no outro extremo,

0:06:10.467,0:06:15.223
temos o Ed Witten, ou Albert Einstein,[br]ou o seu guru favorito.

0:06:15.223,0:06:19.057
Mas penso que do ponto de vista[br]da inteligência artificial,

0:06:19.057,0:06:22.738
é mais provável [br]que o quadro real seja assim:

0:06:23.258,0:06:26.636
a IA começa neste ponto,[br]na ausência de inteligência,

0:06:26.636,0:06:29.647
e então, após muitos anos[br]de trabalho bastante duro,

0:06:29.647,0:06:33.491
talvez cheguemos ao nível [br]de inteligência de um rato,

0:06:33.491,0:06:35.921
algo capaz de se mover[br]em ambientes desorganizados

0:06:35.921,0:06:37.908
tão bem quanto um rato.

0:06:37.908,0:06:42.221
E a seguir, após muitos anos[br]de trabalho duro, de muito investimento,

0:06:42.221,0:06:46.860
talvez cheguemos ao nível [br]da inteligência de um chimpanzé.

0:06:46.860,0:06:50.070
E depois de ainda muito mais anos[br]de trabalho realmente árduo,

0:06:50.070,0:06:52.983
atinjamos a inteligência artificial[br]de um idiota.

0:06:52.983,0:06:56.255
Alguns momentos mais tarde,[br]estamos além de Ed Witten.

0:06:56.255,0:06:59.225
O trem não para[br]na Estação Cidade da Humanidade.

0:06:59.225,0:07:02.247
É provável que passe zunindo, sem parar.

0:07:02.247,0:07:04.231
Isso tem implicações profundas,

0:07:04.231,0:07:08.093
particularmente no que se refere[br]a questões de poder.

0:07:08.093,0:07:10.972
Por exemplo, um chimpanzé é[br]duas vezes mais forte

0:07:10.972,0:07:15.314
do que um humano do sexo masculino [br]e em boa forma física.

0:07:15.314,0:07:19.828
Apesar disso, o destino de Kanzi[br]e seus amigos depende muito mais

0:07:19.828,0:07:23.478
do que fazem os humanos[br]e não do que fazem os chimpanzés.

0:07:25.228,0:07:27.542
Quando houver a superinteligência,

0:07:27.542,0:07:31.941
o destino da humanidade pode depender[br]do que a superinteligência fizer.

0:07:32.311,0:07:33.508
Pensem nisso.

0:07:33.508,0:07:38.192
Máquina inteligente é a última invenção[br]que a humanidade precisará fazer.

0:07:38.192,0:07:41.525
As máquinas então serão [br]melhores inventoras do que nós

0:07:41.525,0:07:44.065
e elas o farão[br]numa escala de tempo digital.

0:07:44.065,0:07:48.966
Basicamente significa fazer[br]o futuro ficar mais próximo.

0:07:48.966,0:07:52.244
Imaginem todas as possíveis[br]tecnologias malucas

0:07:52.244,0:07:55.442
que os humanos poderiam ter desenvolvido [br]num longo espaço de tempo:

0:07:55.442,0:07:58.580
curas para o envelhecimento,[br]a colonização do espaço,

0:07:58.580,0:08:02.090
robôs autorreplicantes, ou fazer o upload[br]de mentes em computadores,

0:08:02.090,0:08:04.350
tudo coisas do repertório[br]da ficção científica

0:08:04.350,0:08:06.957
embora consistentes com as leis da física.

0:08:06.957,0:08:09.449
Tudo isso a superinteligência[br]pode desenvolver

0:08:09.449,0:08:12.129
e talvez bem rapidamente.

0:08:12.129,0:08:18.017
Uma inteligência assim tão desenvolvida[br]seria extremamente poderosa

0:08:18.017,0:08:22.732
e pelo menos em certas situações,[br]seria capaz de obter o que desejasse.

0:08:22.732,0:08:28.393
O nosso futuro seria determinado[br]pelas preferências da IA.

0:08:29.645,0:08:33.604
Qual seriam essas preferências?[br]É uma boa pergunta.

0:08:34.244,0:08:36.013
É aqui que a coisa se complica.

0:08:36.013,0:08:37.448
Para prosseguirmos com isto,

0:08:37.448,0:08:40.724
primeiro devemos evitar[br]a antropomorfização.

0:08:41.934,0:08:45.235
E é irônico, pois toda matéria de revista

0:08:45.235,0:08:49.090
sobre o futuro da IA[br]publica um fotografia assim.

0:08:50.280,0:08:54.414
Eu acho que precisamos considerar[br]a questão mais abstratamente,

0:08:54.414,0:08:57.204
não em termos hollywoodianos.

0:08:57.204,0:09:00.821
Precisamos pensar na inteligência[br]como um processo de otimização

0:09:00.821,0:09:03.470
que direciona o futuro

0:09:03.470,0:09:06.470
para um conjunto específco [br]de configurações.

0:09:06.470,0:09:09.981
Uma superinteligência é[br]um poderoso processo de otimização.

0:09:09.981,0:09:13.018
É extremamente eficiente [br]em usar os recursos disponíveis

0:09:13.018,0:09:16.007
para atingir seu objetivo.

0:09:16.267,0:09:19.119
Quer dizer que não há necessária ligação

0:09:19.119,0:09:21.853
entre ser muito inteligente neste sentido,

0:09:21.853,0:09:26.515
e ter um objetivo que os humanos[br]julgariam valer a pena ou ser importante.

0:09:26.891,0:09:31.115
Suponham que déssemos a uma IA[br]o objetivo de fazer as pessoas sorrirem.

0:09:31.115,0:09:34.097
Quando a IA é fraca, ela realiza [br]ações úteis ou engraçadas

0:09:34.097,0:09:36.614
que fazem o usuário sorrir.

0:09:36.614,0:09:39.031
Quando a IA se torna superinteligente,

0:09:39.031,0:09:42.554
ela percebe que há um modo[br]mais eficiente de atingir o objetivo:

0:09:42.554,0:09:44.476
assume o controle do mundo

0:09:44.476,0:09:47.638
e introduz eletrodos nos músculos[br]das faces das pessoas

0:09:47.638,0:09:50.149
provocando sorrisos[br]constantes e radiantes.

0:09:50.149,0:09:52.694
Outro exemplo:[br]suponham que atribuamos à IA

0:09:52.694,0:09:55.067
a meta de resolver[br]um problema matemático difícil.

0:09:55.067,0:09:56.934
Quando a IA se torna superinteligente,

0:09:56.934,0:10:01.105
ela percebe que o modo mais eficiente[br]de obter a solução do problema

0:10:01.105,0:10:04.035
é transformar o planeta[br]em um computador gigantesco,

0:10:04.035,0:10:06.281
para aumentar sua capacidade de pensar.

0:10:06.281,0:10:09.895
E notem que isso dá às IAs[br]uma razão instrumental para fazerem coisas

0:10:09.895,0:10:11.781
com as quais talvez não concordássemos.

0:10:11.781,0:10:13.896
Neste modelo, os humanos são ameaças

0:10:13.896,0:10:16.427
que poderiam impedir a solução[br]do problema matemático.

0:10:16.427,0:10:20.431
É evidente que não haverá[br]problemas desta natureza;

0:10:20.431,0:10:22.454
estes são exemplos de desenho animado.

0:10:22.454,0:10:24.393
Mas a questão mais geral é importante:

0:10:24.393,0:10:27.266
se criarmos um processo de otimização[br]realmente poderoso,

0:10:27.266,0:10:29.500
otimizado para o objetivo x,

0:10:29.500,0:10:31.776
é bom ter certeza[br]de que a sua definição de x

0:10:31.776,0:10:34.245
incorpora tudo o que lhe interessa.

0:10:34.835,0:10:39.219
Esta lição também é ensinada[br]como um mito.

0:10:39.219,0:10:44.517
O rei Midas deseja que tudo que ele tocar[br]transforme-se em ouro.

0:10:44.517,0:10:47.378
Ele toca sua filha[br]e ela se transforma em ouro.[br]

0:10:47.378,0:10:49.931
Ele toca sua comida e ela vira ouro.

0:10:49.931,0:10:52.520
Isto poderia tornar-se relevante[br]em termos práticos,

0:10:52.520,0:10:56.180
não apenas uma metáfora para a ganância,[br]mas uma ilustração do que acontece

0:10:56.180,0:10:59.232
quando se cria um processo[br]poderoso de otimização

0:10:59.232,0:11:04.011
e se fornecem objetivos incompreensíveis[br]ou especificados sem clareza.

0:11:04.011,0:11:07.780
Poderíamos dizer que,[br]se um computador puser eletrodos

0:11:07.780,0:11:11.300
nas faces das pessoas, [br]bastaria desligá-lo.

0:11:11.935,0:11:15.365
A: isso não é necessariamente [br]fácil de fazer

0:11:15.365,0:11:17.895
se nos tormanos dependentes do sistema,

0:11:17.895,0:11:20.627
por exemplo: onde fica o botão[br]para desligar a Internet?

0:11:20.627,0:11:24.097
B: por que os chimpanzés ou os neandertais

0:11:24.097,0:11:27.198
não interroperam voluntariamente[br]sua evolução para a humanidade?[br]

0:11:27.198,0:11:29.964
Eles certamente tiveram motivos para isso.

0:11:29.964,0:11:32.759
Por exemplo, não temos[br]uma chave para desligar aqui.[br]

0:11:32.759,0:11:34.463
(Engasgando)

0:11:34.463,0:11:37.078
É que somos um adversário inteligente;

0:11:37.078,0:11:39.966
podemos antecipar as ameaças[br]e planejar levando-as em conta.

0:11:39.966,0:11:42.600
Mas um agente superinteligente[br]também poderia fazê-lo

0:11:42.600,0:11:45.724
e muito melhor do que nós.

0:11:45.724,0:11:48.961
Não deveríamos confiar

0:11:50.581,0:11:52.911
que temos tudo sob o nosso controle.

0:11:52.911,0:11:56.078
Poderíamos tornar nossa tarefa[br]um pouco mais fácil, digamos,

0:11:56.078,0:11:59.758
protegendo a IA num ambiente [br]de software seguro,

0:11:59.758,0:12:02.856
uma simulação de realidade virtual[br]da qual ela não possa escapar.

0:12:02.856,0:12:06.912
Mas como termos certeza[br]de que a IA não descobriria uma brecha?

0:12:06.912,0:12:09.851
Visto que os hackers[br]encontram falhas a toda hora,

0:12:09.851,0:12:13.117
eu diria que não temos muita certeza.

0:12:14.127,0:12:18.355
Então desconectaríamos o cabo Ethernet[br]para criar um “air gap",

0:12:18.355,0:12:22.553
mas de novo, os hackers [br]transgridem rotineiramebte os air gaps

0:12:23.203,0:12:24.834
usando a engenharia social.

0:12:24.834,0:12:28.412
Enquanto eu falo,[br]tenho certeza de que algum funcionário

0:12:28.412,0:12:31.458
foi convencido a revelar[br]os detalhes de sua conta

0:12:31.458,0:12:34.394
para alguém que dizia ser[br]do departamento de TI.

0:12:34.394,0:12:36.666
Situações mais criativas [br]também são possíveis,

0:12:36.666,0:12:40.048
como se você for a IA, [br]pode imaginar colocar muitos eletrodos

0:12:40.048,0:12:41.880
no circuito de segurança interna

0:12:41.880,0:12:44.874
para criar ondas de rádio[br]que podem ser usadas para comunicação.

0:12:44.874,0:12:49.541
Ou talvez pudesse fingir um defeito[br]e quando os programadores lhe abrissem

0:12:49.541,0:12:52.642
para investigar o que está errado[br]eles veriam o código-fonte, bum!

0:12:52.642,0:12:55.314
A manipulação pode acontecer.

0:12:55.314,0:12:58.744
Ou poderia imprimir um projeto[br]de tecnologia muito elegante,

0:12:58.744,0:13:00.142
e quando o implementássemos,

0:13:00.142,0:13:04.539
ele teria efeitos colaterais ocultos[br]que a IA houvera planejado.

0:13:04.539,0:13:08.002
A questão é que não deveríamos[br]confiar na nossa capacidade

0:13:08.002,0:13:11.670
de manter um gênio superinteligente[br]preso para sempre em uma garrafa.

0:13:11.670,0:13:14.064
Mais cedo ou mais tarde ele escapará.

0:13:14.664,0:13:19.647
Acredito que a solução é descobrir [br]como criar uma IA superinteligente

0:13:19.647,0:13:23.751
que mesmo se, ou quando, ela escapar,[br]ainda seja segura,

0:13:23.751,0:13:28.328
porque no fundo está do nosso lado,[br]pois compartilha nossos valores.

0:13:28.337,0:13:31.547
Não vejo como evitar [br]este problema difícil.

0:13:33.547,0:13:36.651
Estou razoavelmente otimista[br]que este problema pode ser resolvido.

0:13:36.651,0:13:40.294
Não teríamos que fazer uma lista grande[br]de todas as coisas relevantes

0:13:40.294,0:13:43.937
ou pior ainda, escrevê-las[br]em alguma linguagem de computador

0:13:43.937,0:13:47.998
como C++ ou Python,[br]que seria uma tarefa muito irritante.

0:13:47.998,0:13:52.455
Em vez disso, criaríamos [br]uma IA que usa sua inteligência

0:13:52.455,0:13:55.226
para aprender o que valorizamos.

0:13:55.226,0:13:57.506
E seu sistema de motivação[br]seria construído

0:13:57.506,0:14:00.326
de modo que ela fosse incentivada

0:14:00.326,0:14:02.738
a obedecer aos nossos valores[br]ou realizar ações

0:14:02.738,0:14:05.738
que ela previsse[br]que teriam nossa aprovação.

0:14:05.738,0:14:09.152
Assim, aumentaríamos sua inteligência[br]o mais que pudéssemos

0:14:09.152,0:14:11.897
para resolver o problema[br]de passar-lhe os nossos valores. [br]

0:14:12.527,0:14:14.239
Isso pode acontecer

0:14:14.239,0:14:17.835
e o resultado pode ser[br]muito bom para a humanidade.

0:14:17.835,0:14:21.382
Mas não acontece automaticamente.

0:14:21.382,0:14:24.790
As condições inicias[br]para a explosão da inteligência

0:14:24.790,0:14:27.373
podem precisar sofrer um ajuste[br]no modo correto

0:14:27.373,0:14:30.653
se quisermos uma detonação controlada.

0:14:30.653,0:14:33.511
Os valores da IA devem [br]coincidir com os nossos,

0:14:33.511,0:14:35.641
não apenas no contexto conhecido,

0:14:35.641,0:14:38.409
no qual podemos facilmente verificar[br]como a IA se comporta,

0:14:38.409,0:14:41.383
mas também em todos os novos contextos[br]que a IA pode encontrar

0:14:41.383,0:14:42.680
no futuro indefinido.

0:14:42.680,0:14:44.967
E há também questões esotéricas [br]

0:14:44.967,0:14:49.506
que precisariam ser resolvidas: [br]detalhes exatos de sua teoria de decisão,

0:14:49.506,0:14:52.480
como lidar com a incerteza lógica[br]e assim por diante.

0:14:52.830,0:14:55.340
Então, os problemas técnicos[br]que devem ser resolvidos

0:14:55.340,0:14:57.495
para que isso funcione[br]parecem muito difíceis,

0:14:57.495,0:15:00.385
não tão difíceis quanto construir[br]uma IA superinteligente,

0:15:00.385,0:15:02.583
mas razoavelmente difíceis.

0:15:03.513,0:15:05.488
Eis a preocupação:

0:15:05.488,0:15:09.582
construir IA superinteligente[br]é um desafio muito grande.

0:15:09.582,0:15:12.580
Construir IA superinteligente segura

0:15:12.580,0:15:15.136
envolve desafio adicional.

0:15:16.216,0:15:19.703
O risco é de alguém descobrir[br]como vencer o primeiro desafio

0:15:19.703,0:15:22.704
sem que também tenha vencido[br]o desafio adicional

0:15:22.704,0:15:24.605
de garantir uma segurança perfeita.

0:15:25.375,0:15:27.396
Eu acredito que deveríamos

0:15:27.396,0:15:31.168
procurar uma solução antecipada[br]para o problema do controle,

0:15:31.168,0:15:34.188
para que esteja à mão[br]quando precisarmos dela.

0:15:34.565,0:15:36.809
Pode ser que não consigamos resolver

0:15:36.809,0:15:39.876
o problema do controle antecipado[br]talvez porque alguns elementos

0:15:39.876,0:15:43.586
só possam ser colocados quando conhecermos[br]os detalhes da arquitetura

0:15:43.586,0:15:45.136
onde será implementado.

0:15:45.136,0:15:48.676
Quanto mais antecipadamente resolvermos[br]o problema do controle,

0:15:48.676,0:15:50.946
maiores serão as chances [br]de que a transição

0:15:50.946,0:15:53.456
para a era da máquina inteligente[br]será bem-sucedida.

0:15:54.406,0:15:58.950
Para mim, parece algo[br]que vale a pena ser feito

0:15:58.950,0:16:02.282
e posso imaginar [br]que se as coisas correrem bem,

0:16:02.282,0:16:06.870
e as pessoas daqui a 1 milhão de anos[br]se lembrarem deste século,

0:16:06.870,0:16:10.732
pode ser que elas digam que a única coisa[br]que fizemos e que realmente valeu a pena

0:16:10.732,0:16:12.259
foi fazer isso do jeito correto.

0:16:12.259,0:16:13.558
Obrigado.

0:16:13.558,0:16:17.011
(Aplausos)