Eu trabalho com um grupo de matemáticos,
filósofos e informáticos,

e pensamos acerca do futuro 
da inteligência mecânica,

entre outras coisas.

Algumas pessoas pensam que algumas 
destas coisas são como ciência ficção,

muito longe da realidade.

Mas eu gosto de dizer,

olhemos para as condições 
humanas modernas.

(Risos)

Essa é a forma normal de as coisas serem.

Mas se pensarmos nisso,

somos na verdade visitantes 
recentes neste planeta,

a espécie humana.

Imaginem, se a Terra tivesse sido 
criada há um ano,

a espécie humana, então,
teria 10 minutos de vida.

A era da indústria teria começado 
há 2 segundos.

Outra forma de olhar para isto

é calcular o PIB mundial
dos últimos 10 000 anos,

Tive a preocupação de inserir
isto num gráfico para vocês verem.

Parece-se com isto.

(Risos)

É uma forma curiosa 
para uma situação normal.

Eu não ficaria muito descansado.

(Risos)

Perguntemos a nós próprios, 
qual é a causa dessa anomalia?

Algumas pessoas diriam que é a tecnologia.

É verdade, a tecnologia acumulou-se
durante a história da humanidade

e, neste momento, a tecnologia evolui
extremamente depressa

— essa é a causa imediata —

é por isso que estamos tão produtivos.

Mas eu gosto de pensar mais além,
para a causa fundamental.

Olhem para estes dois senhores 
muito distintos:

Temos o Kanzi,

ele dominava 200 símbolos lexicais, 
uma incrível proeza.

E Ed Witten desencadeou a segunda
revolução das supercordas.

Se examinarmos é isto que encontramos:

basicamente a mesma coisa.

Uma é um pouco maior,

talvez tenha alguns truques na maneira
como está ligado.

Contudo, essas diferenças invisíveis 
não podem ser muito complicadas,

porque apenas houve 250 000 gerações

desde o nosso último antepassado comum.

Sabemos que os mecanismos complicados 
levam muito tempo a evoluir.

Portanto algumas mudanças mínimas

levam-nos de Kanzi para Witten,

desde ramos de árvores quebrados até
mísseis balísticos intercontinentais.

Assim, parece óbvio que tudo aquilo 
que tenhamos realizado,

e tudo aquilo que nos preocupa,

dependa crucialmente de algumas mudanças
mínimas que construíram a mente humana.

E o corolário, claro, é que
quaisquer mudanças adicionais

que poderiam mudar significativamente
o substrato de pensar

poderiam ter enormes consequências.

Alguns dos meus colegas pensam
que estamos à beira

de algo que poderá causar uma mudança
drástica nesse substrato,

e isso é a super inteligência mecânica.

A inteligência artificial costumava 
cingir-se a ordens numa caixa.

Tínhamos programadores humanos

que construíam objectos inteligentes
cuidadosamente.

Construíamos esses sistemas 
especializados,

e eram úteis para alguns fins,

mas eram muito frágeis,
não podíamos aumentá-los.

Basicamente, apenas obtínhamos 
aquilo que lá colocávamos inicialmente.

Mas a partir daí,

ocorreu uma mudança de paradigma
no campo da inteligência artificial.

Hoje, a acção anda à volta da
aprendizagem da máquina.

Portanto em vez de construir 
representações e elementos do conhecimento

criamos algoritmos que aprendem,
muitas vezes a partir de dados em bruto.

Basicamente a mesma coisa
que a criança faz.

O resultado é uma inteligência artificial
que não se limita a um domínio

— o mesmo sistema que pode aprender a
traduzir várias línguas,

ou aprender a jogar qualquer tipo 
de jogo de computador na consola Atari.

Agora, é claro,

a inteligência artificial ainda está muito
longe de ter a mesma capacidade poderosa

e transversal para aprender
e planificar tal como um ser humano.

O córtex ainda tem alguns
truques algorítmicos

que ainda não sabemos 
como ligar nas máquinas.

Portanto a questão é,

a que distância estamos 
de poder ligar esses truques?

Há alguns anos,

fizemos um inquérito a alguns dos
especialistas em I.A.,

para ver o que eles pensam, e uma das
questões que colocámos foi:

"Por volta de que ano é que pensa que
atingiremos a I.A.

ao nível humano,
com 50% de probabilidade?"

Definimos o nível humano 
como a capacidade de realizar

praticamente qualquer trabalho.
pelo menos como adulto,

a nível humano real, não apenas
dentro de um domínio limitado.

A resposta média foi 2040 ou 2050,

consoante o grupo de especialistas 
a que perguntámos.

Poderá acontecer muito mais tarde, 
ou mais cedo,

a verdade é que ninguém sabe.

O que nós sabemos 
é que o limite fundamental

para processar informação
no substrato duma máquina,

é muito superior ao limite
dos tecidos biológicos.

Isto leva-nos à física.

Um neurónio biológico dispara, talvez,
a 200 hertz, 200 vezes por segundo.

Mas até um transístor moderno 
opera em gigahertz.

Os neurónios propagam lentamente
em axónios, a 100 metros por segundo.

Mas em computadores, os sinais podem
deslocar-se à velocidade da luz.

Também há limitações de tamanho.

O cérebro humano tem que
caber dentro do crânio,

mas um computador pode ser do tamanho 
de um armazém ou ainda maior.

Por isso o potencial para a super
inteligência permanece latente na matéria,

tal como a potência do átomo permaneceu
latente na história da humanidade,

pacientemente à espera até 1945.

Neste século,

os cientistas talvez aprendam a despertar
o poder da inteligência artificial.

E penso que poderemos então assistir
a uma explosão intelectual.

A maioria das pessoas, quando pensam
acerca do que é a esperteza e a estupidez,

têm em mente uma imagem 
como esta, penso eu.

Numa ponta temos o idiota da aldeia,

e noutra ponta muito distante

temos Ed Witten, ou Albert Einstein,
ou qualquer um dos vossos gurus favoritos.

Mas penso que, do ponto de vista
da inteligência artificial,

a imagem verdadeira é provavelmente
mais parecida com isto.

Começa tudo neste ponto aqui,
na inteligência zero,

e depois, após muitos anos 
de trabalho árduo,

talvez cheguemos à inteligência
artificial ao nível de um rato,

uma coisa que possa navegar 
em ambientes obstruídos

tal como um rato pode.

E depois, após muitos mais anos
de trabalho árduo, muitos investimentos,

talvez cheguemos à inteligência 
artificial a nível de um chimpanzé.

E depois, após ainda mais anos 
de trabalho ainda mais duro,

chegamos à inteligência artificial 
a nível do idiota da aldeia.

E alguns momentos depois, 
ultrapassamos Ed Witten.

O comboio não pára na estação Humanville.

É mais provável que a ultrapasse.

Isto tem profundas implicações,

particularmente no que toca
à questão do poder.

Por exemplo, os chimpanzés são fortes

— em proporção ao peso, um chimpanzé
é duas vezes mais forte que um ser humano.

No entanto, o destino de Kanzi e dos seus
camaradas depende mais

daquilo que nós humanos fazemos 
do que o que os chimpanzés fazem.

Uma vez atingida a super inteligência,

o destino da humanidade pode depender
daquilo que a super inteligência faz.

Pensem nisto:

A inteligência mecânica é a última invenção
que a humanidade precisa de fazer.

As máquinas tornar-se-ão melhores 
a inventar do que nós,

e farão isso em tempos digitais.

O que isto significa é basicamente uma
previsão do futuro distante.

Pensem em todas as tecnologias absurdas
que alguma vez podem ter imaginado

que os humanos pudessem ter
desenvolvido com o tempo:

curas para o envelhecimento,
colonização do espaço,

nanorobôs auto-replicadores ou transferir
as nossas mentes para computadores,

todos os tipos de objectos 
da ciência ficção

que, no entanto, são consistentes
com as leis da física.

Toda esta super inteligência poderia 
ser desenvolvida, e rapidamente.

Uma super inteligência com tanta
maturidade tecnológica

poderia ser extremamente poderosa

e, pelo menos nalguns cenários,
poderia conseguir aquilo que quer.

Teríamos então um futuro construído

segundo as preferências 
dessa inteligência artificial.

Agora uma boa pergunta é,
quais são essas preferências?

Aqui torna-se mais complicado.

Para fazer qualquer progresso com isto,

temos de, primeiramente,
evitar antropomorfizar.

E isto é irónico porque 
todos os artigos de jornais

acerca do futuro da inteligência
artificial têm uma imagem como esta.

Então penso que aquilo que temos de fazer
é imaginar a questão mais abstractamente,

não em termos de cenários
brilhantes de Hollywood.

Temos de pensar na inteligência como
um processo de optimização,

um processo que guia o futuro para 
um conjunto particular de configurações.

A super inteligência é um processo de
optimização muito forte.

É extremamente bom a utilizar os meios
disponíveis para atingir um estado

no qual o seu objetivo seja atingido.

Isto significa que não há 
ligação necessária

entre ser muito inteligente neste sentido,

e ter um objectivo que nós humanos
acharíamos útil ou proveitoso.

Suponham que damos o objectivo de criar
sorrisos humanos à inteligência artificial.

Quando a I.A. é fraca,
realiza acções cómicas ou úteis

que levam o utilizador a sorrir.

Quando a inteligência artificial 
se torna super inteligente,

apercebe-se que existe uma melhor forma 
de atingir esse objectivo:

controlar o mundo

e inserir eléctrodos 
nos músculos faciais dos humanos

para causar sorrisos 
constantes e radiantes.

Outro exemplo:

suponham que desafiamos a I.A.
a resolver um problema matemático difícil.

Quando a I.A. se torna
super inteligente,

percebe que a forma mais eficiente de 
obter a solução para este problema

é através da transformação do planeta
num computador gigante,

para aumentar a sua capacidade de pensar.

E reparem que isto dá uma razão
instrumental à I.A.

para nos fazer coisas 
que possamos não aprovar.

Neste modelo, os seres humanos 
são uma ameaça,

poderíamos impedir a resolução 
deste problema matemático.

Claro, as coisas não vão dar erradas 
nessas formas particulares;

estes são exemplos caricaturados.

Mas este ponto geral é importante:

se criarem um processo de optimização
muito potente

para maximizar o objectivo x,

é melhor assegurarem-se 
que a definição de x

incorpora tudo aquilo que vos interessa.

Esta é uma lição que também 
é ensinada em muitos mitos.

O Rei Midas deseja que tudo aquilo
em que ele toca se torne ouro.

Toca na filha dele, transforma-a em ouro.

Toca na comida dele, esta torna-se ouro.

Isto poderia tornar-se 
particularmente relevante,

não apenas como metáfora para a ganância,

mas como uma ilustração
daquilo que acontece

se criarem um processo 
de optimização poderoso

e lhe derem objectivos pouco específicos.

Podem dizer, se um computador começar a
prender eléctrodos nas caras das pessoas,

basta desligá-los.

A) isso não é assim tão fácil de fazer
se nos tornarmos dependentes do sistema

— por exemplo, onde está 
o interruptor da Internet?

B) porque é que os chimpanzés 
ou os neandertais

não desligaram
o interruptor para a humanidade?

Eles de certeza que tinham motivos.

Temos um interruptor aqui, por exemplo.

(Sufocação)

A razão é que somos 
um adversário inteligente;

podemos prever ameaças 
e fazer planos para evitá-las.

Mas isso também consegue
um agente super inteligente,

e seria muito melhor nisso do que nós.

A questão é, não devemos ser confiantes 
e pensar que temos tudo sob controlo.

Podíamos tentar fazer o nosso trabalho
um pouco mais fácil,

pondo a inteligência artificial numa caixa,

como um "software" de ambiente seguro,

uma simulação da realidade virtual 
da qual não possa escapar.

Mas quanta certeza podemos ter 
que a I.A. não encontraria um buraco.

Dado que os "hackers" humanos
estão sempre a encontrar buracos,

eu diria, provavelmente 
não muito confiantes.

Então desligamos o cabo da Ethernet 
para criar uma caixa de ar,

mas mais uma vez, como meros "hackers"

que transgridem caixas de ar 
utilizando engenharia social.

Neste momento em que falo,

tenho a certeza que há 
um empregado, algures.

a quem alguém que diz 
ser do departamento de informática

está a pedir os dados 
de identificação e "password".

Também são possíveis 
cenários mais criativos.

Por exemplo, uma I.A. pode imaginar

agitar eléctrodos nos circuitos internos

para criar ondas de rádio 
que pode utilizar para comunicar.

Ou talvez pudesse fingir uma avaria

e depois, quando os programadores a abrirem
para ver o que se passou de errado,

olham para o código fonte — Bam! —

a manipulação toma lugar.

Ou poderia emitir um rascunho 
para uma tecnologia genial

e, quando a implementamos,

tem alguns efeitos secundários 
que a inteligência artificial planeou.

A questão aqui é que não deveríamos
confiar na nossa capacidade

em manter um génio super inteligente
fechado na sua garrafa para sempre.

Mais cedo ou mais tarde ele vai sair.

Acredito que a resposta seja encontrar

uma forma de criar uma inteligência
artificial que, mesmo que escape,

ainda se mantenha segura porque está
fundamentalmente do nosso lado

porque partilha os nossos valores.

Não vejo outra forma 
para este problema complexo.

Eu sinto-me optimista 
quanto à resolução deste problema.

Não teríamos de escrever uma longa lista
com tudo aquilo que nos é importante,

ou ainda pior, enunciá-la numa
linguagem de computador

como C++ ou Python,

o que seria uma tarefa sem esperança.

Em vez disso, criaríamos uma inteligência
artificial que utiliza a sua inteligência

para aprender o que nós valorizamos.

O seu sistema de motivação seria construído
de tal forma que fosse motivado

pela busca de valores ou de acções,
prevendo que iríamos aprová-las.

Iríamos então elevar a sua inteligência
o mais possível

para resolver o problema de 
carregamento de valores.

Isto pode acontecer,

e o resultado poderia ser muito
bom para a Humanidade.

Mas não acontece sozinho.

As condições iniciais para a 
explosão da inteligência

podem precisar de ser definidas
da forma correta

se queremos ter uma detonação controlada.

Os valores da I.A.
têm de corresponder aos nossos,

não apenas num contexto familiar,

onde podemos ver com facilidade
como a I.A. se comporta,

mas também em todos os contextos 
que a I.A. possa encontrar

no futuro indefinido.

E há também algumas questões esotéricas
que teriam de ser resolvidas, que são:

os detalhes exactos da sua
teoria decisiva,

como lidar com a incerteza lógica 
e assim por diante.

Os problemas que têm de ser
resolvidos tornam este trabalho

um pouco difícil

— não tão difícil como fazer uma
inteligência artificial super inteligente

mas bastante difícil.

A preocupação é esta:

Criar uma inteligência artificial super
inteligente é um grande desafio.

Fazer uma inteligência artificial
que seja segura

envolve desafios adicionais 
para além deste.

O risco é que, se alguém descobre uma
forma de piratear o primeiro desafio

sem ter pirateado o desafio adicional

de assegurar a segurança perfeita.

Por isso eu penso que deveríamos 
trabalhar numa solução

para controlar os problemas
com antecedência,

para que o tenhamos disponível 
para quando for preciso.

Pode ser que não consigamos resolver 
o problema de controlo por inteiro

porque talvez apenas se possam
colocar alguns elementos

uma vez que saibamos os detalhes da
arquitectura onde vai ser implementado.

Mas quanto mais resolvermos 
o problema de controlo,

maior será a probabilidade que a transição
para a era da inteligência mecânica

corra bem.

Isto parece-me algo 
que vale a pena ser feito

e posso imaginar que,
se as coisas correrem bem,

as pessoas daqui um milhão de anos
vão olhar para este século

e é muito provável que digam que uma das
coisas que fizemos e que teve impacto

foi pôr isto a funcionar.

Obrigado.

(Aplausos)