Chris Anderson: Nick Bostrom.
Já nos deste muitas ideias incríveis.
Penso que aqui há décadas
defendeste a ideia de que podemos
estar a viver numa simulação,
ou provavelmente, estávamos.
Mais recentemente,
descreveste os exemplos
mais impressionantes
de como a inteligência artificial
poderá vir a gerar resultados terríveis.
E este ano, estás prestes a publicar
um artigo que apresenta uma coisa
chamada a hipótese do mundo vulnerável.
O nosso papel esta noite é apresentar
um guia ilustrado sobre esse tema.
Vamos a isso.
Que hipótese é essa?
Nick Bostrom: É uma tentativa de reflexão
sobre uma característica estrutural
da atual condição humana.
Tu gostas da metáfora da urna,
por isso vou usá-la para explicar melhor.
Imagina uma grande urna
cheia de bolas,
que representam ideias, métodos,
possíveis tecnologias.
Podes pensar na história
da criatividade humana
como o processo de chegar a esta urna
e ir tirando uma bola atrás de outra.
Até aqui, o efeito tem sido
muito benéfico, não é?
Já extraímos uma grande quantidade
de bolas brancas,
algumas de vários tons de cinzento,
com prós e contras.
Até agora não tirámos a bola preta
— uma tecnologia que destrua fatalmente
a civilização que a encontrar.
O artigo procura refletir
no que será essa bola preta.
CA: Então, defines essa bola
como aquela que, inevitavelmente,
provocará a destruição da civilização.
NB: A não ser que abandonemos
aquilo a que chamo
a situação semianárquica, por defeito
mas, de qualquer modo, por defeito.
CA: Argumentas de forma convincente
apresentando contraexemplos
de que, segundo crês,
temos tido muita sorte, até agora,
em que podíamos ter tirado
essa bola mortífera
sem sequer darmos por isso.
O que é esta citação?
["O Progresso Contínuo na Mecânica
Celestial produzirá a bomba H"]
NB: Penso que pretende ilustrar
a dificuldade de prever aonde nos levarão
as descobertas elementares.
Não temos essa capacidade.
Porque tornámo-nos muito bons
a extrair as bolas,
mas não temos a capacidade
de voltar a pôr a bola na urna.
Podemos inventar,
mas não podemos des-inventar.
A nossa estratégia atual
é ter a esperança de que não haja
nenhuma bola preta na urna.
CA: Depois de aparecer, está cá fora
e não podemos voltar a pô-la lá dentro
e tu pensas que temos tido sorte.
Fala-nos de alguns desses exemplos.
Falas de diferentes tipos
de vulnerabilidade.
NB: O tipo mais fácil de perceber
é uma tecnologia que torna
muito fácil uma destruição maciça.
A biologia sintética pode ser
uma fonte fecunda duma bola preta,
mas há muitas outras coisas possíveis
— pensa na geo-engenharia,
é genial, não é?
Podemos combater o aquecimento global,
mas não queremos
que seja demasiado fácil,
não queremos que
uma pessoa qualquer e a sua avó
possam alterar radicalmente
o clima da Terra.
Ou os "drones" autónomos mortíferos,
enxames de robôs assassinos
do tamanho de mosquitos
e produzidos em massa.
A nanotecnologia,
a inteligência artificial geral.
CA: Defendes nesse artigo
que foi só por sorte
— quando descobrimos
que a energia nuclear
podia criar uma bomba —
que não criámos uma bomba
com recursos muito mais simples,
acessíveis a toda a gente.
NB: Sim, pensa nos anos 30
em que, pela primeira vez,
fizemos descobertas revolucionárias
na física nuclear.
Houve um génio que descobriu ser possível
criar uma reação nuclear em cadeia
e depois percebeu-se
que isso podia levar à bomba.
E continuámos a trabalhar.
Acontece que o necessário
para fazer uma bomba nuclear
é urânio enriquecido ou plutónio,
que são materiais muito difíceis de obter.
São precisos ultracentrifugadores,
são precisos reatores,
quantidades enormes de energia.
Mas suponhamos que, em vez disso,
tivesse havido uma forma fácil
de libertar a energia do átomo.
Talvez cozendo areia no micro-ondas
ou qualquer coisa assim,
pudéssemos ter criado
uma explosão nuclear.
Sabemos que isso
é fisicamente impossível.
Mas antes de estudarmos
a física relevante
como é que sabíamos
o que iria acontecer?
CA: Podias alegar que,
para a vida evoluir na Terra
era indispensável um ambiente estável
e que, se fosse possível criar
grandes reações nucleares
com relativa facilidade,
a Terra nunca teria estado estável
e nós não estaríamos aqui.
NB: Sim, a não ser que houvesse
qualquer coisa fácil de fazer
mas isso não aconteceria por acaso.
Coisas fáceis de fazer,
como empilhar 10 blocos
uns por cima dos outros
mas, na Natureza, não encontramos
uma pilha de 10 blocos.
CA: Ok, isto provavelmente é aquilo
que mais preocupa muitos de nós
e, sim, a biologia sintética
talvez seja o caminho mais rápido
que, podemos prever, pode
levar-nos lá num futuro próximo.
NB: Pois é, pensa no que significaria
se alguém, a trabalhar
na cozinha, durante uma tarde,
pudesse destruir uma cidade.
É difícil ver como a civilização moderna,
tal como a conhecemos,
teria sobrevivido a isso.
Porque, em qualquer população
de um milhão de pessoas,
haverá sempre alguém,
por qualquer razão que seja,
que pode decidir usar
esse poder destrutivo.
Assim, se esse resíduo apocalíptico
decidir destruir uma cidade ou, pior,
as cidades serão destruídas.
CA: Esse é outro tipo de vulnerabilidade.
Fala-nos disso.
NB: Para além destes tipos óbvios
de bolas pretas
isso tornaria possível
fazer explodir muitas coisas.
Outros tipos agiriam
criando maus incentivos
para os seres humanos
fazerem coisas prejudiciais.
O Tipo-2a, podemos chamar-lhe assim,
é pensar nalguma tecnologia
que incentive as grandes potências
a usar a sua quantidade enorme de força
para provocar a destruição.
As armas nucleares estiveram
muito perto disso, não foi?
Gastámos mais de 10 biliões de dólares
para fabricar 70 000 ogivas nucleares
e colocá-las em alerta imediato.
Houve várias ocasiões,
durante a Guerra Fria,
em que quase nos explodimos mutuamente.
Não porque muita gente achasse
que seria boa ideia
gastar 10 biliões de dólares
para nos fazermos explodir,
mas porque os incentivos eram enormes
— podia ter sido pior.
Imagina se tivesse havido
um primeiro ataque.
Podia ter sido muito complicado,
numa situação de crise,
conseguirmos abstermo-nos
de lançar todos os mísseis nucleares.
Quanto mais não fosse, porque recearíamos
que o outro lado o fizesse.
CA: Claro, uma destruição mútua garantida
manteve a Guerra Fria
relativamente estável.
Sem isso, podíamos não estar aqui agora.
NB: Podia ter sido
mais instável do que foi.
Podia haver outras propriedades
da tecnologia.
Podia ter sido mais difícil
ter tratados sobre armamento
se, em vez de armas nucleares,
fosse uma coisa mais pequena
ou menos impressionante.
CA: Tal como com os maus incentivos
para atores poderosos,
também te preocupas
com os maus incentivos
para todos nós, o Tipo-2b.
NB: Sim, podemos agarrar
no caso do aquecimento global.
Há muitos pequenos confortos
que levam cada um de nós a fazer coisas
que, individualmente,
não têm efeito significativo.
Mas, se milhares de milhões
de pessoas o fizerem,
cumulativamente, o efeito é destruidor.
O aquecimento global podia
ter sido muito pior do que é.
Temos o parâmetro
de sensibilidade climática.
É um parâmetro que indica
quanto é o aquecimento
se emitirmos uma certa quantidade
de gases com efeito de estufa.
Mas supõe que se dava o caso
de que, com a quantidade de gases
com efeito de estufa que emitimos,
em vez de a temperatura subir
entre 3 a 4,5 graus até 2100,
imagina que subiria entre 15 ou 20 graus.
Aí estaríamos numa situação muito má.
Supõe que as energias renováveis
tinham sido muito mais complexas
ou que tinha havido mais
combustíveis fósseis no terreno.
CA: Não podias argumentar que,
se aquilo que estamos a fazer hoje
tivesse resultado em 10 graus de diferença
no período de tempo que podemos ver,
a humanidade ter-se-ia alarmado
e teria feito alguma coisa.
Somos estúpidos, mas não somos
assim tão estúpidos.
Ou talvez sejamos.
NB: Não apostaria nisso.
(Risos)
Podemos imaginar outras opções.
Neste momento, é um pouco difícil
mudar para as renováveis,
mas pode ser feito.
Podia ter sido,
com uma física um pouco diferente,
teria sido muito mais dispendioso
fazer essas coisas.
CA: Qual é a tua opinião, Nick?
Achas que, juntando
todas estas possibilidades.
esta humanidade que somos,
somos um mundo vulnerável?
Haverá uma bola mortífera
no nosso futuro?
NB: É difícil dizer.
Ou seja, penso que pode haver
várias bolas pretas na urna,
é o que parece.
Também pode haver
algumas bolas douradas
que nos ajudarão
a proteger-nos das bolas pretas.
Mas não sei qual a ordem
por que vão sair.
CA: Uma possível crítica
filosófica dessa ideia
é que isso implica uma visão
de um futuro já determinado,
quer essa bola exista ou não.
E, de certa forma,
é uma visão do futuro
em que eu não quero acreditar.
Eu quero acreditar
que o futuro é indeterminado,
que são as nossas decisões
de hoje que determinarão
o tipo de bolas
que vamos tirar dessa urna.
NB: Se continuarmos a inventar,
acabaremos por extrair todas as bolas.
Penso que há uma certa forma
de determinismo tecnológico
que é bastante plausível.
Ou seja, não é provável
encontrar uma sociedade
que use machados de sílex
e aviões a jato.
Mas quase podemos ver a tecnologia
como um conjunto de possibilidades.
A tecnologia é a coisa que nos possibilita
fazer diversas coisas
e obter diversos efeitos no mundo.
Como vamos usá-las
depende das opções humanas.
Mas, se pensarmos nestes
três tipos de vulnerabilidade,
são pressupostos muito fracos
sobre como optaríamos por usá-las.
Uma vulnerabilidade Tipo-1
esse enorme poder destrutivo,
é uma hipótese muito fraca
pensar que, numa população
de milhões de pessoas
haveria algumas que optariam
por usá-la destrutivamente.
CA: Para mim, o argumento mais perturbador
é podermos espreitar
para dentro da urna
e vermos que, provavelmente,
estamos condenados.
Se acreditarmos no poder acelerador,
que a tecnologia acelera
inerentemente,
que criamos as ferramentas
que nos tornam mais poderosos,
a certa altura, acabamos
por chegar a um ponto
em que um único indivíduo
pode eliminar-nos a todos
e assim, parece que estamos lixados.
Este argumento não é alarmante?
NB: Claro que é.
(Risos)
Penso que...
Sim, cada vez temos mais poder
e é cada vez mais fácil
usar esses poderes
mas também podemos inventar
tecnologias que nos ajudem a controlar
como as pessoas usam esses poderes.
CA: Falemos nisso, falemos na resposta.
Suponhamos que pensar
em todas as possibilidades
que existem atualmente
— não é só a biologia sintética,
são coisas como a guerra cibernética,
a inteligência artificial, etc., etc. —
que podem ser uma condenação
do nosso futuro.
Quais são as possíveis respostas?
Falaste de quatro respostas possíveis.
NB: Restringir o desenvolvimento
tecnológico não parece ser promissor,
se falamos duma paragem geral
do progresso tecnológico.
Penso que não é exequível
nem seria desejável,
mesmo que o pudéssemos fazer.
Penso que pode haver áreas
muito limitadas
em que talvez quiséssemos
abrandar o progresso tecnológico.
Penso que não queremos um progresso
mais rápido nas armas biológicas
ou na separação de isótopos
que facilitaria a criação
de ogivas nucleares.
CA: Eu costumava estar
inteiramente de acordo com isso.
Mas gostaria de contra-argumentar
durante instantes.
Primeiro que tudo,
se olharmos para a história
das últimas décadas,
tem havido sempre uma evolução
a toda a velocidade.
Tudo bem, a escolha tem sido nossa.
Mas, se olharmos para a globalização
e para a sua rápida aceleração,
se olharmos para a estratégia
de "avançar rápido e partir a loiça"
e o que aconteceu com isso,
e depois olhamos para o potencial
da biologia sintética,
não sei se devemos avançar
rapidamente
ou sem qualquer tipo de restrições
para um mundo em que podemos ter
uma impressora de ADN em todos os lares
e nos laboratórios dos liceus.
Há restrições, não há?
NB: Possivelmente. Temos
a primeira parte: não exequível.
Se pensarmos que seria
desejável parar,
há o problema da exequibilidade.
Na verdade, não ajuda muito
se um país...
CA: Não, não ajuda muito
se for um só país,
mas já tivemos tratados.
Foi assim que sobrevivemos
à ameaça nuclear,
foi passando pelo processo
doloroso de negociação.
Ponho-me a pensar se a lógica não será
que nós, em termos de prioridade global,
não devíamos tentar começar
a negociar regras estritas
sobre onde se pode fazer
investigação sobre biologia sintética.
Não é uma coisa
que queiramos democratizar, pois não?
NB: Estou inteiramente de acordo com isso.
Seria desejável, por exemplo,
ter máquinas de síntese de ADN,
não enquanto um aparelho
existente em todos os laboratórios,
mas como um serviço.
Talvez pudesse haver
quatro ou cinco locais no mundo
para onde enviar o nosso modelo digital
e receber o ADN de volta.
Depois, teríamos essa capacidade
se um dia isso fosse mesmo necessário
teríamos um conjunto finito
de pontos de obstrução.
Penso que queres olhar
para especiais oportunidades,
em que podemos ter
um controlo mais apertado.
CA: Fundamentalmente, acreditas
que não vamos conseguir atrasar as coisas.
Alguém, algures
— Coreia do Norte —
alguém vai lá chegar
e descobrir esse conhecimento
se é que ele existe.
NB: Isso parece plausível
nas atuais condições.
Também não é só biologia sintética.
Qualquer tipo de mudança
profunda e nova, no mundo
pode vir a ser uma bola preta.
CA: Vejamos outra resposta possível.
NB: Penso que isto também
tem um potencial limitado.
Com a vulnerabilidade
de Tipo-1, mais uma vez,
se pudermos reduzir o número
de pessoas que estão motivadas
a destruir o mundo,
se pelo menos fossem só elas
a ter o acesso e os meios
isso seria bom.
CA: Nesta imagem que nos pediste
para fazermos,
imaginaste estes "drones"
a voar à volta do mundo
com reconhecimento facial.
Quando detetam alguém que mostra
um comportamento sociopata
dão-lhe um banho de amor
e recuperam-no.
NB: É uma imagem híbrida.
Eliminar pode significar
encarcerar ou matar
ou pode significar convencê-los
a uma melhor visão do mundo.
Mas a questão é esta:
Imagina que temos um grande êxito,
e reduzíamos para metade
o número desses indivíduos.
Se queremos fazê-lo por persuasão,
estamos a competir contra
as outras forças poderosas
que tentam persuadir as pessoas,
os partidos, a religião,
o sistema de ensino.
Mas suponhamos
que os reduzimos a metade,
penso que o risco não seria
reduzido a metade.
Talvez apenas a 5% ou 10%.
CA: Não estás a recomendar
que falemos do futuro da humanidade
com a resposta dois.
NB: Penso que é bom tentar
dissuadir e persuadir as pessoas
mas não podemos confiar
nisso como única salvaguarda.
CA: E quanto à terceira resposta?
NB: Penso que há dois
métodos gerais
que podemos usar para conseguir
a capacidade de estabilizar o mundo
contra todo o espetro
de possíveis vulnerabilidades.
Provavelmente, vamos precisar
das duas coisas.
Uma é uma capacidade
extremamente eficaz
de policiamento preventivo.
para poder intercetar
alguém que comece a fazer
coisas perigosas.
Poder intercetá-la
em tempo real, e detê-la.
Isso exigirá uma vigilância
omnipresente,
toda a gente terá de ser
monitorizada a toda a hora.
CA: É essencialmente
uma forma de "Minority Report".
NB: Talvez tenhamos algoritmos de IA,
grandes centro de liberdade
que examinariam isso, etc., etc.
CA: A vigilância de massas
não é muito popular neste momento...
(Risos)
NB: Eu sei. Aquele pequeno aparelho.
imagina que tens de usar sempre
aquele tipo de coleira
com câmaras multidirecionais.
Mas, para ser mais bem aceite,
chama-lhe "farol da liberdade"
ou qualquer coisa dessas.
(Risos)
CA: Ok.
Isto, meus amigos, é só uma conversa
é por isso que é uma conversa
tão estonteante.
NB: Na verdade, há toda uma conversa
sobre este tema em especial.
Há grandes problemas e riscos
com isto, não é?
Podemos voltar a falar nisso.
A última resposta,
a outra capacidade de estabilização geral
colmata um vazio da governação.
A vigilância preencherá um vazio
da governação a um nível micro:
impedir quem quer que seja
de fazer uma coisa altamente ilegal.
Há um vazio de governação
equivalente,
a nível macro, a nível mundial.
Precisaremos de capacidade eficaz,
para impedir os piores tipos
de falhas de coordenação mundial,
para evitar guerras
entre as grandes potências,
corridas ao armamento,
problemas comuns cataclísmicos,
a fim de lidar com
as vulnerabilidades Tipo-2a.
CA: Governação global é um termo
que está definitivamente
fora de moda neste momento
mas podes adiantar
que, ao longo da História,
a História da Humanidade,
em cada fase do aumento
do poder tecnológico
as pessoas têm reorganizado
e de certa forma centralizado o poder.
Por exemplo, quando um bando
itinerante de criminosos
podia dominar uma sociedade,
a reposta foi criar um estado-nação
e uma força centralizada,
força policial ou militar,
para isso não ser possível
A lógica, talvez, de ter
uma única pessoa ou um único grupo
capaz de dominar a humanidade
significa que, a certa altura,
temos de ir por este caminho,
de alguma forma, não é?
NB: É verdade que a escala
da organização política aumentou
ao longo da história humana.
Primeiro era um bando
de caçadores-recoletores.
depois uma chefatura,
cidades-estados, nações.
Agora são organizações internacionais
etc., etc.
Mais uma vez, só quero assegurar,
ter a hipótese de sublinhar
que, obviamente,
há tremendos inconvenientes
e enormes riscos
tanto na vigilância de massas
como na governação global.
Só estou a sublinhar
que, se tivermos sorte,
o mundo pode ser tal
que estas serão as únicas formas
de sobrevivermos a uma bola preta.
CA: A lógica desta teoria
segundo me parece,
é que temos de reconhecer
que não podemos ter tudo.
De certo modo, eu diria
que o sonho ingénuo
que muitos de nós temos
é que a tecnologia vai ser sempre
uma força para o bem,
que não devemos parar, mas avançar
o mais depressa possível
e não prestar atenção
a algumas das consequências.
Não temos opção.
Podemos ter isso.
Se tivermos isso,
vamos ter de aceitar
algumas das outras coisas
muito incómodas que vêm juntas
entramos na corrida ao armamento
com nós mesmos:
se quisermos o poder
devemos limitá-lo,
é melhor perceber
como limitá-lo.
NB: Penso que é uma opção,
uma opção muito tentadora,
de certo modo, a opção mais fácil
e pode funcionar,
mas significa que estamos
extremamente vulneráveis
a extrair a bola preta.
Eu penso que, com um pouco
de coordenação
— resolvendo este problema
de macrogovernação,
e o problema da microgovernação —
podemos extrair todas as bolas da urna
e beneficiar imenso.
CA: Mas, se estamos a viver
numa simulação, isso é importante?
Basta reiniciarmos.
(Risos)
NB: Bom... eu...
(Risos)
eu não vi isso a chegar.
CA: Então, qual é a tua visão?
Juntando todas as peças,
qual é a probabilidade
de estarmos condenados?
(Risos)
Adoro como as pessoas riem
quando eu faço esta pergunta.
NB: A nível individual,
parece que estamos condenados,
mais tarde ou mais cedo,
estamos a apodrecer e a envelhecer
e todos os tipos de coisas.
(Risos)
Na verdade, é um pouco complicado.
Se nos quisermos preparar
para agarrar uma probabilidade,
a primeira coisa é:
quem somos nós?
Se formos muito velhos,
morreremos de causas naturais,
se formos muito novos
podemos chegar aos 100 anos,
consoante a quem perguntarem.
Depois o limiar: o que conta
como devastação civilizacional?
No meu artigo eu não preciso
de uma catástrofe existencial
para que isso conte.
É apenas uma questão de definição,
digo mil milhões de mortos
ou uma redução do PIB mundial
em 50%,
mas consoante o limiar
que for definido,
obtemos uma estimativa
diferente da probabilidade.
Acho que podem
acusar-me de otimista assustado.
(Risos)
CA: És um otimista assustado
e eu acho que acabaste de criar
um grande número
de outras pessoas assustadas.
(Risos)
NB: Na simulação.
CA: Numa simulação.
Nick Bostrom, o teu espírito maravilha-me.
Muito obrigado por nos teres assustado.
(Aplausos)