Como a civilização se pode destruir a si mesma — e quatro formas de o impedir

A Humanidade está a caminho de criar uma "bola preta": uma invenção tecnológica que pode destruir-nos a todos, diz o filósofo Nick Bostrom. Nesta conversa incisiva e surpreendentemente despreocupada, com Chris Anderson, Bostrom sublinha as vulnerabilidades que podemos encontrar se (ou quando) as nossas invenções escapem ao nosso controlo — e explora como podemos impedir o colapso do nosso futuro.

Chris Anderson: Nick Bostrom.

Já nos deste muitas ideias incríveis.

Penso que aqui há décadas

defendeste a ideia de que podemos
estar a viver numa simulação,

ou provavelmente, estávamos.

Mais recentemente,

descreveste os exemplos
mais impressionantes

de como a inteligência artificial
poderá vir a gerar resultados terríveis.

E este ano, estás prestes a publicar

um artigo que apresenta uma coisa
chamada a hipótese do mundo vulnerável.

O nosso papel esta noite é apresentar
um guia ilustrado sobre esse tema.

Vamos a isso.

Que hipótese é essa?

Nick Bostrom: É uma tentativa de reflexão

sobre uma característica estrutural
da atual condição humana.

Tu gostas da metáfora da urna,

por isso vou usá-la para explicar melhor.

Imagina uma grande urna
cheia de bolas,

que representam ideias, métodos,
possíveis tecnologias.

Podes pensar na história
da criatividade humana

como o processo de chegar a esta urna
e ir tirando uma bola atrás de outra.

Até aqui, o efeito tem sido
muito benéfico, não é?

Já extraímos uma grande quantidade
de bolas brancas,

algumas de vários tons de cinzento,
com prós e contras.

Até agora não tirámos a bola preta

— uma tecnologia que destrua fatalmente
a civilização que a encontrar.

O artigo procura refletir
no que será essa bola preta.

CA: Então, defines essa bola

como aquela que, inevitavelmente,
provocará a destruição da civilização.

NB: A não ser que abandonemos
aquilo a que chamo

a situação semianárquica, por defeito

mas, de qualquer modo, por defeito.

CA: Argumentas de forma convincente
apresentando contraexemplos

de que, segundo crês,
temos tido muita sorte, até agora,

em que podíamos ter tirado
essa bola mortífera

sem sequer darmos por isso.

O que é esta citação?

["O Progresso Contínuo na Mecânica
Celestial produzirá a bomba H"]

NB: Penso que pretende ilustrar

a dificuldade de prever aonde nos levarão
as descobertas elementares.

Não temos essa capacidade.

Porque tornámo-nos muito bons
a extrair as bolas,

mas não temos a capacidade
de voltar a pôr a bola na urna.

Podemos inventar,
mas não podemos des-inventar.

A nossa estratégia atual

é ter a esperança de que não haja
nenhuma bola preta na urna.

CA: Depois de aparecer, está cá fora
e não podemos voltar a pô-la lá dentro

e tu pensas que temos tido sorte.

Fala-nos de alguns desses exemplos.

Falas de diferentes tipos
de vulnerabilidade.

NB: O tipo mais fácil de perceber

é uma tecnologia que torna
muito fácil uma destruição maciça.

A biologia sintética pode ser
uma fonte fecunda duma bola preta,

mas há muitas outras coisas possíveis

— pensa na geo-engenharia,
é genial, não é?

Podemos combater o aquecimento global,

mas não queremos
que seja demasiado fácil,

não queremos que
uma pessoa qualquer e a sua avó

possam alterar radicalmente
o clima da Terra.

Ou os "drones" autónomos mortíferos,
enxames de robôs assassinos

do tamanho de mosquitos
e produzidos em massa.

A nanotecnologia,
a inteligência artificial geral.

CA: Defendes nesse artigo

que foi só por sorte
— quando descobrimos

que a energia nuclear
podia criar uma bomba —

que não criámos uma bomba

com recursos muito mais simples,
acessíveis a toda a gente.

NB: Sim, pensa nos anos 30

em que, pela primeira vez,

fizemos descobertas revolucionárias
na física nuclear.

Houve um génio que descobriu ser possível
criar uma reação nuclear em cadeia

e depois percebeu-se
que isso podia levar à bomba.

E continuámos a trabalhar.

Acontece que o necessário
para fazer uma bomba nuclear

é urânio enriquecido ou plutónio,

que são materiais muito difíceis de obter.

São precisos ultracentrifugadores,

são precisos reatores,
quantidades enormes de energia.

Mas suponhamos que, em vez disso,

tivesse havido uma forma fácil
de libertar a energia do átomo.

Talvez cozendo areia no micro-ondas

ou qualquer coisa assim,

pudéssemos ter criado
uma explosão nuclear.

Sabemos que isso
é fisicamente impossível.

Mas antes de estudarmos
a física relevante

como é que sabíamos
o que iria acontecer?

CA: Podias alegar que,
para a vida evoluir na Terra

era indispensável um ambiente estável

e que, se fosse possível criar
grandes reações nucleares

com relativa facilidade,

a Terra nunca teria estado estável
e nós não estaríamos aqui.

NB: Sim, a não ser que houvesse
qualquer coisa fácil de fazer

mas isso não aconteceria por acaso.

Coisas fáceis de fazer,

como empilhar 10 blocos
uns por cima dos outros

mas, na Natureza, não encontramos
uma pilha de 10 blocos.

CA: Ok, isto provavelmente é aquilo
que mais preocupa muitos de nós

e, sim, a biologia sintética
talvez seja o caminho mais rápido

que, podemos prever, pode
levar-nos lá num futuro próximo.

NB: Pois é, pensa no que significaria

se alguém, a trabalhar
na cozinha, durante uma tarde,

pudesse destruir uma cidade.

É difícil ver como a civilização moderna,
tal como a conhecemos,

teria sobrevivido a isso.

Porque, em qualquer população
de um milhão de pessoas,

haverá sempre alguém,
por qualquer razão que seja,

que pode decidir usar
esse poder destrutivo.

Assim, se esse resíduo apocalíptico

decidir destruir uma cidade ou, pior,

as cidades serão destruídas.

CA: Esse é outro tipo de vulnerabilidade.

Fala-nos disso.

NB: Para além destes tipos óbvios
de bolas pretas

isso tornaria possível
fazer explodir muitas coisas.

Outros tipos agiriam
criando maus incentivos

para os seres humanos
fazerem coisas prejudiciais.

O Tipo-2a, podemos chamar-lhe assim,

é pensar nalguma tecnologia
que incentive as grandes potências

a usar a sua quantidade enorme de força
para provocar a destruição.

As armas nucleares estiveram
muito perto disso, não foi?

Gastámos mais de 10 biliões de dólares

para fabricar 70 000 ogivas nucleares

e colocá-las em alerta imediato.

Houve várias ocasiões,
durante a Guerra Fria,

em que quase nos explodimos mutuamente.

Não porque muita gente achasse
que seria boa ideia

gastar 10 biliões de dólares
para nos fazermos explodir,

mas porque os incentivos eram enormes

— podia ter sido pior.

Imagina se tivesse havido
um primeiro ataque.

Podia ter sido muito complicado,
numa situação de crise,

conseguirmos abstermo-nos
de lançar todos os mísseis nucleares.

Quanto mais não fosse, porque recearíamos
que o outro lado o fizesse.

CA: Claro, uma destruição mútua garantida

manteve a Guerra Fria
relativamente estável.

Sem isso, podíamos não estar aqui agora.

NB: Podia ter sido
mais instável do que foi.

Podia haver outras propriedades
da tecnologia.

Podia ter sido mais difícil
ter tratados sobre armamento

se, em vez de armas nucleares,

fosse uma coisa mais pequena
ou menos impressionante.

CA: Tal como com os maus incentivos
para atores poderosos,

também te preocupas

com os maus incentivos
para todos nós, o Tipo-2b.

NB: Sim, podemos agarrar
no caso do aquecimento global.

Há muitos pequenos confortos

que levam cada um de nós a fazer coisas

que, individualmente,
não têm efeito significativo.

Mas, se milhares de milhões
de pessoas o fizerem,

cumulativamente, o efeito é destruidor.

O aquecimento global podia
ter sido muito pior do que é.

Temos o parâmetro
de sensibilidade climática.

É um parâmetro que indica
quanto é o aquecimento

se emitirmos uma certa quantidade
de gases com efeito de estufa.

Mas supõe que se dava o caso

de que, com a quantidade de gases
com efeito de estufa que emitimos,

em vez de a temperatura subir

entre 3 a 4,5 graus até 2100,

imagina que subiria entre 15 ou 20 graus.

Aí estaríamos numa situação muito má.

Supõe que as energias renováveis
tinham sido muito mais complexas

ou que tinha havido mais
combustíveis fósseis no terreno.

CA: Não podias argumentar que,

se aquilo que estamos a fazer hoje

tivesse resultado em 10 graus de diferença
no período de tempo que podemos ver,

a humanidade ter-se-ia alarmado
e teria feito alguma coisa.

Somos estúpidos, mas não somos
assim tão estúpidos.

Ou talvez sejamos.

NB: Não apostaria nisso.

(Risos)

Podemos imaginar outras opções.

Neste momento, é um pouco difícil
mudar para as renováveis,

mas pode ser feito.

Podia ter sido,
com uma física um pouco diferente,

teria sido muito mais dispendioso
fazer essas coisas.

CA: Qual é a tua opinião, Nick?

Achas que, juntando
todas estas possibilidades.

esta humanidade que somos,

somos um mundo vulnerável?

Haverá uma bola mortífera
no nosso futuro?

NB: É difícil dizer.

Ou seja, penso que pode haver
várias bolas pretas na urna,

é o que parece.

Também pode haver
algumas bolas douradas

que nos ajudarão
a proteger-nos das bolas pretas.

Mas não sei qual a ordem
por que vão sair.

CA: Uma possível crítica
filosófica dessa ideia

é que isso implica uma visão
de um futuro já determinado,

quer essa bola exista ou não.

E, de certa forma,

é uma visão do futuro
em que eu não quero acreditar.

Eu quero acreditar
que o futuro é indeterminado,

que são as nossas decisões
de hoje que determinarão

o tipo de bolas
que vamos tirar dessa urna.

NB: Se continuarmos a inventar,

acabaremos por extrair todas as bolas.

Penso que há uma certa forma
de determinismo tecnológico

que é bastante plausível.

Ou seja, não é provável
encontrar uma sociedade

que use machados de sílex
e aviões a jato.

Mas quase podemos ver a tecnologia
como um conjunto de possibilidades.

A tecnologia é a coisa que nos possibilita
fazer diversas coisas

e obter diversos efeitos no mundo.

Como vamos usá-las
depende das opções humanas.

Mas, se pensarmos nestes
três tipos de vulnerabilidade,

são pressupostos muito fracos
sobre como optaríamos por usá-las.

Uma vulnerabilidade Tipo-1
esse enorme poder destrutivo,

é uma hipótese muito fraca

pensar que, numa população
de milhões de pessoas

haveria algumas que optariam
por usá-la destrutivamente.

CA: Para mim, o argumento mais perturbador

é podermos espreitar
para dentro da urna

e vermos que, provavelmente,
estamos condenados.

Se acreditarmos no poder acelerador,

que a tecnologia acelera
inerentemente,

que criamos as ferramentas
que nos tornam mais poderosos,

a certa altura, acabamos
por chegar a um ponto

em que um único indivíduo
pode eliminar-nos a todos

e assim, parece que estamos lixados.

Este argumento não é alarmante?

NB: Claro que é.

(Risos)

Penso que...

Sim, cada vez temos mais poder

e é cada vez mais fácil
usar esses poderes

mas também podemos inventar
tecnologias que nos ajudem a controlar

como as pessoas usam esses poderes.

CA: Falemos nisso, falemos na resposta.

Suponhamos que pensar
em todas as possibilidades

que existem atualmente

— não é só a biologia sintética,
são coisas como a guerra cibernética,

a inteligência artificial, etc., etc. —

que podem ser uma condenação
do nosso futuro.

Quais são as possíveis respostas?

Falaste de quatro respostas possíveis.

NB: Restringir o desenvolvimento
tecnológico não parece ser promissor,

se falamos duma paragem geral
do progresso tecnológico.

Penso que não é exequível
nem seria desejável,

mesmo que o pudéssemos fazer.

Penso que pode haver áreas
muito limitadas

em que talvez quiséssemos
abrandar o progresso tecnológico.

Penso que não queremos um progresso
mais rápido nas armas biológicas

ou na separação de isótopos

que facilitaria a criação
de ogivas nucleares.

CA: Eu costumava estar
inteiramente de acordo com isso.

Mas gostaria de contra-argumentar
durante instantes.

Primeiro que tudo,

se olharmos para a história
das últimas décadas,

tem havido sempre uma evolução
a toda a velocidade.

Tudo bem, a escolha tem sido nossa.

Mas, se olharmos para a globalização
e para a sua rápida aceleração,

se olharmos para a estratégia
de "avançar rápido e partir a loiça"

e o que aconteceu com isso,

e depois olhamos para o potencial
da biologia sintética,

não sei se devemos avançar
rapidamente

ou sem qualquer tipo de restrições

para um mundo em que podemos ter
uma impressora de ADN em todos os lares

e nos laboratórios dos liceus.

Há restrições, não há?

NB: Possivelmente. Temos
a primeira parte: não exequível.

Se pensarmos que seria
desejável parar,

há o problema da exequibilidade.

Na verdade, não ajuda muito
se um país...

CA: Não, não ajuda muito
se for um só país,

mas já tivemos tratados.

Foi assim que sobrevivemos
à ameaça nuclear,

foi passando pelo processo
doloroso de negociação.

Ponho-me a pensar se a lógica não será

que nós, em termos de prioridade global,

não devíamos tentar começar
a negociar regras estritas

sobre onde se pode fazer
investigação sobre biologia sintética.

Não é uma coisa
que queiramos democratizar, pois não?

NB: Estou inteiramente de acordo com isso.

Seria desejável, por exemplo,

ter máquinas de síntese de ADN,

não enquanto um aparelho
existente em todos os laboratórios,

mas como um serviço.

Talvez pudesse haver
quatro ou cinco locais no mundo

para onde enviar o nosso modelo digital
e receber o ADN de volta.

Depois, teríamos essa capacidade

se um dia isso fosse mesmo necessário

teríamos um conjunto finito
de pontos de obstrução.

Penso que queres olhar
para especiais oportunidades,

em que podemos ter
um controlo mais apertado.

CA: Fundamentalmente, acreditas

que não vamos conseguir atrasar as coisas.

Alguém, algures
— Coreia do Norte —

alguém vai lá chegar
e descobrir esse conhecimento

se é que ele existe.

NB: Isso parece plausível
nas atuais condições.

Também não é só biologia sintética.

Qualquer tipo de mudança
profunda e nova, no mundo

pode vir a ser uma bola preta.

CA: Vejamos outra resposta possível.

NB: Penso que isto também
tem um potencial limitado.

Com a vulnerabilidade
de Tipo-1, mais uma vez,

se pudermos reduzir o número
de pessoas que estão motivadas

a destruir o mundo,

se pelo menos fossem só elas
a ter o acesso e os meios

isso seria bom.

CA: Nesta imagem que nos pediste
para fazermos,

imaginaste estes "drones"
a voar à volta do mundo

com reconhecimento facial.

Quando detetam alguém que mostra
um comportamento sociopata

dão-lhe um banho de amor
e recuperam-no.

NB: É uma imagem híbrida.

Eliminar pode significar
encarcerar ou matar

ou pode significar convencê-los
a uma melhor visão do mundo.

Mas a questão é esta:

Imagina que temos um grande êxito,

e reduzíamos para metade
o número desses indivíduos.

Se queremos fazê-lo por persuasão,

estamos a competir contra
as outras forças poderosas

que tentam persuadir as pessoas,

os partidos, a religião,
o sistema de ensino.

Mas suponhamos
que os reduzimos a metade,

penso que o risco não seria
reduzido a metade.

Talvez apenas a 5% ou 10%.

CA: Não estás a recomendar
que falemos do futuro da humanidade

com a resposta dois.

NB: Penso que é bom tentar
dissuadir e persuadir as pessoas

mas não podemos confiar
nisso como única salvaguarda.

CA: E quanto à terceira resposta?

NB: Penso que há dois
métodos gerais

que podemos usar para conseguir
a capacidade de estabilizar o mundo

contra todo o espetro
de possíveis vulnerabilidades.

Provavelmente, vamos precisar
das duas coisas.

Uma é uma capacidade
extremamente eficaz

de policiamento preventivo.

para poder intercetar

alguém que comece a fazer
coisas perigosas.

Poder intercetá-la
em tempo real, e detê-la.

Isso exigirá uma vigilância
omnipresente,

toda a gente terá de ser
monitorizada a toda a hora.

CA: É essencialmente
uma forma de "Minority Report".

NB: Talvez tenhamos algoritmos de IA,

grandes centro de liberdade
que examinariam isso, etc., etc.

CA: A vigilância de massas
não é muito popular neste momento...

(Risos)

NB: Eu sei. Aquele pequeno aparelho.

imagina que tens de usar sempre
aquele tipo de coleira

com câmaras multidirecionais.

Mas, para ser mais bem aceite,

chama-lhe "farol da liberdade"
ou qualquer coisa dessas.

(Risos)

CA: Ok.

Isto, meus amigos, é só uma conversa

é por isso que é uma conversa
tão estonteante.

NB: Na verdade, há toda uma conversa
sobre este tema em especial.

Há grandes problemas e riscos
com isto, não é?

Podemos voltar a falar nisso.

A última resposta,

a outra capacidade de estabilização geral
colmata um vazio da governação.

A vigilância preencherá um vazio
da governação a um nível micro:

impedir quem quer que seja
de fazer uma coisa altamente ilegal.

Há um vazio de governação
equivalente,

a nível macro, a nível mundial.

Precisaremos de capacidade eficaz,

para impedir os piores tipos
de falhas de coordenação mundial,

para evitar guerras
entre as grandes potências,

corridas ao armamento,

problemas comuns cataclísmicos,

a fim de lidar com
as vulnerabilidades Tipo-2a.

CA: Governação global é um termo

que está definitivamente
fora de moda neste momento

mas podes adiantar
que, ao longo da História,

a História da Humanidade,

em cada fase do aumento
do poder tecnológico

as pessoas têm reorganizado
e de certa forma centralizado o poder.

Por exemplo, quando um bando
itinerante de criminosos

podia dominar uma sociedade,

a reposta foi criar um estado-nação

e uma força centralizada,
força policial ou militar,

para isso não ser possível

A lógica, talvez, de ter
uma única pessoa ou um único grupo

capaz de dominar a humanidade

significa que, a certa altura,
temos de ir por este caminho,

de alguma forma, não é?

NB: É verdade que a escala
da organização política aumentou

ao longo da história humana.

Primeiro era um bando
de caçadores-recoletores.

depois uma chefatura,
cidades-estados, nações.

Agora são organizações internacionais
etc., etc.

Mais uma vez, só quero assegurar,
ter a hipótese de sublinhar

que, obviamente,
há tremendos inconvenientes

e enormes riscos

tanto na vigilância de massas
como na governação global.

Só estou a sublinhar
que, se tivermos sorte,

o mundo pode ser tal
que estas serão as únicas formas

de sobrevivermos a uma bola preta.

CA: A lógica desta teoria

segundo me parece,

é que temos de reconhecer
que não podemos ter tudo.

De certo modo, eu diria

que o sonho ingénuo
que muitos de nós temos

é que a tecnologia vai ser sempre
uma força para o bem,

que não devemos parar, mas avançar
o mais depressa possível

e não prestar atenção
a algumas das consequências.

Não temos opção.

Podemos ter isso.

Se tivermos isso,

vamos ter de aceitar

algumas das outras coisas
muito incómodas que vêm juntas

entramos na corrida ao armamento
com nós mesmos:

se quisermos o poder
devemos limitá-lo,

é melhor perceber
como limitá-lo.

NB: Penso que é uma opção,
uma opção muito tentadora,

de certo modo, a opção mais fácil

e pode funcionar,

mas significa que estamos
extremamente vulneráveis

a extrair a bola preta.

Eu penso que, com um pouco
de coordenação

— resolvendo este problema
de macrogovernação,

e o problema da microgovernação —

podemos extrair todas as bolas da urna

e beneficiar imenso.

CA: Mas, se estamos a viver
numa simulação, isso é importante?

Basta reiniciarmos.

(Risos)

NB: Bom... eu...

(Risos)

eu não vi isso a chegar.

CA: Então, qual é a tua visão?

Juntando todas as peças,

qual é a probabilidade
de estarmos condenados?

(Risos)

Adoro como as pessoas riem
quando eu faço esta pergunta.

NB: A nível individual,

parece que estamos condenados,
mais tarde ou mais cedo,

estamos a apodrecer e a envelhecer
e todos os tipos de coisas.

(Risos)

Na verdade, é um pouco complicado.

Se nos quisermos preparar
para agarrar uma probabilidade,

a primeira coisa é:
quem somos nós?

Se formos muito velhos,
morreremos de causas naturais,

se formos muito novos
podemos chegar aos 100 anos,

consoante a quem perguntarem.

Depois o limiar: o que conta
como devastação civilizacional?

No meu artigo eu não preciso
de uma catástrofe existencial

para que isso conte.

É apenas uma questão de definição,

digo mil milhões de mortos

ou uma redução do PIB mundial
em 50%,

mas consoante o limiar
que for definido,

obtemos uma estimativa
diferente da probabilidade.

Acho que podem
acusar-me de otimista assustado.

(Risos)

CA: És um otimista assustado

e eu acho que acabaste de criar
um grande número

de outras pessoas assustadas.

(Risos)

NB: Na simulação.

CA: Numa simulação.

Nick Bostrom, o teu espírito maravilha-me.

Muito obrigado por nos teres assustado.

(Aplausos)