Como a civilização poderia se autodestruir, e quatro possíveis soluções para prevenir isso

A humanidade está a ponto de criar uma "bola escura": uma descoberta tecnológica que poderia destruir todos nós, diz o filósofo Nick Bostrom. Nesta conversa incisiva e surpreendentemente despreocupada com o curador do TED, Chris Anderson, Bostrom delineia as vulnerabilidades que podemos enfrentar se, ou quando, nossas invenções saírem de nosso controle, e explora como podemos prevenir nossa futura destruição.

Chris Anderson: Nick Bostrom.

Bem, você já nos apresentou
muitas ideias loucas por aí.

Acho que, há algumas décadas,

você argumentou sobre a possibilidade
de vivermos numa simulação,

ou talvez a probabilidade disso.

Mais recentemente,

ilustrou os mais vívidos exemplos
de como a inteligência artificial

poderia tomar um caminho terrível.

E agora, este ano,

você está prestes a publicar

um artigo que apresenta algo chamado
de "A Hipótese do Mundo Vulnerável".

Nosso trabalho esta noite é de fornecer
o guia ilustrado para ela.

Então, vamos fazê-lo.

O que é essa hipótese?

Nick Bostrom: É a de tentar pensar

sobre uma espécie de característica
estrutural da atual condição humana.

Você gosta da metáfora da urna,

então eu a utilizarei na explicação.

Imagine uma grande urna
preenchida por bolas

que representam ideias, métodos
e possíveis tecnologias.

Você pode pensar sobre
a história da criatividade humana

como o processo de enfiar a mão nessa urna
e tirar uma bola após a outra,

e o efeito em rede até agora
tem sido muito benéfico, certo?

Nós extraímos muitíssimas bolas brancas,

e algumas com tons cinzas,
bênçãos misturadas.

Nós ainda não tiramos a bola
completamente escura...

uma tecnologia que invariavelmente
destrói a civilização que a descobre.

Então, o artigo tenta imaginar
o que seria tal bola completamente escura.

CA: Então, você define a bola

como aquela que inevitavelmente
provoca a destruição da civilização.

NB: A não ser que abandonemos o que chamo
de condição semi-anárquica padrão.

Mas assim, através de um padrão.

CA: Você argumenta convincentemente,
mostrando alguns tipos de contra-exemplos

nos quais acredita que, até hoje,
na verdade tivemos sorte,

pois possivelmente já
tiramos essa bola devastadora

sem termos nos dado conta disso.

Há uma citação; o que ela significa?

[O progresso da mecânica trará a Bomba-H]

NB: Acho que ela quer ilustrar

a dificuldade em prever

até onde as descobertas
básicas podem nos levar.

Nós simplesmente não temos
esse tipo de capacidade.

Porque nos tornamos muito bons
em tirar bolas da urna,

mas não temos de fato a capacidade
de colocá-las de volta.

Podemos inventar algo,
mas não "desinventar".

Sendo assim, nossa estratégia

é esperar que não haja
nenhuma bola escura na urna.

CA: Então, uma vez que está fora,
está fora, e não se pode colocar de volta,

e você acha que temos tido sorte.

Fale sobre alguns desses exemplos.

Você menciona diferentes
tipos de vulnerabilidade.

NB: O tipo mais fácil de entender

é uma tecnologia que facilita muito

causar enormes quantidades de destruição.

A biologia sintética pode ser uma fonte
fértil desse tipo de bola escura,

mas há muitas outras coisas
possíveis que poderíamos...

pense na geoengenharia, que é ótima.

Poderíamos usá-la no combate
ao aquecimento global,

mas também não é ideal
facilitar esse acesso,

pois não queremos que alguém e sua avó

tenham a habilidade de alterar
radicalmente o clima da Terra.

Ou talvez os drones autônomos letais,

produzidos em massa; enxames de robôs
assassinos do tamanho de mosquitos.

A nanotecnologia,
a inteligência artificial geral.

CA: Você argumenta no artigo que foi
questão de sorte quando descobrimos

que o poder nuclear podia criar bombas,

porque poderia ter sido o caso

de podermos fazer bombas

com recursos muito mais fáceis,
acessíveis a qualquer um.

NB: Sim, então, pense na década de 1930,

na qual, pela primeira vez, nós fizemos
grandes descobertas na física nuclear,

e um gênio descobre que é possível
criar uma reação nuclear em cadeia,

e percebe que isso pode gerar uma bomba.

E então, trabalhamos um pouco mais,

e descobrimos que para fazer
uma bomba nuclear é necessário

ter elementos como urânio
ou plutônio altamente enriquecidos,

que são bem difíceis de se obter.

É preciso o uso de ultracentrifugadoras,

de reatores e de quantidades
imensas de energia.

Mas suponha que, em vez disso,

houvesse uma maneira mais fácil
de desbloquear a energia daquele átomo.

Que, talvez, ao cozinhar areia
no micro-ondas, ou algo do tipo,

seri possível ter criado
uma detonação nuclear.

Hoje, sabemos que isso
é fisicamente impossível;

mas, antes de fazer o cálculo de física,
como poderíamos saber que seria assim?

CA: Mas você não poderia argumentar

que para a vida se desenvolver na Terra

isso implicou um tipo de ambiente estável,
e que se fosse possível

criar de forma relativamente fácil
reações nucleares maciças,

a Terra nunca teria sido estável,
e nós nem estaríamos aqui?

NB: Sim, a não ser que isso envolvesse
algo que é fácil fazer de propósito,

mas que não poderia
acontecer aleatoriamente.

Como coisas que fazemos com facilidade,
por exemplo: empilhar dez blocos;

e, no entanto, na natureza
não encontramos uma pilha assim.

CA: Certo, a próxima é provavelmente

aquela com a maioria
de nós mais se preocupa;

e sim, a biologia sintética talvez seja
a rota mais rápida que podemos ver

em nosso futuro próximo
para nos levar a esse ponto.

NB: Sim, então pense sobre
o que isso teria significado

se, digamos, qualquer pessoa trabalhando
em sua cozinha por uma tarde

pudesse destruir uma cidade.

É difícil ver como a civilização moderna
da maneira como a conhecemos

poderia ter sobrevivido a isso.

Porque, em qualquer população
de milhões de pessoas

sempre haverá alguém que,
por qualquer motivo,

escolheria usar esse poder destrutivo.

Então, se esse resíduo apocalíptico

escolhesse destruir uma cidade ou pior,
então as cidades seriam destruídas.

CA: Então, aqui temos
outro tipo de vulnerabilidade.

Fale sobre isso.

NB: Além dessas espécies de bola escura,
que são um pouco óbvias,

que permitiriam explodir várias coisas,

outros tipos agiriam no sentido
de criar estímulos ruins

para que humanos
tomassem atitudes prejudiciais.

Então, o Tipo 2A, podemos chamá-la assim,

é para pensar sobre alguma tecnologia
que estimula que grandes poderes

usem suas quantidades maciças
de força para causar destruição.

As armas nucleares na verdade
estavam bem próximas disso, certo?

Nós gastamos mais de US$ 10 trilhões
para construir 70 mil ogivas nucleares

e colocá-las em alerta de gatilho.

E houve várias ocasiões na Guerra Fria
em que quase explodimos um ao outro.

Não que muitos achassem
que essa era uma ótima ideia,

gastar US$ 10 trilhões
para explodir uns aos outros,

mas os estímulos eram tais
que não tínhamos saída...

e poderia ter sido pior.

Imagine se tivesse havido
um primeiro ataque seguro.

Então, teria sido muito complicado,
numa situação de crise,

evitar o lançamento de todos
os mísseis nucleares deles.

Se não por outra razão, pelo medo
do outro lado também fazê-lo.

CA: A certeza da destruição mútua

manteve a Guerra Fria
relativamente estável,

e sem isso, possivelmente
não estaríamos aqui.

NB: Poderia ter sido mais instável,
e provocado outras questões tecnológicas.

Poderia ter sido mais difícil
ter tratados militares

se ao invés de armas nucleares

tivesse sido algo menor ou menos distinto.

CA: Assim como estímulos ruins
para agentes poderosos,

você também se preocupa com estímulos
ruins para todos nós no Tipo 2B, aqui.

NB: Então, aqui, nós podemos
exemplificar com o aquecimento global.

Há várias pequenas conveniências

que induzem cada um de nós a fazer coisas

que individualmente não têm
nenhum efeito significativo, certo?

Mas, se bilhões de pessoas as fazem
cumulativamente, o efeito é prejudicial.

O aquecimento global poderia
ter sido bem pior do que é.

Nós temos o parâmetro
de sensibilidade climática.

É um parâmetro que nos diz
o quão mais quente o mundo fica

ao emitirmos certa quantidade
de gases de efeito estufa.

Mas, suponha que fosse o caso

de que com o volume de gases
de efeito estufa que emitimos,

em vez da temperatura subir,

digamos, entre 3 °C e 4,5 °C até 2100,

ela subisse 15 °C ou 20 °C.

Ficaríamos numa situação muito ruim.

Ou suponha que a energia renovável
fosse bem mais difícil de produzir,

ou que tivesse mais combustíveis
fósseis sob o solo.

CA: Você não poderia argumentar
que caso o que estamos fazendo hoje

tivesse resultado na diferença de 10 °C
num período de tempo que podíamos prever,

na verdade a humanidade teria
se esforçado e feito algo sobre isso.

Somos estúpidos, mas não tanto assim.

Ou talvez sejamos.
NB: Eu não apostaria nisso.

(Risos)

Você pode imaginar outras condições.

Então...

nesse momento, é um pouco difícil
mudar para renováveis e coisas do tipo,

mas isso pode ser feito.

Mas é possível que com um tipo
de física levemente diferente,

teria sido muito mais caro
fazer coisas desse gênero.

CA: E qual é sua visão, Nick?

Acha que ao juntar tais possibilidades,

que essa humanidade que somos,
nós contamos como um mundo vulnerável?

Há uma bola da morte em nosso futuro?

NB: É difícil dizer.

Acho que é possível haver
várias bolas escuras na urna,

isso é o que parece.

Também parece haver algumas bolas douradas

que ajudariam a nos proteger
dessas bolas escuras.

E eu não sei em qual ordem elas sairão.

CA: Bem, uma possível
crítica filosófica a essa ideia

é que ela implica na visão de que o futuro
está essencialmente determinado.

Ou seja: ou essa bola está lá, ou não.

E, de certa forma, essa não é uma visão
de futuro na qual eu quero acreditar.

Quero acreditar
que o futuro é indeterminado,

que são as decisões
de hoje que determinarão

os tipos de bolas que pegaremos da urna.

NB: Bem, se nós apenas
continuarmos inventando,

eventualmente pegaremos todas as bolas.

Acho que há uma certa forma fraca
de determinismo tecnológico bem plausível,

do tipo: é improvável
que encontremos uma sociedade

que use tanto eixos de pederneira
quanto aviões a jato.

Mas podemos quase pensar sobre
tecnologia como um conjunto de recursos.

Então, a tecnologia é algo
que permite fazer várias coisas

e alcançar inúmeros efeitos no mundo.

Agora, a maneira de utilizá-la
é algo que depende da escolha humana.

Mas, pensando sobre esses três
tipos de vulnerabilidade,

eles fazem suposições bem fracas
sobre como escolheríamos utilizá-las.

A vulnerabilidade Tipo 1, de novo,
esse imenso poder destrutivo,

é uma hipótese bastante fraca

de pensar que numa população
de milhões de pessoas

somente algumas escolheriam
usá-la de maneira destrutiva.

CA: Para mim, o argumento
mais perturbador de todos

é o de que, na verdade, temos uma certa
visão do lado de dentro da urna

que nos faz perceber que é bem provável
que estejamos condenados.

Isto é, se acreditamos
no poder de aceleramento,

de que a tecnologia
inerentemente se acelera,

de que construímos ferramentas
que nos dão mais poder,

então, em algum momento,
chegaremos num estágio

no qual um indivíduo qualquer
poderá matar todo mundo,

e, por isso, parece que estamos ferrados.

Esse argumento não é bem alarmante?

NB: Bem, sim.

(Risos)

Eu acho...

É, nós obtemos cada vez mais poder,

e fica cada vez mais fácil
utilizar esses poderes,

mas também podemos inventar tecnologias
que nos ajudem a ter certo controle

de como as pessoas os utilizam.

CA: Então, falemos sobre a resposta.

Suponha que pensar sobre todas
as possibilidades que já existem...

não é só a biologia sintética,
mas a guerra cibernética,

inteligência artificial, etc...

que podem ser uma séria
ruína em nosso futuro.

Quais são as possíveis respostas?

Você também falou sobre
quatro possíveis respostas.

NB: Restringir o desenvolvimento
tecnológico não parece promissor,

se estamos falando de uma parada geral
do progresso tecnológico.

Também não acho factível ou desejável,
ainda que pudéssemos fazer isso.

Acho que pode haver várias áreas limitadas

nas quais talvez seria bom
abrandar o progresso tecnológico.

Não queremos um progresso
mais rápido das armas biológicas,

ou em, digamos, separação isotópica,

que facilitaria a criação
de armas nucleares.

CA: Eu costumava ser
totalmente a favor dessa rapidez.

Mas na verdade, eu gostaria
de discordar dela por um momento.

Apenas porque, primeiro,

se observarmos a história
das últimas décadas,

os avanços foram acelerados
na velocidade máxima,

e essa é nossa única escolha.

Mas se considerarmos a globalização
e sua rápida aceleração,

e observarmos a estratégia
de "mover depressa e quebrar tudo"

e o que aconteceu com isso,

e então observamos o potencial
da biologia sintética,

eu não sei se deveríamos
nos mover rapidamente

ou sem qualquer tipo de restrição

para um mundo onde se pode ter
uma impressora de DNA em toda casa

e laboratórios de escola de ensino médio.

Há algumas restrições, não é?

NB: Talvez a primeira parte,
sobre isso não ser factível.

Se pensarmos que seria
desejável parar isso,

há o problema da viabilidade.

Então realmente não ajuda
quando uma nação meio que...

CA: Não ajuda se uma nação o faz,

mas nós tivemos tratados antes.

Foi realmente assim
que sobrevivemos à ameaça nuclear,

nos expondo e enfrentando
o doloroso processo de negociação.

Só me pergunto se a lógica não é que nós,
como um assunto de prioridade global,

não deveríamos tentar, por exemplo,
começar a negociar agora

regras bem estritas sobre até onde
a biopesquisa com sintéticos pode ir,

porque isso não é algo
que se queira democratizar, certo?

NB: Eu concordo plenamente com isso...

que seria desejável, por exemplo,

talvez ter máquinas de síntese de DNA,

não como produto no qual todo laboratório
teria seu próprio dispositivo,

mas talvez como um serviço.

Talvez poderia haver quatro
ou cinco lugares no mundo

para onde se mandasse um planta digital
e o DNA fosse enviado de volta.

E então, teríamos a habilidade,

se um dia realmente parecesse necessário,

de ter um conjunto determinado
de pontos de bloqueio.

Então, acho que devemos olhar
para aquelas oportunidades especiais,

nas quais podemos
ter um controle mais rígido.

CA: Sua crença é, fundamentalmente,

de que não seremos bem-sucedidos
ao ficarmos só na retaguarda.

Em algum lugar, alguém,
na Coreia do Norte, quem sabe?

Alguém no mundo vai descobrir
esse conhecimento, se ele existir.

NB: Isso parece plausível
sob as condições atuais.

E não se trata só da biologia sintética;

qualquer tipo de mudança
nova e profunda no mundo

poderia vir a ser uma bola escura.

CA: Vamos olhar outra possível resposta.

NB: Considero que isso
também tenha potencial limitado.

Então, com a vulnerabilidade
de Tipo 1, de novo,

se pudermos reduzir o número
de pessoas que são incentivadas

a destruir o mundo,

as que têm acesso e meios
para destruí-lo, isso seria bom.

CA: Nesta imagem você imagina
esses drones viajando pelo mundo

com reconhecimento facial.

Quando reconhece alguém que demonstra
sinais de comportamento sociopata,

o drone o "banha com amor" e o "conserta".

NB: Acho que é tipo uma figura híbrida.

Eliminar pode significar
encarcerar ou matar,

ou persuadir alguém a ter
uma visão melhor do mundo.

Mas o ponto é,

suponha que você fosse muito
bem-sucedido nisso,

e reduzisse o número de tais
indivíduos pela metade.

E se quiser fazer isso pela persuasão,

está competindo contra
todas as outras forças de poder

que tentam persuadir as pessoas:
política, religião, sistemas de educação.

Mas, supondo que os reduza pela metade,

não acho que o risco seria
reduzido pela metade.

Talvez por 5% ou 10%.

CA: Não está recomendado que apostemos
o futuro da humanidade na resposta dois.

NB: Acho muito bom tentar
dissuadir e persuadir as pessoas,

mas não deveríamos depender disso
como nossa única salvaguarda.

CA: E quanto à três?

NB: Acho que há dois métodos gerais

que podemos usar para alcançar
a habilidade de estabilizar o mundo

contra o espectro total
das possíveis vulnerabilidades.

E provavelmente precisaríamos de ambos.

Então, um é uma habilidade
extremamente eficaz

de fazer policiamento preventivo,
com a possibilidade de interceptação.

Se alguém começar a fazer algo perigoso,

podemos interceptá-lo
em tempo real, e pará-lo.

Assim, isso iria requerer
vigilância onipresente:

todo mundo sendo monitorado o tempo todo.

CA: É basicamente o filme
"Minority Report - A Nova Lei".

NB: Você talvez tivesse algoritmos de IA,

grandes centros de liberdade
que ficariam revendo isso, etc.

CA: Sabe que a vigilância das massas
não é muito popular hoje?

(Risos)

NB: Bem, sobre o dispositivo da figura,

imagine um tipo de colar
que teríamos que usar o tempo todo

com câmeras multidirecionais.

Mas, para ficar mais palatável,

vamos chamá-lo de algo do tipo
"etiqueta da liberdade".

(Risos)

CA: Tudo bem.

Essa é a conversa, amigos,
e por isso é tão intrigante.

NB: Na verdade, há outra
conversa enorme sobre isso

paralelamente à nossa, claro.

Há problemas enormes
e riscos sobre isso, né?

Nós podemos voltar a isso.

Então a a outra capacidade
final de estabilização geral

está obstruindo uma outra
lacuna de governança.

A vigilância seria um tipo de lacuna
de governança a um micronível,

a ponto de impedir todo mundo
de fazer qualquer coisa altamente ilegal.

Então, há a lacuna de governança
correspondente a nível global.

Precisaríamos da habilidade
e da confiabilidade

para prevenir os piores tipos de falhas
de coordenação global,

e evitar guerras entre grandes poderes,

corridas armamentistas,

problemas comuns de cataclismo...

para poder lidar com
as vulnerabilidades do Tipo 2A.

CA: Governança global é um termo
bem fora de moda agora,

mas você poderia dizer que,
ao longo da história da humanidade,

a cada estágio de crescimento
de poder tecnológico,

as pessoas reorganizaram
e, de certa forma, centralizaram o poder?

Assim, por exemplo, quando
um bando itinerante de criminosos

tentasse dominar uma sociedade,

a resposta de uma nação-estado seria

centralizar a força policial ou militar
e dizer: "Vocês não podem fazer isso".

Talvez a lógica de que uma única pessoa
ou um único grupo fosse capaz

de assumir o controle da humanidade
significa que em algum ponto

teremos que considerar isso, não?

NB: É verdade que a escala
de organização política aumentou

através do curso da história humana.

Costumava ser um grupo
de caçadores-coletores,

então uma chefia,
depois cidades-estados, e nações,

agora há organizações
internacionais, e por aí vai.

De novo, quero ter a chance de enfatizar
que obviamente há grandes desvantagens

e, certamente, riscos concretos,

tanto para a vigilância de massa
quanto para a governança global.

Só estou apontando que, se tivermos sorte,

o mundo poderia ser tal
que essas seriam as únicas formas

de sobreviver a uma bola escura.

CA: A lógica dessa teoria,

me parece,

é a de que temos que reconhecer
que não podemos ter tudo.

Que, assim,

esse "sonho ingênuo"
que muitos de nós tínhamos

de que a tecnologia sempre seria
uma força para o bem,

sempre indo, sem parar,
o mais rápido que pudesse,

sem prestar atenção
para certas consequências,

isso de fato não é uma opção.

Nós podemos ter isso,

mas aí teremos que aceitar outras
coisas desconfortáveis inerentes a isso

e entrar numa corrida armamentista
contra nós mesmos,

na qual, se quisermos o poder,
precisaremos descobrir como limitá-lo.

NB: Acredito que essa seja uma opção,

e bem tentadora, no sentido de que é
a mais fácil e que pode dar certo,

mas significa, basicamente, que ficamos
vulneráveis a extrair uma bola escura.

Acho que com certa coordenação,

se resolvêssemos esse problema
de micro e macrogovernança,

então poderíamos extrair
todas as bolas da urna

e nos beneficiaríamos grandemente.

CA: Bem, se estamos vivendo
em uma simulação, isso importa?

Nós apenas reiniciaríamos.

(Risos)

Eu não esperava por isso.

CA: E qual a sua visão?

Encaixando todos os pedaços,
é provável que estejamos condenados?

(Risos)

Adoro quando as pessoas riem
quando você pergunta isso.

NB: Em um nível individual,

parecemos condenados de qualquer jeito
pela questão da linha do tempo,

já que estamos apodrecendo,
envelhecendo, e tudo isso, não é?

(Risos)

De fato, é um pouco complexo.

Para prever uma probabilidade,
primeiro: de quem estamos falando?

Um idoso, provavelmente
morrerá de causas naturais,

alguém bem jovem ainda terá uns 100 anos;
a probabilidade dependerá do receptor.

E então, o limite, o que contaria
como a devastação da civilização?

No artigo eu não preciso
de uma catástrofe existencial

para que se conte como tal.

É só uma questão de definição,
digamos, um bilhão de mortos,

ou uma redução do PIB mundial de 50%;

mas dependendo do que coloca como limite,
a estimativa da probabilidade é diferente.

Mas acho que você poderia me menosprezar
dizendo que sou um otimista assustado.

(Risos)

CA: Você é um otimista assustado,

e acho que acabou de criar
um grande número de outras...

pessoas assustadas.

(Risos)

NB: Dentro da simulação.
CA: Dentro de uma simulação!

Nick Bostrom, sua mente me fascina,

muito obrigado por assustar
todos nós imensamente.

(Aplausos)