Chris Anderson: Nick Bostrom.
Bem, você já nos apresentou muitas ideias loucas por aí.
Acho que, há algumas décadas,
você argumentou sobre a possibilidade de vivermos numa simulação,
ou talvez a probabilidade disso.
Mais recentemente,
ilustrou os mais vívidos exemplos de como a inteligência artificial
poderia tomar um caminho terrível.
E agora, este ano,
você está prestes a publicar
um artigo que apresenta algo chamado de "A Hipótese do Mundo Vulnerável".
Nosso trabalho esta noite é de fornecer o guia ilustrado para ela.
Então, vamos fazê-lo.
O que é essa hipótese?
Nick Bostrom: É a de tentar pensar
sobre uma espécie de característica estrutural da atual condição humana.
Você gosta da metáfora da urna,
então eu a utilizarei na explicação.
Imagine uma grande urna preenchida por bolas
que representam ideias, métodos e possíveis tecnologias.
Você pode pensar sobre a história da criatividade humana
como o processo de enfiar a mão nessa urna e tirar uma bola após a outra,
e o efeito em rede até agora tem sido muito benéfico, certo?
Nós extraímos muitíssimas bolas brancas,
e algumas com tons cinzas, bênçãos misturadas.
Nós ainda não tiramos a bola completamente escura...
uma tecnologia que invariavelmente destrói a civilização que a descobre.
Então, o artigo tenta imaginar o que seria tal bola completamente escura.
CA: Então, você define a bola
como aquela que inevitavelmente provoca a destruição da civilização.
NB: A não ser que abandonemos o que chamo de condição semi-anárquica padrão.
Mas assim, através de um padrão.
CA: Você argumenta convincentemente, mostrando alguns tipos de contra-exemplos
nos quais acredita que, até hoje, na verdade tivemos sorte,
pois possivelmente já tiramos essa bola devastadora
sem termos nos dado conta disso.
Há uma citação; o que ela significa?
[O progresso da mecânica trará a Bomba-H]
NB: Acho que ela quer ilustrar
a dificuldade em prever
até onde as descobertas básicas podem nos levar.
Nós simplesmente não temos esse tipo de capacidade.
Porque nos tornamos muito bons em tirar bolas da urna,
mas não temos de fato a capacidade de colocá-las de volta.
Podemos inventar algo, mas não "desinventar".
Sendo assim, nossa estratégia
é esperar que não haja nenhuma bola escura na urna.
CA: Então, uma vez que está fora, está fora, e não se pode colocar de volta,
e você acha que temos tido sorte.
Fale sobre alguns desses exemplos.
Você menciona diferentes tipos de vulnerabilidade.
NB: O tipo mais fácil de entender
é uma tecnologia que facilita muito
causar enormes quantidades de destruição.
A biologia sintética pode ser uma fonte fértil desse tipo de bola escura,
mas há muitas outras coisas possíveis que poderíamos...
pense na geoengenharia, que é ótima.
Poderíamos usá-la no combate ao aquecimento global,
mas também não é ideal facilitar esse acesso,
pois não queremos que alguém e sua avó
tenham a habilidade de alterar radicalmente o clima da Terra.
Ou talvez os drones autônomos letais,
produzidos em massa; enxames de robôs assassinos do tamanho de mosquitos.
A nanotecnologia, a inteligência artificial geral.
CA: Você argumenta no artigo que foi questão de sorte quando descobrimos
que o poder nuclear podia criar bombas,
porque poderia ter sido o caso
de podermos fazer bombas
com recursos muito mais fáceis, acessíveis a qualquer um.
NB: Sim, então, pense na década de 1930,
na qual, pela primeira vez, nós fizemos grandes descobertas na física nuclear,
e um gênio descobre que é possível criar uma reação nuclear em cadeia,
e percebe que isso pode gerar uma bomba.
E então, trabalhamos um pouco mais,
e descobrimos que para fazer uma bomba nuclear é necessário
ter elementos como urânio ou plutônio altamente enriquecidos,
que são bem difíceis de se obter.
É preciso o uso de ultracentrifugadoras,
de reatores e de quantidades imensas de energia.
Mas suponha que, em vez disso,
houvesse uma maneira mais fácil de desbloquear a energia daquele átomo.
Que, talvez, ao cozinhar areia no micro-ondas, ou algo do tipo,
seri possível ter criado uma detonação nuclear.
Hoje, sabemos que isso é fisicamente impossível;
mas, antes de fazer o cálculo de física, como poderíamos saber que seria assim?
CA: Mas você não poderia argumentar
que para a vida se desenvolver na Terra
isso implicou um tipo de ambiente estável, e que se fosse possível
criar de forma relativamente fácil reações nucleares maciças,
a Terra nunca teria sido estável, e nós nem estaríamos aqui?
NB: Sim, a não ser que isso envolvesse algo que é fácil fazer de propósito,
mas que não poderia acontecer aleatoriamente.
Como coisas que fazemos com facilidade, por exemplo: empilhar dez blocos;
e, no entanto, na natureza não encontramos uma pilha assim.
CA: Certo, a próxima é provavelmente
aquela com a maioria de nós mais se preocupa;
e sim, a biologia sintética talvez seja a rota mais rápida que podemos ver
em nosso futuro próximo para nos levar a esse ponto.
NB: Sim, então pense sobre o que isso teria significado
se, digamos, qualquer pessoa trabalhando em sua cozinha por uma tarde
pudesse destruir uma cidade.
É difícil ver como a civilização moderna da maneira como a conhecemos
poderia ter sobrevivido a isso.
Porque, em qualquer população de milhões de pessoas
sempre haverá alguém que, por qualquer motivo,
escolheria usar esse poder destrutivo.
Então, se esse resíduo apocalíptico
escolhesse destruir uma cidade ou pior, então as cidades seriam destruídas.
CA: Então, aqui temos outro tipo de vulnerabilidade.
Fale sobre isso.
NB: Além dessas espécies de bola escura, que são um pouco óbvias,
que permitiriam explodir várias coisas,
outros tipos agiriam no sentido de criar estímulos ruins
para que humanos tomassem atitudes prejudiciais.
Então, o Tipo 2A, podemos chamá-la assim,
é para pensar sobre alguma tecnologia que estimula que grandes poderes
usem suas quantidades maciças de força para causar destruição.
As armas nucleares na verdade estavam bem próximas disso, certo?
Nós gastamos mais de US$ 10 trilhões para construir 70 mil ogivas nucleares
e colocá-las em alerta de gatilho.
E houve várias ocasiões na Guerra Fria em que quase explodimos um ao outro.
Não que muitos achassem que essa era uma ótima ideia,
gastar US$ 10 trilhões para explodir uns aos outros,
mas os estímulos eram tais que não tínhamos saída...
e poderia ter sido pior.
Imagine se tivesse havido um primeiro ataque seguro.
Então, teria sido muito complicado, numa situação de crise,
evitar o lançamento de todos os mísseis nucleares deles.
Se não por outra razão, pelo medo do outro lado também fazê-lo.
CA: A certeza da destruição mútua
manteve a Guerra Fria relativamente estável,
e sem isso, possivelmente não estaríamos aqui.
NB: Poderia ter sido mais instável, e provocado outras questões tecnológicas.
Poderia ter sido mais difícil ter tratados militares
se ao invés de armas nucleares
tivesse sido algo menor ou menos distinto.
CA: Assim como estímulos ruins para agentes poderosos,
você também se preocupa com estímulos ruins para todos nós no Tipo 2B, aqui.
NB: Então, aqui, nós podemos exemplificar com o aquecimento global.
Há várias pequenas conveniências
que induzem cada um de nós a fazer coisas
que individualmente não têm nenhum efeito significativo, certo?
Mas, se bilhões de pessoas as fazem cumulativamente, o efeito é prejudicial.
O aquecimento global poderia ter sido bem pior do que é.
Nós temos o parâmetro de sensibilidade climática.
É um parâmetro que nos diz o quão mais quente o mundo fica
ao emitirmos certa quantidade de gases de efeito estufa.
Mas, suponha que fosse o caso
de que com o volume de gases de efeito estufa que emitimos,
em vez da temperatura subir,
digamos, entre 3 °C e 4,5 °C até 2100,
ela subisse 15 °C ou 20 °C.
Ficaríamos numa situação muito ruim.
Ou suponha que a energia renovável fosse bem mais difícil de produzir,
ou que tivesse mais combustíveis fósseis sob o solo.
CA: Você não poderia argumentar que caso o que estamos fazendo hoje
tivesse resultado na diferença de 10 °C num período de tempo que podíamos prever,
na verdade a humanidade teria se esforçado e feito algo sobre isso.
Somos estúpidos, mas não tanto assim.
Ou talvez sejamos. NB: Eu não apostaria nisso.
(Risos)
Você pode imaginar outras condições.
Então...
nesse momento, é um pouco difícil mudar para renováveis e coisas do tipo,
mas isso pode ser feito.
Mas é possível que com um tipo de física levemente diferente,
teria sido muito mais caro fazer coisas desse gênero.
CA: E qual é sua visão, Nick?
Acha que ao juntar tais possibilidades,
que essa humanidade que somos, nós contamos como um mundo vulnerável?
Há uma bola da morte em nosso futuro?
NB: É difícil dizer.
Acho que é possível haver várias bolas escuras na urna,
isso é o que parece.
Também parece haver algumas bolas douradas
que ajudariam a nos proteger dessas bolas escuras.
E eu não sei em qual ordem elas sairão.
CA: Bem, uma possível crítica filosófica a essa ideia
é que ela implica na visão de que o futuro está essencialmente determinado.
Ou seja: ou essa bola está lá, ou não.
E, de certa forma, essa não é uma visão de futuro na qual eu quero acreditar.
Quero acreditar que o futuro é indeterminado,
que são as decisões de hoje que determinarão
os tipos de bolas que pegaremos da urna.
NB: Bem, se nós apenas continuarmos inventando,
eventualmente pegaremos todas as bolas.
Acho que há uma certa forma fraca de determinismo tecnológico bem plausível,
do tipo: é improvável que encontremos uma sociedade
que use tanto eixos de pederneira quanto aviões a jato.
Mas podemos quase pensar sobre tecnologia como um conjunto de recursos.
Então, a tecnologia é algo que permite fazer várias coisas
e alcançar inúmeros efeitos no mundo.
Agora, a maneira de utilizá-la é algo que depende da escolha humana.
Mas, pensando sobre esses três tipos de vulnerabilidade,
eles fazem suposições bem fracas sobre como escolheríamos utilizá-las.
A vulnerabilidade Tipo 1, de novo, esse imenso poder destrutivo,
é uma hipótese bastante fraca
de pensar que numa população de milhões de pessoas
somente algumas escolheriam usá-la de maneira destrutiva.
CA: Para mim, o argumento mais perturbador de todos
é o de que, na verdade, temos uma certa visão do lado de dentro da urna
que nos faz perceber que é bem provável que estejamos condenados.
Isto é, se acreditamos no poder de aceleramento,
de que a tecnologia inerentemente se acelera,
de que construímos ferramentas que nos dão mais poder,
então, em algum momento, chegaremos num estágio
no qual um indivíduo qualquer poderá matar todo mundo,
e, por isso, parece que estamos ferrados.
Esse argumento não é bem alarmante?
NB: Bem, sim.
(Risos)
Eu acho...
É, nós obtemos cada vez mais poder,
e fica cada vez mais fácil utilizar esses poderes,
mas também podemos inventar tecnologias que nos ajudem a ter certo controle
de como as pessoas os utilizam.
CA: Então, falemos sobre a resposta.
Suponha que pensar sobre todas as possibilidades que já existem...
não é só a biologia sintética, mas a guerra cibernética,
inteligência artificial, etc...
que podem ser uma séria ruína em nosso futuro.
Quais são as possíveis respostas?
Você também falou sobre quatro possíveis respostas.
NB: Restringir o desenvolvimento tecnológico não parece promissor,
se estamos falando de uma parada geral do progresso tecnológico.
Também não acho factível ou desejável, ainda que pudéssemos fazer isso.
Acho que pode haver várias áreas limitadas
nas quais talvez seria bom abrandar o progresso tecnológico.
Não queremos um progresso mais rápido das armas biológicas,
ou em, digamos, separação isotópica,
que facilitaria a criação de armas nucleares.
CA: Eu costumava ser totalmente a favor dessa rapidez.
Mas na verdade, eu gostaria de discordar dela por um momento.
Apenas porque, primeiro,
se observarmos a história das últimas décadas,
os avanços foram acelerados na velocidade máxima,
e essa é nossa única escolha.
Mas se considerarmos a globalização e sua rápida aceleração,
e observarmos a estratégia de "mover depressa e quebrar tudo"
e o que aconteceu com isso,
e então observamos o potencial da biologia sintética,
eu não sei se deveríamos nos mover rapidamente
ou sem qualquer tipo de restrição
para um mundo onde se pode ter uma impressora de DNA em toda casa
e laboratórios de escola de ensino médio.
Há algumas restrições, não é?
NB: Talvez a primeira parte, sobre isso não ser factível.
Se pensarmos que seria desejável parar isso,
há o problema da viabilidade.
Então realmente não ajuda quando uma nação meio que...
CA: Não ajuda se uma nação o faz,
mas nós tivemos tratados antes.
Foi realmente assim que sobrevivemos à ameaça nuclear,
nos expondo e enfrentando o doloroso processo de negociação.
Só me pergunto se a lógica não é que nós, como um assunto de prioridade global,
não deveríamos tentar, por exemplo, começar a negociar agora
regras bem estritas sobre até onde a biopesquisa com sintéticos pode ir,
porque isso não é algo que se queira democratizar, certo?
NB: Eu concordo plenamente com isso...
que seria desejável, por exemplo,
talvez ter máquinas de síntese de DNA,
não como produto no qual todo laboratório teria seu próprio dispositivo,
mas talvez como um serviço.
Talvez poderia haver quatro ou cinco lugares no mundo
para onde se mandasse um planta digital e o DNA fosse enviado de volta.
E então, teríamos a habilidade,
se um dia realmente parecesse necessário,
de ter um conjunto determinado de pontos de bloqueio.
Então, acho que devemos olhar para aquelas oportunidades especiais,
nas quais podemos ter um controle mais rígido.
CA: Sua crença é, fundamentalmente,
de que não seremos bem-sucedidos ao ficarmos só na retaguarda.
Em algum lugar, alguém, na Coreia do Norte, quem sabe?
Alguém no mundo vai descobrir esse conhecimento, se ele existir.
NB: Isso parece plausível sob as condições atuais.
E não se trata só da biologia sintética;
qualquer tipo de mudança nova e profunda no mundo
poderia vir a ser uma bola escura.
CA: Vamos olhar outra possível resposta.
NB: Considero que isso também tenha potencial limitado.
Então, com a vulnerabilidade de Tipo 1, de novo,
se pudermos reduzir o número de pessoas que são incentivadas
a destruir o mundo,
as que têm acesso e meios para destruí-lo, isso seria bom.
CA: Nesta imagem você imagina esses drones viajando pelo mundo
com reconhecimento facial.
Quando reconhece alguém que demonstra sinais de comportamento sociopata,
o drone o "banha com amor" e o "conserta".
NB: Acho que é tipo uma figura híbrida.
Eliminar pode significar encarcerar ou matar,
ou persuadir alguém a ter uma visão melhor do mundo.
Mas o ponto é,
suponha que você fosse muito bem-sucedido nisso,
e reduzisse o número de tais indivíduos pela metade.
E se quiser fazer isso pela persuasão,
está competindo contra todas as outras forças de poder
que tentam persuadir as pessoas: política, religião, sistemas de educação.
Mas, supondo que os reduza pela metade,
não acho que o risco seria reduzido pela metade.
Talvez por 5% ou 10%.
CA: Não está recomendado que apostemos o futuro da humanidade na resposta dois.
NB: Acho muito bom tentar dissuadir e persuadir as pessoas,
mas não deveríamos depender disso como nossa única salvaguarda.
CA: E quanto à três?
NB: Acho que há dois métodos gerais
que podemos usar para alcançar a habilidade de estabilizar o mundo
contra o espectro total das possíveis vulnerabilidades.
E provavelmente precisaríamos de ambos.
Então, um é uma habilidade extremamente eficaz
de fazer policiamento preventivo, com a possibilidade de interceptação.
Se alguém começar a fazer algo perigoso,
podemos interceptá-lo em tempo real, e pará-lo.
Assim, isso iria requerer vigilância onipresente:
todo mundo sendo monitorado o tempo todo.
CA: É basicamente o filme "Minority Report - A Nova Lei".
NB: Você talvez tivesse algoritmos de IA,
grandes centros de liberdade que ficariam revendo isso, etc.
CA: Sabe que a vigilância das massas não é muito popular hoje?
(Risos)
NB: Bem, sobre o dispositivo da figura,
imagine um tipo de colar que teríamos que usar o tempo todo
com câmeras multidirecionais.
Mas, para ficar mais palatável,
vamos chamá-lo de algo do tipo "etiqueta da liberdade".
(Risos)
CA: Tudo bem.
Essa é a conversa, amigos, e por isso é tão intrigante.
NB: Na verdade, há outra conversa enorme sobre isso
paralelamente à nossa, claro.
Há problemas enormes e riscos sobre isso, né?
Nós podemos voltar a isso.
Então a a outra capacidade final de estabilização geral
está obstruindo uma outra lacuna de governança.
A vigilância seria um tipo de lacuna de governança a um micronível,
a ponto de impedir todo mundo de fazer qualquer coisa altamente ilegal.
Então, há a lacuna de governança correspondente a nível global.
Precisaríamos da habilidade e da confiabilidade
para prevenir os piores tipos de falhas de coordenação global,
e evitar guerras entre grandes poderes,
corridas armamentistas,
problemas comuns de cataclismo...
para poder lidar com as vulnerabilidades do Tipo 2A.
CA: Governança global é um termo bem fora de moda agora,
mas você poderia dizer que, ao longo da história da humanidade,
a cada estágio de crescimento de poder tecnológico,
as pessoas reorganizaram e, de certa forma, centralizaram o poder?
Assim, por exemplo, quando um bando itinerante de criminosos
tentasse dominar uma sociedade,
a resposta de uma nação-estado seria
centralizar a força policial ou militar e dizer: "Vocês não podem fazer isso".
Talvez a lógica de que uma única pessoa ou um único grupo fosse capaz
de assumir o controle da humanidade significa que em algum ponto
teremos que considerar isso, não?
NB: É verdade que a escala de organização política aumentou
através do curso da história humana.
Costumava ser um grupo de caçadores-coletores,
então uma chefia, depois cidades-estados, e nações,
agora há organizações internacionais, e por aí vai.
De novo, quero ter a chance de enfatizar que obviamente há grandes desvantagens
e, certamente, riscos concretos,
tanto para a vigilância de massa quanto para a governança global.
Só estou apontando que, se tivermos sorte,
o mundo poderia ser tal que essas seriam as únicas formas
de sobreviver a uma bola escura.
CA: A lógica dessa teoria,
me parece,
é a de que temos que reconhecer que não podemos ter tudo.
Que, assim,
esse "sonho ingênuo" que muitos de nós tínhamos
de que a tecnologia sempre seria uma força para o bem,
sempre indo, sem parar, o mais rápido que pudesse,
sem prestar atenção para certas consequências,
isso de fato não é uma opção.
Nós podemos ter isso,
mas aí teremos que aceitar outras coisas desconfortáveis inerentes a isso
e entrar numa corrida armamentista contra nós mesmos,
na qual, se quisermos o poder, precisaremos descobrir como limitá-lo.
NB: Acredito que essa seja uma opção,
e bem tentadora, no sentido de que é a mais fácil e que pode dar certo,
mas significa, basicamente, que ficamos vulneráveis a extrair uma bola escura.
Acho que com certa coordenação,
se resolvêssemos esse problema de micro e macrogovernança,
então poderíamos extrair todas as bolas da urna
e nos beneficiaríamos grandemente.
CA: Bem, se estamos vivendo em uma simulação, isso importa?
Nós apenas reiniciaríamos.
(Risos)
Eu não esperava por isso.
CA: E qual a sua visão?
Encaixando todos os pedaços, é provável que estejamos condenados?
(Risos)
Adoro quando as pessoas riem quando você pergunta isso.
NB: Em um nível individual,
parecemos condenados de qualquer jeito pela questão da linha do tempo,
já que estamos apodrecendo, envelhecendo, e tudo isso, não é?
(Risos)
De fato, é um pouco complexo.
Para prever uma probabilidade, primeiro: de quem estamos falando?
Um idoso, provavelmente morrerá de causas naturais,
alguém bem jovem ainda terá uns 100 anos; a probabilidade dependerá do receptor.
E então, o limite, o que contaria como a devastação da civilização?
No artigo eu não preciso de uma catástrofe existencial
para que se conte como tal.
É só uma questão de definição, digamos, um bilhão de mortos,
ou uma redução do PIB mundial de 50%;
mas dependendo do que coloca como limite, a estimativa da probabilidade é diferente.
Mas acho que você poderia me menosprezar dizendo que sou um otimista assustado.
(Risos)
CA: Você é um otimista assustado,
e acho que acabou de criar um grande número de outras...
pessoas assustadas.
(Risos)
NB: Dentro da simulação. CA: Dentro de uma simulação!
Nick Bostrom, sua mente me fascina,
muito obrigado por assustar todos nós imensamente.
(Aplausos)