Chris Anderson: Nick Bostrom.
Já nos deste muitas ideias incríveis.
Penso que aqui há décadas
defendeste a ideia de que podemos estar a viver numa simulação,
ou provavelmente, estávamos.
Mais recentemente,
descreveste os exemplos mais impressionantes
de como a inteligência artificial poderá vir a gerar resultados terríveis.
E este ano, estás prestes a publicar
um artigo que apresenta uma coisa chamada a hipótese do mundo vulnerável.
O nosso papel esta noite é apresentar um guia ilustrado sobre esse tema.
Vamos a isso.
Que hipótese é essa?
Nick Bostrom: É uma tentativa de reflexão
sobre uma característica estrutural da atual condição humana.
Tu gostas da metáfora da urna,
por isso vou usá-la para explicar melhor.
Imagina uma grande urna cheia de bolas,
que representam ideias, métodos, possíveis tecnologias.
Podes pensar na história da criatividade humana
como o processo de chegar a esta urna e ir tirando uma bola atrás de outra.
Até aqui, o efeito tem sido muito benéfico, não é?
Já extraímos uma grande quantidade de bolas brancas,
algumas de vários tons de cinzento, com prós e contras.
Até agora não tirámos a bola preta
— uma tecnologia que destrua fatalmente a civilização que a encontrar.
O artigo procura refletir no que será essa bola preta.
CA: Então, defines essa bola
como aquela que, inevitavelmente, provocará a destruição da civilização.
NB: A não ser que abandonemos aquilo a que chamo
a situação semianárquica, por defeito
mas, de qualquer modo, por defeito.
CA: Argumentas de forma convincente apresentando contraexemplos
de que, segundo crês, temos tido muita sorte, até agora,
em que podíamos ter tirado essa bola mortífera
sem sequer darmos por isso.
O que é esta citação?
["O Progresso Contínuo na Mecânica Celestial produzirá a bomba H"]
NB: Penso que pretende ilustrar
a dificuldade de prever aonde nos levarão as descobertas elementares.
Não temos essa capacidade.
Porque tornámo-nos muito bons a extrair as bolas,
mas não temos a capacidade de voltar a pôr a bola na urna.
Podemos inventar, mas não podemos des-inventar.
A nossa estratégia atual
é ter a esperança de que não haja nenhuma bola preta na urna.
CA: Depois de aparecer, está cá fora e não podemos voltar a pô-la lá dentro
e tu pensas que temos tido sorte.
Fala-nos de alguns desses exemplos.
Falas de diferentes tipos de vulnerabilidade.
NB: O tipo mais fácil de perceber
é uma tecnologia que torna muito fácil uma destruição maciça.
A biologia sintética pode ser uma fonte fecunda duma bola preta,
mas há muitas outras coisas possíveis
— pensa na geo-engenharia, é genial, não é?
Podemos combater o aquecimento global,
mas não queremos que seja demasiado fácil,
não queremos que uma pessoa qualquer e a sua avó
possam alterar radicalmente o clima da Terra.
Ou os "drones" autónomos mortíferos, enxames de robôs assassinos
do tamanho de mosquitos e produzidos em massa.
A nanotecnologia, a inteligência artificial geral.
CA: Defendes nesse artigo
que foi só por sorte — quando descobrimos
que a energia nuclear podia criar uma bomba —
que não criámos uma bomba
com recursos muito mais simples, acessíveis a toda a gente.
NB: Sim, pensa nos anos 30
em que, pela primeira vez,
fizemos descobertas revolucionárias na física nuclear.
Houve um génio que descobriu ser possível criar uma reação nuclear em cadeia
e depois percebeu-se que isso podia levar à bomba.
E continuámos a trabalhar.
Acontece que o necessário para fazer uma bomba nuclear
é urânio enriquecido ou plutónio,
que são materiais muito difíceis de obter.
São precisos ultracentrifugadores,
são precisos reatores, quantidades enormes de energia.
Mas suponhamos que, em vez disso,
tivesse havido uma forma fácil de libertar a energia do átomo.
Talvez cozendo areia no micro-ondas
ou qualquer coisa assim,
pudéssemos ter criado uma explosão nuclear.
Sabemos que isso é fisicamente impossível.
Mas antes de estudarmos a física relevante
como é que sabíamos o que iria acontecer?
CA: Podias alegar que, para a vida evoluir na Terra
era indispensável um ambiente estável
e que, se fosse possível criar grandes reações nucleares
com relativa facilidade,
a Terra nunca teria estado estável e nós não estaríamos aqui.
NB: Sim, a não ser que houvesse qualquer coisa fácil de fazer
mas isso não aconteceria por acaso.
Coisas fáceis de fazer,
como empilhar 10 blocos uns por cima dos outros
mas, na Natureza, não encontramos uma pilha de 10 blocos.
CA: Ok, isto provavelmente é aquilo que mais preocupa muitos de nós
e, sim, a biologia sintética talvez seja o caminho mais rápido
que, podemos prever, pode levar-nos lá num futuro próximo.
NB: Pois é, pensa no que significaria
se alguém, a trabalhar na cozinha, durante uma tarde,
pudesse destruir uma cidade.
É difícil ver como a civilização moderna, tal como a conhecemos,
teria sobrevivido a isso.
Porque, em qualquer população de um milhão de pessoas,
haverá sempre alguém, por qualquer razão que seja,
que pode decidir usar esse poder destrutivo.
Assim, se esse resíduo apocalíptico
decidir destruir uma cidade ou, pior,
as cidades serão destruídas.
CA: Esse é outro tipo de vulnerabilidade.
Fala-nos disso.
NB: Para além destes tipos óbvios de bolas pretas
isso tornaria possível fazer explodir muitas coisas.
Outros tipos agiriam criando maus incentivos
para os seres humanos fazerem coisas prejudiciais.
O Tipo-2a, podemos chamar-lhe assim,
é pensar nalguma tecnologia que incentive as grandes potências
a usar a sua quantidade enorme de força para provocar a destruição.
As armas nucleares estiveram muito perto disso, não foi?
Gastámos mais de 10 biliões de dólares
para fabricar 70 000 ogivas nucleares
e colocá-las em alerta imediato.
Houve várias ocasiões, durante a Guerra Fria,
em que quase nos explodimos mutuamente.
Não porque muita gente achasse que seria boa ideia
gastar 10 biliões de dólares para nos fazermos explodir,
mas porque os incentivos eram enormes
— podia ter sido pior.
Imagina se tivesse havido um primeiro ataque.
Podia ter sido muito complicado, numa situação de crise,
conseguirmos abstermo-nos de lançar todos os mísseis nucleares.
Quanto mais não fosse, porque recearíamos que o outro lado o fizesse.
CA: Claro, uma destruição mútua garantida
manteve a Guerra Fria relativamente estável.
Sem isso, podíamos não estar aqui agora.
NB: Podia ter sido mais instável do que foi.
Podia haver outras propriedades da tecnologia.
Podia ter sido mais difícil ter tratados sobre armamento
se, em vez de armas nucleares,
fosse uma coisa mais pequena ou menos impressionante.
CA: Tal como com os maus incentivos para atores poderosos,
também te preocupas
com os maus incentivos para todos nós, o Tipo-2b.
NB: Sim, podemos agarrar no caso do aquecimento global.
Há muitos pequenos confortos
que levam cada um de nós a fazer coisas
que, individualmente, não têm efeito significativo.
Mas, se milhares de milhões de pessoas o fizerem,
cumulativamente, o efeito é destruidor.
O aquecimento global podia ter sido muito pior do que é.
Temos o parâmetro de sensibilidade climática.
É um parâmetro que indica quanto é o aquecimento
se emitirmos uma certa quantidade de gases com efeito de estufa.
Mas supõe que se dava o caso
de que, com a quantidade de gases com efeito de estufa que emitimos,
em vez de a temperatura subir
entre 3 a 4,5 graus até 2100,
imagina que subiria entre 15 ou 20 graus.
Aí estaríamos numa situação muito má.
Supõe que as energias renováveis tinham sido muito mais complexas
ou que tinha havido mais combustíveis fósseis no terreno.
CA: Não podias argumentar que,
se aquilo que estamos a fazer hoje
tivesse resultado em 10 graus de diferença no período de tempo que podemos ver,
a humanidade ter-se-ia alarmado e teria feito alguma coisa.
Somos estúpidos, mas não somos assim tão estúpidos.
Ou talvez sejamos.
NB: Não apostaria nisso.
(Risos)
Podemos imaginar outras opções.
Neste momento, é um pouco difícil mudar para as renováveis,
mas pode ser feito.
Podia ter sido, com uma física um pouco diferente,
teria sido muito mais dispendioso fazer essas coisas.
CA: Qual é a tua opinião, Nick?
Achas que, juntando todas estas possibilidades.
esta humanidade que somos,
somos um mundo vulnerável?
Haverá uma bola mortífera no nosso futuro?
NB: É difícil dizer.
Ou seja, penso que pode haver várias bolas pretas na urna,
é o que parece.
Também pode haver algumas bolas douradas
que nos ajudarão a proteger-nos das bolas pretas.
Mas não sei qual a ordem por que vão sair.
CA: Uma possível crítica filosófica dessa ideia
é que isso implica uma visão de um futuro já determinado,
quer essa bola exista ou não.
E, de certa forma,
é uma visão do futuro em que eu não quero acreditar.
Eu quero acreditar que o futuro é indeterminado,
que são as nossas decisões de hoje que determinarão
o tipo de bolas que vamos tirar dessa urna.
NB: Se continuarmos a inventar,
acabaremos por extrair todas as bolas.
Penso que há uma certa forma de determinismo tecnológico
que é bastante plausível.
Ou seja, não é provável encontrar uma sociedade
que use machados de sílex e aviões a jato.
Mas quase podemos ver a tecnologia como um conjunto de possibilidades.
A tecnologia é a coisa que nos possibilita fazer diversas coisas
e obter diversos efeitos no mundo.
Como vamos usá-las depende das opções humanas.
Mas, se pensarmos nestes três tipos de vulnerabilidade,
são pressupostos muito fracos sobre como optaríamos por usá-las.
Uma vulnerabilidade Tipo-1 esse enorme poder destrutivo,
é uma hipótese muito fraca
pensar que, numa população de milhões de pessoas
haveria algumas que optariam por usá-la destrutivamente.
CA: Para mim, o argumento mais perturbador
é podermos espreitar para dentro da urna
e vermos que, provavelmente, estamos condenados.
Se acreditarmos no poder acelerador,
que a tecnologia acelera inerentemente,
que criamos as ferramentas que nos tornam mais poderosos,
a certa altura, acabamos por chegar a um ponto
em que um único indivíduo pode eliminar-nos a todos
e assim, parece que estamos lixados.
Este argumento não é alarmante?
NB: Claro que é.
(Risos)
Penso que...
Sim, cada vez temos mais poder
e é cada vez mais fácil usar esses poderes
mas também podemos inventar tecnologias que nos ajudem a controlar
como as pessoas usam esses poderes.
CA: Falemos nisso, falemos na resposta.
Suponhamos que pensar em todas as possibilidades
que existem atualmente
— não é só a biologia sintética, são coisas como a guerra cibernética,
a inteligência artificial, etc., etc. —
que podem ser uma condenação do nosso futuro.
Quais são as possíveis respostas?
Falaste de quatro respostas possíveis.
NB: Restringir o desenvolvimento tecnológico não parece ser promissor,
se falamos duma paragem geral do progresso tecnológico.
Penso que não é exequível nem seria desejável,
mesmo que o pudéssemos fazer.
Penso que pode haver áreas muito limitadas
em que talvez quiséssemos abrandar o progresso tecnológico.
Penso que não queremos um progresso mais rápido nas armas biológicas
ou na separação de isótopos
que facilitaria a criação de ogivas nucleares.
CA: Eu costumava estar inteiramente de acordo com isso.
Mas gostaria de contra-argumentar durante instantes.
Primeiro que tudo,
se olharmos para a história das últimas décadas,
tem havido sempre uma evolução a toda a velocidade.
Tudo bem, a escolha tem sido nossa.
Mas, se olharmos para a globalização e para a sua rápida aceleração,
se olharmos para a estratégia de "avançar rápido e partir a loiça"
e o que aconteceu com isso,
e depois olhamos para o potencial da biologia sintética,
não sei se devemos avançar rapidamente
ou sem qualquer tipo de restrições
para um mundo em que podemos ter uma impressora de ADN em todos os lares
e nos laboratórios dos liceus.
Há restrições, não há?
NB: Possivelmente. Temos a primeira parte: não exequível.
Se pensarmos que seria desejável parar,
há o problema da exequibilidade.
Na verdade, não ajuda muito se um país...
CA: Não, não ajuda muito se for um só país,
mas já tivemos tratados.
Foi assim que sobrevivemos à ameaça nuclear,
foi passando pelo processo doloroso de negociação.
Ponho-me a pensar se a lógica não será
que nós, em termos de prioridade global,
não devíamos tentar começar a negociar regras estritas
sobre onde se pode fazer investigação sobre biologia sintética.
Não é uma coisa que queiramos democratizar, pois não?
NB: Estou inteiramente de acordo com isso.
Seria desejável, por exemplo,
ter máquinas de síntese de ADN,
não enquanto um aparelho existente em todos os laboratórios,
mas como um serviço.
Talvez pudesse haver quatro ou cinco locais no mundo
para onde enviar o nosso modelo digital e receber o ADN de volta.
Depois, teríamos essa capacidade
se um dia isso fosse mesmo necessário
teríamos um conjunto finito de pontos de obstrução.
Penso que queres olhar para especiais oportunidades,
em que podemos ter um controlo mais apertado.
CA: Fundamentalmente, acreditas
que não vamos conseguir atrasar as coisas.
Alguém, algures — Coreia do Norte —
alguém vai lá chegar e descobrir esse conhecimento
se é que ele existe.
NB: Isso parece plausível nas atuais condições.
Também não é só biologia sintética.
Qualquer tipo de mudança profunda e nova, no mundo
pode vir a ser uma bola preta.
CA: Vejamos outra resposta possível.
NB: Penso que isto também tem um potencial limitado.
Com a vulnerabilidade de Tipo-1, mais uma vez,
se pudermos reduzir o número de pessoas que estão motivadas
a destruir o mundo,
se pelo menos fossem só elas a ter o acesso e os meios
isso seria bom.
CA: Nesta imagem que nos pediste para fazermos,
imaginaste estes "drones" a voar à volta do mundo
com reconhecimento facial.
Quando detetam alguém que mostra um comportamento sociopata
dão-lhe um banho de amor e recuperam-no.
NB: É uma imagem híbrida.
Eliminar pode significar encarcerar ou matar
ou pode significar convencê-los a uma melhor visão do mundo.
Mas a questão é esta:
Imagina que temos um grande êxito,
e reduzíamos para metade o número desses indivíduos.
Se queremos fazê-lo por persuasão,
estamos a competir contra as outras forças poderosas
que tentam persuadir as pessoas,
os partidos, a religião, o sistema de ensino.
Mas suponhamos que os reduzimos a metade,
penso que o risco não seria reduzido a metade.
Talvez apenas a 5% ou 10%.
CA: Não estás a recomendar que falemos do futuro da humanidade
com a resposta dois.
NB: Penso que é bom tentar dissuadir e persuadir as pessoas
mas não podemos confiar nisso como única salvaguarda.
CA: E quanto à terceira resposta?
NB: Penso que há dois métodos gerais
que podemos usar para conseguir a capacidade de estabilizar o mundo
contra todo o espetro de possíveis vulnerabilidades.
Provavelmente, vamos precisar das duas coisas.
Uma é uma capacidade extremamente eficaz
de policiamento preventivo.
para poder intercetar
alguém que comece a fazer coisas perigosas.
Poder intercetá-la em tempo real, e detê-la.
Isso exigirá uma vigilância omnipresente,
toda a gente terá de ser monitorizada a toda a hora.
CA: É essencialmente uma forma de "Minority Report".
NB: Talvez tenhamos algoritmos de IA,
grandes centro de liberdade que examinariam isso, etc., etc.
CA: A vigilância de massas não é muito popular neste momento...
(Risos)
NB: Eu sei. Aquele pequeno aparelho.
imagina que tens de usar sempre aquele tipo de coleira
com câmaras multidirecionais.
Mas, para ser mais bem aceite,
chama-lhe "farol da liberdade" ou qualquer coisa dessas.
(Risos)
CA: Ok.
Isto, meus amigos, é só uma conversa
é por isso que é uma conversa tão estonteante.
NB: Na verdade, há toda uma conversa sobre este tema em especial.
Há grandes problemas e riscos com isto, não é?
Podemos voltar a falar nisso.
A última resposta,
a outra capacidade de estabilização geral colmata um vazio da governação.
A vigilância preencherá um vazio da governação a um nível micro:
impedir quem quer que seja de fazer uma coisa altamente ilegal.
Há um vazio de governação equivalente,
a nível macro, a nível mundial.
Precisaremos de capacidade eficaz,
para impedir os piores tipos de falhas de coordenação mundial,
para evitar guerras entre as grandes potências,
corridas ao armamento,
problemas comuns cataclísmicos,
a fim de lidar com as vulnerabilidades Tipo-2a.
CA: Governação global é um termo
que está definitivamente fora de moda neste momento
mas podes adiantar que, ao longo da História,
a História da Humanidade,
em cada fase do aumento do poder tecnológico
as pessoas têm reorganizado e de certa forma centralizado o poder.
Por exemplo, quando um bando itinerante de criminosos
podia dominar uma sociedade,
a reposta foi criar um estado-nação
e uma força centralizada, força policial ou militar,
para isso não ser possível
A lógica, talvez, de ter uma única pessoa ou um único grupo
capaz de dominar a humanidade
significa que, a certa altura, temos de ir por este caminho,
de alguma forma, não é?
NB: É verdade que a escala da organização política aumentou
ao longo da história humana.
Primeiro era um bando de caçadores-recoletores.
depois uma chefatura, cidades-estados, nações.
Agora são organizações internacionais etc., etc.
Mais uma vez, só quero assegurar, ter a hipótese de sublinhar
que, obviamente, há tremendos inconvenientes
e enormes riscos
tanto na vigilância de massas como na governação global.
Só estou a sublinhar que, se tivermos sorte,
o mundo pode ser tal que estas serão as únicas formas
de sobrevivermos a uma bola preta.
CA: A lógica desta teoria
segundo me parece,
é que temos de reconhecer que não podemos ter tudo.
De certo modo, eu diria
que o sonho ingénuo que muitos de nós temos
é que a tecnologia vai ser sempre uma força para o bem,
que não devemos parar, mas avançar o mais depressa possível
e não prestar atenção a algumas das consequências.
Não temos opção.
Podemos ter isso.
Se tivermos isso,
vamos ter de aceitar
algumas das outras coisas muito incómodas que vêm juntas
entramos na corrida ao armamento com nós mesmos:
se quisermos o poder devemos limitá-lo,
é melhor perceber como limitá-lo.
NB: Penso que é uma opção, uma opção muito tentadora,
de certo modo, a opção mais fácil
e pode funcionar,
mas significa que estamos extremamente vulneráveis
a extrair a bola preta.
Eu penso que, com um pouco de coordenação
— resolvendo este problema de macrogovernação,
e o problema da microgovernação —
podemos extrair todas as bolas da urna
e beneficiar imenso.
CA: Mas, se estamos a viver numa simulação, isso é importante?
Basta reiniciarmos.
(Risos)
NB: Bom... eu...
(Risos)
eu não vi isso a chegar.
CA: Então, qual é a tua visão?
Juntando todas as peças,
qual é a probabilidade de estarmos condenados?
(Risos)
Adoro como as pessoas riem quando eu faço esta pergunta.
NB: A nível individual,
parece que estamos condenados, mais tarde ou mais cedo,
estamos a apodrecer e a envelhecer e todos os tipos de coisas.
(Risos)
Na verdade, é um pouco complicado.
Se nos quisermos preparar para agarrar uma probabilidade,
a primeira coisa é: quem somos nós?
Se formos muito velhos, morreremos de causas naturais,
se formos muito novos podemos chegar aos 100 anos,
consoante a quem perguntarem.
Depois o limiar: o que conta como devastação civilizacional?
No meu artigo eu não preciso de uma catástrofe existencial
para que isso conte.
É apenas uma questão de definição,
digo mil milhões de mortos
ou uma redução do PIB mundial em 50%,
mas consoante o limiar que for definido,
obtemos uma estimativa diferente da probabilidade.
Acho que podem acusar-me de otimista assustado.
(Risos)
CA: És um otimista assustado
e eu acho que acabaste de criar um grande número
de outras pessoas assustadas.
(Risos)
NB: Na simulação.
CA: Numa simulação.
Nick Bostrom, o teu espírito maravilha-me.
Muito obrigado por nos teres assustado.
(Aplausos)