Daniel Suarez: A decisão de matar não deve ser de um robô

Como romancista, Daniel Suarez tece contos distópicos do futuro. Mas, no palco do TEDGlobal, ele nos fala de um cenário da vida real do qual todos nós precisamos ter mais conhecimento: o surgimento de armas robóticas autônomas de guerra. Drones avançados, armas automatizadas e ferramentas que reúnem mecanismos inteligentes, sugere ele, poderiam tirar a decisão de guerrear das mãos humanas.

Escrevo livros de suspense e ficção científica,

portanto, se eu disser "robôs assassinos",

você provavelmente pensa em algo assim.

Mas, na verdade, não estou aqui para falar de ficção.

Estou aqui para falar sobre robôs assassinos muito reais,

drones de combate autônomos.

Não me refiro aos drones Predator e Reaper,

que têm um humano tomando decisões sobre o alvo.

Estou falando de armas robóticas completamente autônomas

que tomam decisões letais sobre seres humanos

por si mesmas.

Há na verdade um termo técnico para isso: autonomia letal.

Bem, robôs assassinos com autonomia letal

tomariam muitas formas -- voar, dirigir

ou apenas ficar à espreita.

E, na verdade, eles estão se tornando realidade muito rapidamente.

Estas são duas estações automáticas de tiro

atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.

Essas duas máquinas são capazes de automaticamente

identificar um alvo humano e atirar nele,

aquela, à esquerda, a uma distância de mais de um quilômetro.

Agora, em ambos os casos, ainda há um humano no circuito

para tomar a decisão letal de atirar,

mas isso não é um requisito tecnológico. É uma escolha.

E é nessa escolha em que quero focar,

porque, à medida que transferimos a decisão letal

dos humanos para um programa de computador,

colocamos em risco não só tirar a humanidade da guerra,

mas também alterar nossa paisagem social inteiramente,

longe do campo de batalha.

Isso ocorre porque a maneira como os humanos resolvem conflitos

dá forma à nossa paisagem social.

E o caso foi sempre esse, através da história.

Por exemplo, estes eram sistemas de armamento de primeira linha

em 1400 d.C.

Agora, eles eram muito caros para construir e manter,

mas com eles você poderia dominar a população,

e a distribuição do poder político na sociedade feudal refletiu isso.

O poder estava focado bem no topo.

E o que mudou? Inovação tecnológica.

Pólvora, canhões.

Logo armaduras e castelos estavam obsoletos,

e importava menos quem você trazia para o campo de batalha

do que quantas pessoas você trazia para o campo de batalha.

E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado

como um requisito político e logístico de defesa .

E, à medida que os líderes tiveram que confiar em uma parcela maior da população,

eles começaram a compartilhar o poder.

O governo representativo começou a se formar.

Outra vez, as ferramentas que usamos para resolver conflitos

dão forma à nossa paisagem social.

Armas robóticas autônomas são ferramentas,

apesar de que, ao exigirem poucas pessoas numa guerra,

colocam em risco 'recentralizar' o poder em muito poucas mãos,

possivelmente revertendo uma tendência de cinco séculos em direção à democracia.

Agora, penso que, conhecendo isto,

podemos dar passos decisivos para preservar nossas instituições democráticas,

fazendo o que os humanos fazem melhor, que é adaptar-se.

Mas o tempo é um fator.

Setenta nações estão desenvolvendo, por conta própria,

drones de combate pilotados remotamente,

e, como vocês verão, drones de combate pilotados remotamente

são os precursores das armas robóticas autônomas.

Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,

há três fatores poderosos agindo no sentido de que a tomada de decisão

passe dos humanos para a própria plataforma de armas.

O primeiro deles é a inundação de vídeos que os drones produzem.

Por exemplo, em 2004, a frota de drones dos E.U.A. produziu

um total de 71 horas de vídeos de vigilância para análise.

Em 2011, isso tinha aumentado para 300.000 horas,

superando a capacidade humana de revisá-los todos,

mas mesmo esse número deve aumentar drasticamente.

Os programas Gorgon Stare e Argus do Pentagono,

colocarão 65 câmeras operadas independentemente

em cada plataforma de drones,

e isto superará e muito a capacidade humana de revisá-las.

Isso significa que software visual inteligente precisará

verificá-las para itens de interesse.

Isso significa que muito em breve

os drones dirão aos humanos o que olhar,

não o contrário.

Mas há um segundo incentivo poderoso agindo para que

a tomada de decisão passe dos humanos para as máquinas,

que é o congestionamento eletromagnético

interrompendo a conexão entre o drone

e seu operador.

Vimos um exemplo disso, em 2011,

quando o drone Sentinel RQ-170

ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,

mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,

e isso significa que os drones

terão que ter maior poder de decisão.

Eles conhecerão o objetivo da missão,

e reagirão a novas circunstâncias sem a supervisão humana.

Eles ignorarão sinais externos de rádio

e enviarão muito poucos deles.

O que nos traz, de fato, ao terceiro

e mais poderoso incentivo para transferir a tomada de decisão

dos humanos para as máquinas:

negação plausível.

Atualmente vivemos em uma economia global.

A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.

A espionagem cibernética está espalhando projetos avançados

para partes desconhecidas,

e, neste ambiente, é muito provável

que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,

prolifere no mercado paralelo.

E, nessa situação, vasculhando os escombros

de um ataque sucida de drones, será muito difícil dizer

quem enviou aquela arma.

Isto levanta a possibilidade muito realista

de guerra anônima.

Isso poderia inclinar o equilíbrio geopolítico no topo,

tornar muito difícil para uma nação mirar seu poder de fogo

contra um atacante, e isso poderia alterar o equilíbrio,

no século XXI, da defesa para a ofensa.

Poderia tornar a ação militar uma opção viável

não apenas para nações pequenas,

mas também para organizações criminosas, empresas privadas,

até mesmo para indivíduos poderosos.

Poderia criar uma paisagem de senhores da guerra rivais

enfraquecendo a prevalência da lei e a sociedade civil.

Agora, se responsabilidade e transparência

são as duas pedras fundamentais do governo representativo,

armas robóticas autônomas poderiam enfraquecer ambas.

Bem, vocês podem estar pensando que

cidadãos de nações com alta tecnologia

teriam uma vantagem em qualquer guerra robótica,

que cidadãos dessas nações seriam menos vulneráveis,

particularmente em relação a nações em desenvolvimento.

Mas, penso que a verdade é exatamente o oposto.

Penso que cidadãos de sociedades de alta tecnologia

são mais vulneráveis a armas robóticas,

e a razão pode ser resumida em uma palavra: informação.

A informação dá poder a sociedades de alta tecnologia.

Geolocalização por celular, metadados de telecomunicação,

mídia social, email, mensagem de texto, dados de transações financeiras,

dados de transportes, é uma riqueza de dados em tempo real

dos movimentos e interações sociais das pessoas.

Em resumo, somos mais visíveis para as máquinas

que qualquer outro povo na história,

e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.

O que estão vendo aqui

é um mapa com a análise das ligações de um grupo social.

As linhas indicam a conectividade social entre indivíduos.

E esses tipos de mapas podem ser gerados automaticamente

baseados no rastro de dados que as pessoas modernas deixam para trás.

Agora, isso é tipicamente usado para propaganda de bens e serviços

para populações alvo, mas é uma tecnologia de uso duplo

porque o alvo é usado em outro contexto.

Observe que certos indivíduos estão destacados.

Estes são os centros de redes sociais.

Eles são organizadores, formadores de opinião, líderes,

e essas pessoas também podem ser automaticamente identificadas

pelos seus padrões de comunicação.

Agora, se você é um marqueteiro, você pode atingi-las

com amostras de produtos, tentar espalhar sua marca

através do grupo social deles.

Mas, se você é um governo repressor

procurando inimigos políticos, você pode ao invés removê-los,

eliminá-los, destruir o grupo social deles,

e aqueles que restarem perdem a coesão social

e a organização.

Agora, em um mundo onde proliferam armas robóticas baratas,

as fronteiras ofereceriam muito pouca proteção

para críticos de governos distantes

ou organizações criminosas transnacionais.

Movimentos populares se agitando por mudança

poderiam ser detectados logo, e seus líderes eliminados

antes que suas ideias atinjam massa crítica.

E ideias atingindo massa crítica

tem tudo a ver com ativismo político em governos populares.

Armas letais anônimas poderiam tornar a ação letal

uma escolha fácil para todos os tipos de interesses concorrentes.

E isso congelaria o discurso livre

e a ação política popular, o próprio coração da democracia.

E é por isto que precisamos de um tratado internacional

sobre armas robóticas, e, em particular, o banimento global

do desenvolvimento e implantação de robôs assassinos.

Agora, nós já temos tratados internacionais

sobre armas nucleares e biológicas, e, ainda que imperfeitos,

eles têm funcionado amplamente.

Mas as armas robóticas podem ser um pouco mais perigosas,

porque elas serão usadas quase que com certeza,

e elas também seriam corrosivas para nossas instituições democráticas.

Agora, em novembro de 2012, o Departamento de Defesa dos EUA

emitiu uma diretriz exigindo

que um ser humano esteja presente em todas as decisões letais.

Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,

mas essa diretriz precisa tornar-se permanente.

E ela poderia preparar o palco para a ação global.

Porque precisamos de uma estrutura legal internacional

para armas robóticas.

E precisamos disto agora, antes que haja um ataque devastador

ou um incidente terrorista que provoque uma corrida

entre as nações do mundo para adotar essas armas,

antes de pensar nas consequências.

Armas robóticas autônomas concentram poder demais

em poucas mãos, e poderiam pôr em risco a própria democracia.

Agora, não me entendam mal, penso que há toneladas

de ótimos usos para drones civis desarmados:

monitoramento ambiental, busca e resgate, logística.

Se tivermos um tratado internacional sobre armas robóticas,

como obtemos os benefícios de drones e veículos autônomos

e ainda nos protegemos

contra armas robóticas ilegais?

Penso que o segredo será a transparência.

Nenhum robô deveria ter expectativa de privacidade

em local público.

(Aplausos)

Cada robô e drone deveriam ter

uma assinatura de identificação criptografada e marcada na fábrica

que pudesse ser usada para rastrear seus movimentos em espaços públicos.

Temos placas em carros, números em aeronaves.

Isto não é diferente.

E cada cidadão deveria ser capaz de baixar um aplicativo

que mostrasse a população de drones e veículos autônomos

transitando em espaços públicos ao redor delas,

tanto naquele momento quanto o histórico dessa movimentação.

E líderes civis deveriam instalar sensores e drones civis

para detectar drones intrusos,

que, em vez de enviar drones assassinos próprios para abatê-los,

deveriam notificar os humanos da presença deles.

E, em certas áreas de segurança máxima,

talvez drones civis pudessem emboscá-los

e arrastá-los para instalações de descarte de bombas.

Mas vejam, isto é mais um sistema imunológico

que um sistema de armamento.

Ele nos permitiria o benefício do uso

de veículos autônomos e drones

e ainda a preservação de nossa sociedade civil e aberta.

Devemos banir a instalação e o desenvolvimento

de robôs assassinos.

Não vamos sucumbir à tentação de automatizar a guerra.

Governos autocráticos e organizações criminosas,

sem dúvida, vão, mas não vamos nos juntar a eles.

Armas robóticas autônomas

concentrariam poder demais

em poucas mãos não vistas,

e isso seria corrosivo para o governo representativo.

Vamos nos certificar, para democracias ao menos,

de que robôs assassinos continuem sendo ficção.

Obrigado.

(Aplausos)

Obrigado. (Aplausos)