Escrevo livros de suspense e ficção científica,
portanto, se eu disser "robôs assassinos",
você provavelmente pensa em algo assim.
Mas, na verdade, não estou aqui para falar de ficção.
Estou aqui para falar sobre robôs assassinos muito reais,
drones de combate autônomos.
Não me refiro aos drones Predator e Reaper,
que têm um humano tomando decisões sobre o alvo.
Estou falando de armas robóticas completamente autônomas
que tomam decisões letais sobre seres humanos
por si mesmas.
Há na verdade um termo técnico para isso: autonomia letal.
Bem, robôs assassinos com autonomia letal
tomariam muitas formas -- voar, dirigir
ou apenas ficar à espreita.
E, na verdade, eles estão se tornando realidade muito rapidamente.
Estas são duas estações automáticas de tiro
atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.
Essas duas máquinas são capazes de automaticamente
identificar um alvo humano e atirar nele,
aquela, à esquerda, a uma distância de mais de um quilômetro.
Agora, em ambos os casos, ainda há um humano no circuito
para tomar a decisão letal de atirar,
mas isso não é um requisito tecnológico. É uma escolha.
E é nessa escolha em que quero focar,
porque, à medida que transferimos a decisão letal
dos humanos para um programa de computador,
colocamos em risco não só tirar a humanidade da guerra,
mas também alterar nossa paisagem social inteiramente,
longe do campo de batalha.
Isso ocorre porque a maneira como os humanos resolvem conflitos
dá forma à nossa paisagem social.
E o caso foi sempre esse, através da história.
Por exemplo, estes eram sistemas de armamento de primeira linha
em 1400 d.C.
Agora, eles eram muito caros para construir e manter,
mas com eles você poderia dominar a população,
e a distribuição do poder político na sociedade feudal refletiu isso.
O poder estava focado bem no topo.
E o que mudou? Inovação tecnológica.
Pólvora, canhões.
Logo armaduras e castelos estavam obsoletos,
e importava menos quem você trazia para o campo de batalha
do que quantas pessoas você trazia para o campo de batalha.
E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado
como um requisito político e logístico de defesa .
E, à medida que os líderes tiveram que confiar em uma parcela maior da população,
eles começaram a compartilhar o poder.
O governo representativo começou a se formar.
Outra vez, as ferramentas que usamos para resolver conflitos
dão forma à nossa paisagem social.
Armas robóticas autônomas são ferramentas,
apesar de que, ao exigirem poucas pessoas numa guerra,
colocam em risco 'recentralizar' o poder em muito poucas mãos,
possivelmente revertendo uma tendência de cinco séculos em direção à democracia.
Agora, penso que, conhecendo isto,
podemos dar passos decisivos para preservar nossas instituições democráticas,
fazendo o que os humanos fazem melhor, que é adaptar-se.
Mas o tempo é um fator.
Setenta nações estão desenvolvendo, por conta própria,
drones de combate pilotados remotamente,
e, como vocês verão, drones de combate pilotados remotamente
são os precursores das armas robóticas autônomas.
Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,
há três fatores poderosos agindo no sentido de que a tomada de decisão
passe dos humanos para a própria plataforma de armas.
O primeiro deles é a inundação de vídeos que os drones produzem.
Por exemplo, em 2004, a frota de drones dos E.U.A. produziu
um total de 71 horas de vídeos de vigilância para análise.
Em 2011, isso tinha aumentado para 300.000 horas,
superando a capacidade humana de revisá-los todos,
mas mesmo esse número deve aumentar drasticamente.
Os programas Gorgon Stare e Argus do Pentagono,
colocarão 65 câmeras operadas independentemente
em cada plataforma de drones,
e isto superará e muito a capacidade humana de revisá-las.
Isso significa que software visual inteligente precisará
verificá-las para itens de interesse.
Isso significa que muito em breve
os drones dirão aos humanos o que olhar,
não o contrário.
Mas há um segundo incentivo poderoso agindo para que
a tomada de decisão passe dos humanos para as máquinas,
que é o congestionamento eletromagnético
interrompendo a conexão entre o drone
e seu operador.
Vimos um exemplo disso, em 2011,
quando o drone Sentinel RQ-170
ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,
mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,
e isso significa que os drones
terão que ter maior poder de decisão.
Eles conhecerão o objetivo da missão,
e reagirão a novas circunstâncias sem a supervisão humana.
Eles ignorarão sinais externos de rádio
e enviarão muito poucos deles.
O que nos traz, de fato, ao terceiro
e mais poderoso incentivo para transferir a tomada de decisão
dos humanos para as máquinas:
negação plausível.
Atualmente vivemos em uma economia global.
A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.
A espionagem cibernética está espalhando projetos avançados
para partes desconhecidas,
e, neste ambiente, é muito provável
que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,
prolifere no mercado paralelo.
E, nessa situação, vasculhando os escombros
de um ataque sucida de drones, será muito difícil dizer
quem enviou aquela arma.
Isto levanta a possibilidade muito realista
de guerra anônima.
Isso poderia inclinar o equilíbrio geopolítico no topo,
tornar muito difícil para uma nação mirar seu poder de fogo
contra um atacante, e isso poderia alterar o equilíbrio,
no século XXI, da defesa para a ofensa.
Poderia tornar a ação militar uma opção viável
não apenas para nações pequenas,
mas também para organizações criminosas, empresas privadas,
até mesmo para indivíduos poderosos.
Poderia criar uma paisagem de senhores da guerra rivais
enfraquecendo a prevalência da lei e a sociedade civil.
Agora, se responsabilidade e transparência
são as duas pedras fundamentais do governo representativo,
armas robóticas autônomas poderiam enfraquecer ambas.
Bem, vocês podem estar pensando que
cidadãos de nações com alta tecnologia
teriam uma vantagem em qualquer guerra robótica,
que cidadãos dessas nações seriam menos vulneráveis,
particularmente em relação a nações em desenvolvimento.
Mas, penso que a verdade é exatamente o oposto.
Penso que cidadãos de sociedades de alta tecnologia
são mais vulneráveis a armas robóticas,
e a razão pode ser resumida em uma palavra: informação.
A informação dá poder a sociedades de alta tecnologia.
Geolocalização por celular, metadados de telecomunicação,
mídia social, email, mensagem de texto, dados de transações financeiras,
dados de transportes, é uma riqueza de dados em tempo real
dos movimentos e interações sociais das pessoas.
Em resumo, somos mais visíveis para as máquinas
que qualquer outro povo na história,
e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.
O que estão vendo aqui
é um mapa com a análise das ligações de um grupo social.
As linhas indicam a conectividade social entre indivíduos.
E esses tipos de mapas podem ser gerados automaticamente
baseados no rastro de dados que as pessoas modernas deixam para trás.
Agora, isso é tipicamente usado para propaganda de bens e serviços
para populações alvo, mas é uma tecnologia de uso duplo
porque o alvo é usado em outro contexto.
Observe que certos indivíduos estão destacados.
Estes são os centros de redes sociais.
Eles são organizadores, formadores de opinião, líderes,
e essas pessoas também podem ser automaticamente identificadas
pelos seus padrões de comunicação.
Agora, se você é um marqueteiro, você pode atingi-las
com amostras de produtos, tentar espalhar sua marca
através do grupo social deles.
Mas, se você é um governo repressor
procurando inimigos políticos, você pode ao invés removê-los,
eliminá-los, destruir o grupo social deles,
e aqueles que restarem perdem a coesão social
e a organização.
Agora, em um mundo onde proliferam armas robóticas baratas,
as fronteiras ofereceriam muito pouca proteção
para críticos de governos distantes
ou organizações criminosas transnacionais.
Movimentos populares se agitando por mudança
poderiam ser detectados logo, e seus líderes eliminados
antes que suas ideias atinjam massa crítica.
E ideias atingindo massa crítica
tem tudo a ver com ativismo político em governos populares.
Armas letais anônimas poderiam tornar a ação letal
uma escolha fácil para todos os tipos de interesses concorrentes.
E isso congelaria o discurso livre
e a ação política popular, o próprio coração da democracia.
E é por isto que precisamos de um tratado internacional
sobre armas robóticas, e, em particular, o banimento global
do desenvolvimento e implantação de robôs assassinos.
Agora, nós já temos tratados internacionais
sobre armas nucleares e biológicas, e, ainda que imperfeitos,
eles têm funcionado amplamente.
Mas as armas robóticas podem ser um pouco mais perigosas,
porque elas serão usadas quase que com certeza,
e elas também seriam corrosivas para nossas instituições democráticas.
Agora, em novembro de 2012, o Departamento de Defesa dos EUA
emitiu uma diretriz exigindo
que um ser humano esteja presente em todas as decisões letais.
Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,
mas essa diretriz precisa tornar-se permanente.
E ela poderia preparar o palco para a ação global.
Porque precisamos de uma estrutura legal internacional
para armas robóticas.
E precisamos disto agora, antes que haja um ataque devastador
ou um incidente terrorista que provoque uma corrida
entre as nações do mundo para adotar essas armas,
antes de pensar nas consequências.
Armas robóticas autônomas concentram poder demais
em poucas mãos, e poderiam pôr em risco a própria democracia.
Agora, não me entendam mal, penso que há toneladas
de ótimos usos para drones civis desarmados:
monitoramento ambiental, busca e resgate, logística.
Se tivermos um tratado internacional sobre armas robóticas,
como obtemos os benefícios de drones e veículos autônomos
e ainda nos protegemos
contra armas robóticas ilegais?
Penso que o segredo será a transparência.
Nenhum robô deveria ter expectativa de privacidade
em local público.
(Aplausos)
Cada robô e drone deveriam ter
uma assinatura de identificação criptografada e marcada na fábrica
que pudesse ser usada para rastrear seus movimentos em espaços públicos.
Temos placas em carros, números em aeronaves.
Isto não é diferente.
E cada cidadão deveria ser capaz de baixar um aplicativo
que mostrasse a população de drones e veículos autônomos
transitando em espaços públicos ao redor delas,
tanto naquele momento quanto o histórico dessa movimentação.
E líderes civis deveriam instalar sensores e drones civis
para detectar drones intrusos,
que, em vez de enviar drones assassinos próprios para abatê-los,
deveriam notificar os humanos da presença deles.
E, em certas áreas de segurança máxima,
talvez drones civis pudessem emboscá-los
e arrastá-los para instalações de descarte de bombas.
Mas vejam, isto é mais um sistema imunológico
que um sistema de armamento.
Ele nos permitiria o benefício do uso
de veículos autônomos e drones
e ainda a preservação de nossa sociedade civil e aberta.
Devemos banir a instalação e o desenvolvimento
de robôs assassinos.
Não vamos sucumbir à tentação de automatizar a guerra.
Governos autocráticos e organizações criminosas,
sem dúvida, vão, mas não vamos nos juntar a eles.
Armas robóticas autônomas
concentrariam poder demais
em poucas mãos não vistas,
e isso seria corrosivo para o governo representativo.
Vamos nos certificar, para democracias ao menos,
de que robôs assassinos continuem sendo ficção.
Obrigado.
(Aplausos)
Obrigado. (Aplausos)