0:00:00.000,0:00:03.000
Escrevo livros de suspense e ficção científica,

0:00:03.000,0:00:06.000
portanto, se eu disser "robôs assassinos",

0:00:06.000,0:00:08.000
você provavelmente pensa em algo assim.

0:00:08.000,0:00:10.000
Mas, na verdade, não estou aqui para falar de ficção.

0:00:10.000,0:00:14.000
Estou aqui para falar sobre robôs assassinos muito reais,

0:00:14.000,0:00:17.000
drones de combate autônomos.

0:00:17.000,0:00:20.000
Não me refiro aos drones Predator e Reaper,

0:00:20.000,0:00:23.000
que têm um humano tomando decisões sobre o alvo.

0:00:23.000,0:00:27.000
Estou falando de armas robóticas completamente autônomas

0:00:27.000,0:00:29.000
que tomam decisões letais sobre seres humanos

0:00:29.000,0:00:32.000
por si mesmas.

0:00:32.000,0:00:36.000
Há na verdade um termo técnico para isso: autonomia letal.

0:00:36.000,0:00:38.000
Bem, robôs assassinos com autonomia letal

0:00:38.000,0:00:42.000
tomariam muitas formas -- voar, dirigir

0:00:42.000,0:00:44.000
ou apenas ficar à espreita.

0:00:44.000,0:00:47.000
E, na verdade, eles estão se tornando realidade muito rapidamente.

0:00:47.000,0:00:50.000
Estas são duas estações automáticas de tiro

0:00:50.000,0:00:54.000
atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.

0:00:54.000,0:00:56.000
Essas duas máquinas são capazes de automaticamente

0:00:56.000,0:01:00.000
identificar um alvo humano e atirar nele,

0:01:00.000,0:01:04.000
aquela, à esquerda, a uma distância de mais de um quilômetro.

0:01:04.000,0:01:08.000
Agora, em ambos os casos, ainda há um humano no circuito

0:01:08.000,0:01:10.000
para tomar a decisão letal de atirar,

0:01:10.000,0:01:15.000
mas isso não é um requisito tecnológico. É uma escolha.

0:01:15.000,0:01:19.000
E é nessa escolha em que quero focar,

0:01:19.000,0:01:21.000
porque, à medida que transferimos a decisão letal

0:01:21.000,0:01:24.000
dos humanos para um programa de computador,

0:01:24.000,0:01:28.000
colocamos em risco não só tirar a humanidade da guerra,

0:01:28.000,0:01:31.000
mas também alterar nossa paisagem social inteiramente,

0:01:31.000,0:01:33.000
longe do campo de batalha.

0:01:33.000,0:01:38.000
Isso ocorre porque a maneira como os humanos resolvem conflitos

0:01:38.000,0:01:40.000
dá forma à nossa paisagem social.

0:01:40.000,0:01:42.000
E o caso foi sempre esse, através da história.

0:01:42.000,0:01:45.000
Por exemplo, estes eram sistemas de armamento de primeira linha

0:01:45.000,0:01:47.000
em 1400 d.C.

0:01:47.000,0:01:50.000
Agora, eles eram muito caros para construir e manter,

0:01:50.000,0:01:53.000
mas com eles você poderia dominar a população,

0:01:53.000,0:01:57.000
e a distribuição do poder político na sociedade feudal refletiu isso.

0:01:57.000,0:02:00.000
O poder estava focado bem no topo.

0:02:00.000,0:02:04.000
E o que mudou? Inovação tecnológica.

0:02:04.000,0:02:05.000
Pólvora, canhões.

0:02:05.000,0:02:09.000
Logo armaduras e castelos estavam obsoletos,

0:02:09.000,0:02:12.000
e importava menos quem você trazia para o campo de batalha

0:02:12.000,0:02:16.000
do que quantas pessoas você trazia para o campo de batalha.

0:02:16.000,0:02:19.000
E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado

0:02:19.000,0:02:23.000
como um requisito político e logístico de defesa .

0:02:23.000,0:02:25.000
E, à medida que os líderes tiveram que confiar em uma parcela maior da população,

0:02:25.000,0:02:27.000
eles começaram a compartilhar o poder.

0:02:27.000,0:02:30.000
O governo representativo começou a se formar.

0:02:30.000,0:02:33.000
Outra vez, as ferramentas que usamos para resolver conflitos

0:02:33.000,0:02:36.000
dão forma à nossa paisagem social.

0:02:36.000,0:02:40.000
Armas robóticas autônomas são ferramentas,

0:02:40.000,0:02:46.000
apesar de que, ao exigirem poucas pessoas numa guerra,

0:02:46.000,0:02:50.000
colocam em risco 'recentralizar' o poder em muito poucas mãos,

0:02:50.000,0:02:57.000
possivelmente revertendo uma tendência de cinco séculos em direção à democracia.

0:02:57.000,0:02:59.000
Agora, penso que, conhecendo isto,

0:02:59.000,0:03:03.000
podemos dar passos decisivos para preservar nossas instituições democráticas,

0:03:03.000,0:03:07.000
fazendo o que os humanos fazem melhor, que é adaptar-se.

0:03:07.000,0:03:09.000
Mas o tempo é um fator.

0:03:09.000,0:03:12.000
Setenta nações estão desenvolvendo, por conta própria,

0:03:12.000,0:03:14.000
drones de combate pilotados remotamente,

0:03:14.000,0:03:17.000
e, como vocês verão, drones de combate pilotados remotamente

0:03:17.000,0:03:21.000
são os precursores das armas robóticas autônomas.

0:03:21.000,0:03:24.000
Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,

0:03:24.000,0:03:27.000
há três fatores poderosos agindo no sentido de que a tomada de decisão

0:03:27.000,0:03:32.000
passe dos humanos para a própria plataforma de armas.

0:03:32.000,0:03:37.000
O primeiro deles é a inundação de vídeos que os drones produzem.

0:03:37.000,0:03:41.000
Por exemplo, em 2004, a frota de drones dos E.U.A. produziu

0:03:41.000,0:03:46.000
um total de 71 horas de vídeos de vigilância para análise.

0:03:46.000,0:03:51.000
Em 2011, isso tinha aumentado para 300.000 horas,

0:03:51.000,0:03:54.000
superando a capacidade humana de revisá-los todos,

0:03:54.000,0:03:58.000
mas mesmo esse número deve aumentar drasticamente.

0:03:58.000,0:04:00.000
Os programas Gorgon Stare e Argus do Pentagono,

0:04:00.000,0:04:03.000
colocarão 65 câmeras operadas independentemente

0:04:03.000,0:04:05.000
em cada plataforma de drones,

0:04:05.000,0:04:09.000
e isto superará e muito a capacidade humana de revisá-las.

0:04:09.000,0:04:11.000
Isso significa que software visual inteligente precisará

0:04:11.000,0:04:15.000
verificá-las para itens de interesse.

0:04:15.000,0:04:16.000
Isso significa que muito em breve

0:04:16.000,0:04:19.000
os drones dirão aos humanos o que olhar,

0:04:19.000,0:04:21.000
não o contrário.

0:04:21.000,0:04:24.000
Mas há um segundo incentivo poderoso agindo para que

0:04:24.000,0:04:27.000
a tomada de decisão passe dos humanos para as máquinas,

0:04:27.000,0:04:30.000
que é o congestionamento eletromagnético

0:04:30.000,0:04:32.000
interrompendo a conexão entre o drone

0:04:32.000,0:04:35.000
e seu operador.

0:04:35.000,0:04:38.000
Vimos um exemplo disso, em 2011,

0:04:38.000,0:04:41.000
quando o drone Sentinel RQ-170

0:04:41.000,0:04:45.000
ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,

0:04:45.000,0:04:50.000
mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,

0:04:50.000,0:04:52.000
e isso significa que os drones

0:04:52.000,0:04:56.000
terão que ter maior poder de decisão.

0:04:56.000,0:04:59.000
Eles conhecerão o objetivo da missão,

0:04:59.000,0:05:04.000
e reagirão a novas circunstâncias sem a supervisão humana.

0:05:04.000,0:05:06.000
Eles ignorarão sinais externos de rádio

0:05:06.000,0:05:09.000
e enviarão muito poucos deles.

0:05:09.000,0:05:11.000
O que nos traz, de fato, ao terceiro

0:05:11.000,0:05:15.000
e mais poderoso incentivo para transferir a tomada de decisão

0:05:15.000,0:05:18.000
dos humanos para as máquinas:

0:05:18.000,0:05:21.000
negação plausível.

0:05:21.000,0:05:24.000
Atualmente vivemos em uma economia global.

0:05:24.000,0:05:28.000
A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.

0:05:28.000,0:05:31.000
A espionagem cibernética está espalhando projetos avançados

0:05:31.000,0:05:33.000
para partes desconhecidas,

0:05:33.000,0:05:35.000
e, neste ambiente, é muito provável

0:05:35.000,0:05:40.000
que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,

0:05:40.000,0:05:42.000
prolifere no mercado paralelo.

0:05:42.000,0:05:45.000
E, nessa situação, vasculhando os escombros

0:05:45.000,0:05:48.000
de um ataque sucida de drones, será muito difícil dizer

0:05:48.000,0:05:52.000
quem enviou aquela arma.

0:05:52.000,0:05:55.000
Isto levanta a possibilidade muito realista

0:05:55.000,0:05:58.000
de guerra anônima.

0:05:58.000,0:06:00.000
Isso poderia inclinar o equilíbrio geopolítico no topo,

0:06:00.000,0:06:04.000
tornar muito difícil para uma nação mirar seu poder de fogo

0:06:04.000,0:06:07.000
contra um atacante, e isso poderia alterar o equilíbrio,

0:06:07.000,0:06:10.000
no século XXI, da defesa para a ofensa.

0:06:10.000,0:06:14.000
Poderia tornar a ação militar uma opção viável

0:06:14.000,0:06:16.000
não apenas para nações pequenas,

0:06:16.000,0:06:18.000
mas também para organizações criminosas, empresas privadas,

0:06:18.000,0:06:21.000
até mesmo para indivíduos poderosos.

0:06:21.000,0:06:24.000
Poderia criar uma paisagem de senhores da guerra rivais

0:06:24.000,0:06:28.000
enfraquecendo a prevalência da lei e a sociedade civil.

0:06:28.000,0:06:31.000
Agora, se responsabilidade e transparência

0:06:31.000,0:06:34.000
são as duas pedras fundamentais do governo representativo,

0:06:34.000,0:06:38.000
armas robóticas autônomas poderiam enfraquecer ambas.

0:06:38.000,0:06:40.000
Bem, vocês podem estar pensando que

0:06:40.000,0:06:42.000
cidadãos de nações com alta tecnologia

0:06:42.000,0:06:45.000
teriam uma vantagem em qualquer guerra robótica,

0:06:45.000,0:06:48.000
que cidadãos dessas nações seriam menos vulneráveis,

0:06:48.000,0:06:53.000
particularmente em relação a nações em desenvolvimento.

0:06:53.000,0:06:56.000
Mas, penso que a verdade é exatamente o oposto.

0:06:56.000,0:06:58.000
Penso que cidadãos de sociedades de alta tecnologia

0:06:58.000,0:07:02.000
são mais vulneráveis a armas robóticas,

0:07:02.000,0:07:07.000
e a razão pode ser resumida em uma palavra: informação.

0:07:07.000,0:07:10.000
A informação dá poder a sociedades de alta tecnologia.

0:07:10.000,0:07:13.000
Geolocalização por celular, metadados de telecomunicação,

0:07:13.000,0:07:17.000
mídia social, email, mensagem de texto, dados de transações financeiras,

0:07:17.000,0:07:21.000
dados de transportes, é uma riqueza de dados em tempo real

0:07:21.000,0:07:24.000
dos movimentos e interações sociais das pessoas.

0:07:24.000,0:07:27.000
Em resumo, somos mais visíveis para as máquinas

0:07:27.000,0:07:30.000
que qualquer outro povo na história,

0:07:30.000,0:07:35.000
e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.

0:07:35.000,0:07:37.000
O que estão vendo aqui

0:07:37.000,0:07:40.000
é um mapa com a análise das ligações de um grupo social.

0:07:40.000,0:07:44.000
As linhas indicam a conectividade social entre indivíduos.

0:07:44.000,0:07:47.000
E esses tipos de mapas podem ser gerados automaticamente

0:07:47.000,0:07:51.000
baseados no rastro de dados que as pessoas modernas deixam para trás.

0:07:51.000,0:07:54.000
Agora, isso é tipicamente usado para propaganda de bens e serviços

0:07:54.000,0:07:58.000
para populações alvo, mas é uma tecnologia de uso duplo

0:07:58.000,0:08:02.000
porque o alvo é usado em outro contexto.

0:08:02.000,0:08:04.000
Observe que certos indivíduos estão destacados.

0:08:04.000,0:08:08.000
Estes são os centros de redes sociais.

0:08:08.000,0:08:11.000
Eles são organizadores, formadores de opinião, líderes,

0:08:11.000,0:08:14.000
e essas pessoas também podem ser automaticamente identificadas

0:08:14.000,0:08:16.000
pelos seus padrões de comunicação.

0:08:16.000,0:08:18.000
Agora, se você é um marqueteiro, você pode atingi-las

0:08:18.000,0:08:21.000
com amostras de produtos, tentar espalhar sua marca

0:08:21.000,0:08:24.000
através do grupo social deles.

0:08:24.000,0:08:26.000
Mas, se você é um governo repressor

0:08:26.000,0:08:30.000
procurando inimigos políticos, você pode ao invés removê-los,

0:08:30.000,0:08:33.000
eliminá-los, destruir o grupo social deles,

0:08:33.000,0:08:36.000
e aqueles que restarem perdem a coesão social

0:08:36.000,0:08:39.000
e a organização.

0:08:39.000,0:08:42.000
Agora, em um mundo onde proliferam armas robóticas baratas,

0:08:42.000,0:08:45.000
as fronteiras ofereceriam muito pouca proteção

0:08:45.000,0:08:47.000
para críticos de governos distantes

0:08:47.000,0:08:51.000
ou organizações criminosas transnacionais.

0:08:51.000,0:08:54.000
Movimentos populares se agitando por mudança

0:08:54.000,0:08:58.000
poderiam ser detectados logo, e seus líderes eliminados

0:08:58.000,0:09:01.000
antes que suas ideias atinjam massa crítica.

0:09:01.000,0:09:03.000
E ideias atingindo massa crítica

0:09:03.000,0:09:07.000
tem tudo a ver com ativismo político em governos populares.

0:09:07.000,0:09:11.000
Armas letais anônimas poderiam tornar a ação letal

0:09:11.000,0:09:15.000
uma escolha fácil para todos os tipos de interesses concorrentes.

0:09:15.000,0:09:19.000
E isso congelaria o discurso livre

0:09:19.000,0:09:24.000
e a ação política popular, o próprio coração da democracia.

0:09:24.000,0:09:27.000
E é por isto que precisamos de um tratado internacional

0:09:27.000,0:09:30.000
sobre armas robóticas, e, em particular, o banimento global

0:09:30.000,0:09:34.000
do desenvolvimento e implantação de robôs assassinos.

0:09:34.000,0:09:38.000
Agora, nós já temos tratados internacionais

0:09:38.000,0:09:41.000
sobre armas nucleares e biológicas, e, ainda que imperfeitos,

0:09:41.000,0:09:43.000
eles têm funcionado amplamente.

0:09:43.000,0:09:47.000
Mas as armas robóticas podem ser um pouco mais perigosas,

0:09:47.000,0:09:50.000
porque elas serão usadas quase que com certeza,

0:09:50.000,0:09:55.000
e elas também seriam corrosivas para nossas instituições democráticas.

0:09:55.000,0:09:59.000
Agora, em novembro de 2012, o Departamento de Defesa dos EUA

0:09:59.000,0:10:01.000
emitiu uma diretriz exigindo

0:10:01.000,0:10:06.000
que um ser humano esteja presente em todas as decisões letais.

0:10:06.000,0:10:11.000
Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,

0:10:11.000,0:10:14.000
mas essa diretriz precisa tornar-se permanente.

0:10:14.000,0:10:19.000
E ela poderia preparar o palco para a ação global.

0:10:19.000,0:10:22.000
Porque precisamos de uma estrutura legal internacional

0:10:22.000,0:10:25.000
para armas robóticas.

0:10:25.000,0:10:28.000
E precisamos disto agora, antes que haja um ataque devastador

0:10:28.000,0:10:31.000
ou um incidente terrorista que provoque uma corrida

0:10:31.000,0:10:33.000
entre as nações do mundo para adotar essas armas,

0:10:33.000,0:10:36.000
antes de pensar nas consequências.

0:10:36.000,0:10:39.000
Armas robóticas autônomas concentram poder demais

0:10:39.000,0:10:46.000
em poucas mãos, e poderiam pôr em risco a própria democracia.

0:10:46.000,0:10:48.000
Agora, não me entendam mal, penso que há toneladas

0:10:48.000,0:10:51.000
de ótimos usos para drones civis desarmados:

0:10:51.000,0:10:55.000
monitoramento ambiental, busca e resgate, logística.

0:10:55.000,0:10:58.000
Se tivermos um tratado internacional sobre armas robóticas,

0:10:58.000,0:11:01.000
como obtemos os benefícios de drones e veículos autônomos

0:11:01.000,0:11:04.000
e ainda nos protegemos

0:11:04.000,0:11:08.000
contra armas robóticas ilegais?

0:11:08.000,0:11:13.000
Penso que o segredo será a transparência.

0:11:13.000,0:11:16.000
Nenhum robô deveria ter expectativa de privacidade

0:11:16.000,0:11:19.000
em local público.

0:11:19.000,0:11:23.000
(Aplausos)

0:11:24.000,0:11:26.000
Cada robô e drone deveriam ter

0:11:26.000,0:11:29.000
uma assinatura de identificação criptografada e marcada na fábrica

0:11:29.000,0:11:32.000
que pudesse ser usada para rastrear seus movimentos em espaços públicos.

0:11:32.000,0:11:35.000
Temos placas em carros, números em aeronaves.

0:11:35.000,0:11:37.000
Isto não é diferente.

0:11:37.000,0:11:39.000
E cada cidadão deveria ser capaz de baixar um aplicativo

0:11:39.000,0:11:42.000
que mostrasse a população de drones e veículos autônomos

0:11:42.000,0:11:45.000
transitando em espaços públicos ao redor delas,

0:11:45.000,0:11:48.000
tanto naquele momento quanto o histórico dessa movimentação.

0:11:48.000,0:11:51.000
E líderes civis deveriam instalar sensores e drones civis

0:11:51.000,0:11:53.000
para detectar drones intrusos,

0:11:53.000,0:11:57.000
que, em vez de enviar drones assassinos próprios para abatê-los,

0:11:57.000,0:12:00.000
deveriam notificar os humanos da presença deles.

0:12:00.000,0:12:02.000
E, em certas áreas de segurança máxima,

0:12:02.000,0:12:04.000
talvez drones civis pudessem emboscá-los

0:12:04.000,0:12:07.000
e arrastá-los para instalações de descarte de bombas.

0:12:07.000,0:12:10.000
Mas vejam, isto é mais um sistema imunológico

0:12:10.000,0:12:11.000
que um sistema de armamento.

0:12:11.000,0:12:14.000
Ele nos permitiria o benefício do uso

0:12:14.000,0:12:16.000
de veículos autônomos e drones

0:12:16.000,0:12:20.000
e ainda a preservação de nossa sociedade civil e aberta.

0:12:20.000,0:12:23.000
Devemos banir a instalação e o desenvolvimento

0:12:23.000,0:12:25.000
de robôs assassinos.

0:12:25.000,0:12:30.000
Não vamos sucumbir à tentação de automatizar a guerra.

0:12:30.000,0:12:33.000
Governos autocráticos e organizações criminosas,

0:12:33.000,0:12:36.000
sem dúvida, vão, mas não vamos nos juntar a eles.

0:12:36.000,0:12:38.000
Armas robóticas autônomas

0:12:38.000,0:12:40.000
concentrariam poder demais

0:12:40.000,0:12:42.000
em poucas mãos não vistas,

0:12:42.000,0:12:45.000
e isso seria corrosivo para o governo representativo.

0:12:45.000,0:12:48.000
Vamos nos certificar, para democracias ao menos,

0:12:48.000,0:12:51.000
de que robôs assassinos continuem sendo ficção.

0:12:51.000,0:12:52.000
Obrigado.

0:12:52.000,0:12:57.000
(Aplausos)

0:12:57.000,0:13:01.000
Obrigado. (Aplausos)