1
00:00:00,000 --> 00:00:03,000
Escrevo livros de suspense e ficção científica,

2
00:00:03,000 --> 00:00:06,000
portanto, se eu disser "robôs assassinos",

3
00:00:06,000 --> 00:00:08,000
você provavelmente pensa em algo assim.

4
00:00:08,000 --> 00:00:10,000
Mas, na verdade, não estou aqui para falar de ficção.

5
00:00:10,000 --> 00:00:14,000
Estou aqui para falar sobre robôs assassinos muito reais,

6
00:00:14,000 --> 00:00:17,000
drones de combate autônomos.

7
00:00:17,000 --> 00:00:20,000
Não me refiro aos drones Predator e Reaper,

8
00:00:20,000 --> 00:00:23,000
que têm um humano tomando decisões sobre o alvo.

9
00:00:23,000 --> 00:00:27,000
Estou falando de armas robóticas completamente autônomas

10
00:00:27,000 --> 00:00:29,000
que tomam decisões letais sobre seres humanos

11
00:00:29,000 --> 00:00:32,000
por si mesmas.

12
00:00:32,000 --> 00:00:36,000
Há na verdade um termo técnico para isso: autonomia letal.

13
00:00:36,000 --> 00:00:38,000
Bem, robôs assassinos com autonomia letal

14
00:00:38,000 --> 00:00:42,000
tomariam muitas formas -- voar, dirigir

15
00:00:42,000 --> 00:00:44,000
ou apenas ficar à espreita.

16
00:00:44,000 --> 00:00:47,000
E, na verdade, eles estão se tornando realidade muito rapidamente.

17
00:00:47,000 --> 00:00:50,000
Estas são duas estações automáticas de tiro

18
00:00:50,000 --> 00:00:54,000
atualmente implantadas na zona desmilitarizada entre a Coreia do Norte e a do Sul.

19
00:00:54,000 --> 00:00:56,000
Essas duas máquinas são capazes de automaticamente

20
00:00:56,000 --> 00:01:00,000
identificar um alvo humano e atirar nele,

21
00:01:00,000 --> 00:01:04,000
aquela, à esquerda, a uma distância de mais de um quilômetro.

22
00:01:04,000 --> 00:01:08,000
Agora, em ambos os casos, ainda há um humano no circuito

23
00:01:08,000 --> 00:01:10,000
para tomar a decisão letal de atirar,

24
00:01:10,000 --> 00:01:15,000
mas isso não é um requisito tecnológico. É uma escolha.

25
00:01:15,000 --> 00:01:19,000
E é nessa escolha em que quero focar,

26
00:01:19,000 --> 00:01:21,000
porque, à medida que transferimos a decisão letal

27
00:01:21,000 --> 00:01:24,000
dos humanos para um programa de computador,

28
00:01:24,000 --> 00:01:28,000
colocamos em risco não só tirar a humanidade da guerra,

29
00:01:28,000 --> 00:01:31,000
mas também alterar nossa paisagem social inteiramente,

30
00:01:31,000 --> 00:01:33,000
longe do campo de batalha.

31
00:01:33,000 --> 00:01:38,000
Isso ocorre porque a maneira como os humanos resolvem conflitos

32
00:01:38,000 --> 00:01:40,000
dá forma à nossa paisagem social.

33
00:01:40,000 --> 00:01:42,000
E o caso foi sempre esse, através da história.

34
00:01:42,000 --> 00:01:45,000
Por exemplo, estes eram sistemas de armamento de primeira linha

35
00:01:45,000 --> 00:01:47,000
em 1400 d.C.

36
00:01:47,000 --> 00:01:50,000
Agora, eles eram muito caros para construir e manter,

37
00:01:50,000 --> 00:01:53,000
mas com eles você poderia dominar a população,

38
00:01:53,000 --> 00:01:57,000
e a distribuição do poder político na sociedade feudal refletiu isso.

39
00:01:57,000 --> 00:02:00,000
O poder estava focado bem no topo.

40
00:02:00,000 --> 00:02:04,000
E o que mudou? Inovação tecnológica.

41
00:02:04,000 --> 00:02:05,000
Pólvora, canhões.

42
00:02:05,000 --> 00:02:09,000
Logo armaduras e castelos estavam obsoletos,

43
00:02:09,000 --> 00:02:12,000
e importava menos quem você trazia para o campo de batalha

44
00:02:12,000 --> 00:02:16,000
do que quantas pessoas você trazia para o campo de batalha.

45
00:02:16,000 --> 00:02:19,000
E, à medida que exércitos cresceram em tamanho, surgiu a nação-estado

46
00:02:19,000 --> 00:02:23,000
como um requisito político e logístico de defesa .

47
00:02:23,000 --> 00:02:25,000
E, à medida que os líderes tiveram que confiar em uma parcela maior da população,

48
00:02:25,000 --> 00:02:27,000
eles começaram a compartilhar o poder.

49
00:02:27,000 --> 00:02:30,000
O governo representativo começou a se formar.

50
00:02:30,000 --> 00:02:33,000
Outra vez, as ferramentas que usamos para resolver conflitos

51
00:02:33,000 --> 00:02:36,000
dão forma à nossa paisagem social.

52
00:02:36,000 --> 00:02:40,000
Armas robóticas autônomas são ferramentas,

53
00:02:40,000 --> 00:02:46,000
apesar de que, ao exigirem poucas pessoas numa guerra,

54
00:02:46,000 --> 00:02:50,000
colocam em risco 'recentralizar' o poder em muito poucas mãos,

55
00:02:50,000 --> 00:02:57,000
possivelmente revertendo uma tendência de cinco séculos em direção à democracia.

56
00:02:57,000 --> 00:02:59,000
Agora, penso que, conhecendo isto,

57
00:02:59,000 --> 00:03:03,000
podemos dar passos decisivos para preservar nossas instituições democráticas,

58
00:03:03,000 --> 00:03:07,000
fazendo o que os humanos fazem melhor, que é adaptar-se.

59
00:03:07,000 --> 00:03:09,000
Mas o tempo é um fator.

60
00:03:09,000 --> 00:03:12,000
Setenta nações estão desenvolvendo, por conta própria,

61
00:03:12,000 --> 00:03:14,000
drones de combate pilotados remotamente,

62
00:03:14,000 --> 00:03:17,000
e, como vocês verão, drones de combate pilotados remotamente

63
00:03:17,000 --> 00:03:21,000
são os precursores das armas robóticas autônomas.

64
00:03:21,000 --> 00:03:24,000
Isso acontece porque, uma vez que você tenha instalado drones pilotados remotamente,

65
00:03:24,000 --> 00:03:27,000
há três fatores poderosos agindo no sentido de que a tomada de decisão

66
00:03:27,000 --> 00:03:32,000
passe dos humanos para a própria plataforma de armas.

67
00:03:32,000 --> 00:03:37,000
O primeiro deles é a inundação de vídeos que os drones produzem.

68
00:03:37,000 --> 00:03:41,000
Por exemplo, em 2004, a frota de drones dos E.U.A. produziu

69
00:03:41,000 --> 00:03:46,000
um total de 71 horas de vídeos de vigilância para análise.

70
00:03:46,000 --> 00:03:51,000
Em 2011, isso tinha aumentado para 300.000 horas,

71
00:03:51,000 --> 00:03:54,000
superando a capacidade humana de revisá-los todos,

72
00:03:54,000 --> 00:03:58,000
mas mesmo esse número deve aumentar drasticamente.

73
00:03:58,000 --> 00:04:00,000
Os programas Gorgon Stare e Argus do Pentagono,

74
00:04:00,000 --> 00:04:03,000
colocarão 65 câmeras operadas independentemente

75
00:04:03,000 --> 00:04:05,000
em cada plataforma de drones,

76
00:04:05,000 --> 00:04:09,000
e isto superará e muito a capacidade humana de revisá-las.

77
00:04:09,000 --> 00:04:11,000
Isso significa que software visual inteligente precisará

78
00:04:11,000 --> 00:04:15,000
verificá-las para itens de interesse.

79
00:04:15,000 --> 00:04:16,000
Isso significa que muito em breve

80
00:04:16,000 --> 00:04:19,000
os drones dirão aos humanos o que olhar,

81
00:04:19,000 --> 00:04:21,000
não o contrário.

82
00:04:21,000 --> 00:04:24,000
Mas há um segundo incentivo poderoso agindo para que

83
00:04:24,000 --> 00:04:27,000
a tomada de decisão passe dos humanos para as máquinas,

84
00:04:27,000 --> 00:04:30,000
que é o congestionamento eletromagnético

85
00:04:30,000 --> 00:04:32,000
interrompendo a conexão entre o drone

86
00:04:32,000 --> 00:04:35,000
e seu operador.

87
00:04:35,000 --> 00:04:38,000
Vimos um exemplo disso, em 2011,

88
00:04:38,000 --> 00:04:41,000
quando o drone Sentinel RQ-170

89
00:04:41,000 --> 00:04:45,000
ficou ligeiramente confuso no Irã, devido a um ataque de 'spoofing' ao GPS,

90
00:04:45,000 --> 00:04:50,000
mas qualquer drone pilotado remotamente é suscetível a esse tipo de ataque,

91
00:04:50,000 --> 00:04:52,000
e isso significa que os drones

92
00:04:52,000 --> 00:04:56,000
terão que ter maior poder de decisão.

93
00:04:56,000 --> 00:04:59,000
Eles conhecerão o objetivo da missão,

94
00:04:59,000 --> 00:05:04,000
e reagirão a novas circunstâncias sem a supervisão humana.

95
00:05:04,000 --> 00:05:06,000
Eles ignorarão sinais externos de rádio

96
00:05:06,000 --> 00:05:09,000
e enviarão muito poucos deles.

97
00:05:09,000 --> 00:05:11,000
O que nos traz, de fato, ao terceiro

98
00:05:11,000 --> 00:05:15,000
e mais poderoso incentivo para transferir a tomada de decisão

99
00:05:15,000 --> 00:05:18,000
dos humanos para as máquinas:

100
00:05:18,000 --> 00:05:21,000
negação plausível.

101
00:05:21,000 --> 00:05:24,000
Atualmente vivemos em uma economia global.

102
00:05:24,000 --> 00:05:28,000
A manufatura de alta tecnologia está ocorrendo na maioria dos continentes.

103
00:05:28,000 --> 00:05:31,000
A espionagem cibernética está espalhando projetos avançados

104
00:05:31,000 --> 00:05:33,000
para partes desconhecidas,

105
00:05:33,000 --> 00:05:35,000
e, neste ambiente, é muito provável

106
00:05:35,000 --> 00:05:40,000
que um bem sucedido projeto de drone, produzido em fábricas terceirizadas,

107
00:05:40,000 --> 00:05:42,000
prolifere no mercado paralelo.

108
00:05:42,000 --> 00:05:45,000
E, nessa situação, vasculhando os escombros

109
00:05:45,000 --> 00:05:48,000
de um ataque sucida de drones, será muito difícil dizer

110
00:05:48,000 --> 00:05:52,000
quem enviou aquela arma.

111
00:05:52,000 --> 00:05:55,000
Isto levanta a possibilidade muito realista

112
00:05:55,000 --> 00:05:58,000
de guerra anônima.

113
00:05:58,000 --> 00:06:00,000
Isso poderia inclinar o equilíbrio geopolítico no topo,

114
00:06:00,000 --> 00:06:04,000
tornar muito difícil para uma nação mirar seu poder de fogo

115
00:06:04,000 --> 00:06:07,000
contra um atacante, e isso poderia alterar o equilíbrio,

116
00:06:07,000 --> 00:06:10,000
no século XXI, da defesa para a ofensa.

117
00:06:10,000 --> 00:06:14,000
Poderia tornar a ação militar uma opção viável

118
00:06:14,000 --> 00:06:16,000
não apenas para nações pequenas,

119
00:06:16,000 --> 00:06:18,000
mas também para organizações criminosas, empresas privadas,

120
00:06:18,000 --> 00:06:21,000
até mesmo para indivíduos poderosos.

121
00:06:21,000 --> 00:06:24,000
Poderia criar uma paisagem de senhores da guerra rivais

122
00:06:24,000 --> 00:06:28,000
enfraquecendo a prevalência da lei e a sociedade civil.

123
00:06:28,000 --> 00:06:31,000
Agora, se responsabilidade e transparência

124
00:06:31,000 --> 00:06:34,000
são as duas pedras fundamentais do governo representativo,

125
00:06:34,000 --> 00:06:38,000
armas robóticas autônomas poderiam enfraquecer ambas.

126
00:06:38,000 --> 00:06:40,000
Bem, vocês podem estar pensando que

127
00:06:40,000 --> 00:06:42,000
cidadãos de nações com alta tecnologia

128
00:06:42,000 --> 00:06:45,000
teriam uma vantagem em qualquer guerra robótica,

129
00:06:45,000 --> 00:06:48,000
que cidadãos dessas nações seriam menos vulneráveis,

130
00:06:48,000 --> 00:06:53,000
particularmente em relação a nações em desenvolvimento.

131
00:06:53,000 --> 00:06:56,000
Mas, penso que a verdade é exatamente o oposto.

132
00:06:56,000 --> 00:06:58,000
Penso que cidadãos de sociedades de alta tecnologia

133
00:06:58,000 --> 00:07:02,000
são mais vulneráveis a armas robóticas,

134
00:07:02,000 --> 00:07:07,000
e a razão pode ser resumida em uma palavra: informação.

135
00:07:07,000 --> 00:07:10,000
A informação dá poder a sociedades de alta tecnologia.

136
00:07:10,000 --> 00:07:13,000
Geolocalização por celular, metadados de telecomunicação,

137
00:07:13,000 --> 00:07:17,000
mídia social, email, mensagem de texto, dados de transações financeiras,

138
00:07:17,000 --> 00:07:21,000
dados de transportes, é uma riqueza de dados em tempo real

139
00:07:21,000 --> 00:07:24,000
dos movimentos e interações sociais das pessoas.

140
00:07:24,000 --> 00:07:27,000
Em resumo, somos mais visíveis para as máquinas

141
00:07:27,000 --> 00:07:30,000
que qualquer outro povo na história,

142
00:07:30,000 --> 00:07:35,000
e isso se encaixa perfeitamente nas necessidades-alvo de armas autônomas.

143
00:07:35,000 --> 00:07:37,000
O que estão vendo aqui

144
00:07:37,000 --> 00:07:40,000
é um mapa com a análise das ligações de um grupo social.

145
00:07:40,000 --> 00:07:44,000
As linhas indicam a conectividade social entre indivíduos.

146
00:07:44,000 --> 00:07:47,000
E esses tipos de mapas podem ser gerados automaticamente

147
00:07:47,000 --> 00:07:51,000
baseados no rastro de dados que as pessoas modernas deixam para trás.

148
00:07:51,000 --> 00:07:54,000
Agora, isso é tipicamente usado para propaganda de bens e serviços

149
00:07:54,000 --> 00:07:58,000
para populações alvo, mas é uma tecnologia de uso duplo

150
00:07:58,000 --> 00:08:02,000
porque o alvo é usado em outro contexto.

151
00:08:02,000 --> 00:08:04,000
Observe que certos indivíduos estão destacados.

152
00:08:04,000 --> 00:08:08,000
Estes são os centros de redes sociais.

153
00:08:08,000 --> 00:08:11,000
Eles são organizadores, formadores de opinião, líderes,

154
00:08:11,000 --> 00:08:14,000
e essas pessoas também podem ser automaticamente identificadas

155
00:08:14,000 --> 00:08:16,000
pelos seus padrões de comunicação.

156
00:08:16,000 --> 00:08:18,000
Agora, se você é um marqueteiro, você pode atingi-las

157
00:08:18,000 --> 00:08:21,000
com amostras de produtos, tentar espalhar sua marca

158
00:08:21,000 --> 00:08:24,000
através do grupo social deles.

159
00:08:24,000 --> 00:08:26,000
Mas, se você é um governo repressor

160
00:08:26,000 --> 00:08:30,000
procurando inimigos políticos, você pode ao invés removê-los,

161
00:08:30,000 --> 00:08:33,000
eliminá-los, destruir o grupo social deles,

162
00:08:33,000 --> 00:08:36,000
e aqueles que restarem perdem a coesão social

163
00:08:36,000 --> 00:08:39,000
e a organização.

164
00:08:39,000 --> 00:08:42,000
Agora, em um mundo onde proliferam armas robóticas baratas,

165
00:08:42,000 --> 00:08:45,000
as fronteiras ofereceriam muito pouca proteção

166
00:08:45,000 --> 00:08:47,000
para críticos de governos distantes

167
00:08:47,000 --> 00:08:51,000
ou organizações criminosas transnacionais.

168
00:08:51,000 --> 00:08:54,000
Movimentos populares se agitando por mudança

169
00:08:54,000 --> 00:08:58,000
poderiam ser detectados logo, e seus líderes eliminados

170
00:08:58,000 --> 00:09:01,000
antes que suas ideias atinjam massa crítica.

171
00:09:01,000 --> 00:09:03,000
E ideias atingindo massa crítica

172
00:09:03,000 --> 00:09:07,000
tem tudo a ver com ativismo político em governos populares.

173
00:09:07,000 --> 00:09:11,000
Armas letais anônimas poderiam tornar a ação letal

174
00:09:11,000 --> 00:09:15,000
uma escolha fácil para todos os tipos de interesses concorrentes.

175
00:09:15,000 --> 00:09:19,000
E isso congelaria o discurso livre

176
00:09:19,000 --> 00:09:24,000
e a ação política popular, o próprio coração da democracia.

177
00:09:24,000 --> 00:09:27,000
E é por isto que precisamos de um tratado internacional

178
00:09:27,000 --> 00:09:30,000
sobre armas robóticas, e, em particular, o banimento global

179
00:09:30,000 --> 00:09:34,000
do desenvolvimento e implantação de robôs assassinos.

180
00:09:34,000 --> 00:09:38,000
Agora, nós já temos tratados internacionais

181
00:09:38,000 --> 00:09:41,000
sobre armas nucleares e biológicas, e, ainda que imperfeitos,

182
00:09:41,000 --> 00:09:43,000
eles têm funcionado amplamente.

183
00:09:43,000 --> 00:09:47,000
Mas as armas robóticas podem ser um pouco mais perigosas,

184
00:09:47,000 --> 00:09:50,000
porque elas serão usadas quase que com certeza,

185
00:09:50,000 --> 00:09:55,000
e elas também seriam corrosivas para nossas instituições democráticas.

186
00:09:55,000 --> 00:09:59,000
Agora, em novembro de 2012, o Departamento de Defesa dos EUA

187
00:09:59,000 --> 00:10:01,000
emitiu uma diretriz exigindo

188
00:10:01,000 --> 00:10:06,000
que um ser humano esteja presente em todas as decisões letais.

189
00:10:06,000 --> 00:10:11,000
Temporariamente, isto de fato baniu armas autônomas nas forças militares dos EUA,

190
00:10:11,000 --> 00:10:14,000
mas essa diretriz precisa tornar-se permanente.

191
00:10:14,000 --> 00:10:19,000
E ela poderia preparar o palco para a ação global.

192
00:10:19,000 --> 00:10:22,000
Porque precisamos de uma estrutura legal internacional

193
00:10:22,000 --> 00:10:25,000
para armas robóticas.

194
00:10:25,000 --> 00:10:28,000
E precisamos disto agora, antes que haja um ataque devastador

195
00:10:28,000 --> 00:10:31,000
ou um incidente terrorista que provoque uma corrida

196
00:10:31,000 --> 00:10:33,000
entre as nações do mundo para adotar essas armas,

197
00:10:33,000 --> 00:10:36,000
antes de pensar nas consequências.

198
00:10:36,000 --> 00:10:39,000
Armas robóticas autônomas concentram poder demais

199
00:10:39,000 --> 00:10:46,000
em poucas mãos, e poderiam pôr em risco a própria democracia.

200
00:10:46,000 --> 00:10:48,000
Agora, não me entendam mal, penso que há toneladas

201
00:10:48,000 --> 00:10:51,000
de ótimos usos para drones civis desarmados:

202
00:10:51,000 --> 00:10:55,000
monitoramento ambiental, busca e resgate, logística.

203
00:10:55,000 --> 00:10:58,000
Se tivermos um tratado internacional sobre armas robóticas,

204
00:10:58,000 --> 00:11:01,000
como obtemos os benefícios de drones e veículos autônomos

205
00:11:01,000 --> 00:11:04,000
e ainda nos protegemos

206
00:11:04,000 --> 00:11:08,000
contra armas robóticas ilegais?

207
00:11:08,000 --> 00:11:13,000
Penso que o segredo será a transparência.

208
00:11:13,000 --> 00:11:16,000
Nenhum robô deveria ter expectativa de privacidade

209
00:11:16,000 --> 00:11:19,000
em local público.

210
00:11:19,000 --> 00:11:23,000
(Aplausos)

211
00:11:24,000 --> 00:11:26,000
Cada robô e drone deveriam ter

212
00:11:26,000 --> 00:11:29,000
uma assinatura de identificação criptografada e marcada na fábrica

213
00:11:29,000 --> 00:11:32,000
que pudesse ser usada para rastrear seus movimentos em espaços públicos.

214
00:11:32,000 --> 00:11:35,000
Temos placas em carros, números em aeronaves.

215
00:11:35,000 --> 00:11:37,000
Isto não é diferente.

216
00:11:37,000 --> 00:11:39,000
E cada cidadão deveria ser capaz de baixar um aplicativo

217
00:11:39,000 --> 00:11:42,000
que mostrasse a população de drones e veículos autônomos

218
00:11:42,000 --> 00:11:45,000
transitando em espaços públicos ao redor delas,

219
00:11:45,000 --> 00:11:48,000
tanto naquele momento quanto o histórico dessa movimentação.

220
00:11:48,000 --> 00:11:51,000
E líderes civis deveriam instalar sensores e drones civis

221
00:11:51,000 --> 00:11:53,000
para detectar drones intrusos,

222
00:11:53,000 --> 00:11:57,000
que, em vez de enviar drones assassinos próprios para abatê-los,

223
00:11:57,000 --> 00:12:00,000
deveriam notificar os humanos da presença deles.

224
00:12:00,000 --> 00:12:02,000
E, em certas áreas de segurança máxima,

225
00:12:02,000 --> 00:12:04,000
talvez drones civis pudessem emboscá-los

226
00:12:04,000 --> 00:12:07,000
e arrastá-los para instalações de descarte de bombas.

227
00:12:07,000 --> 00:12:10,000
Mas vejam, isto é mais um sistema imunológico

228
00:12:10,000 --> 00:12:11,000
que um sistema de armamento.

229
00:12:11,000 --> 00:12:14,000
Ele nos permitiria o benefício do uso

230
00:12:14,000 --> 00:12:16,000
de veículos autônomos e drones

231
00:12:16,000 --> 00:12:20,000
e ainda a preservação de nossa sociedade civil e aberta.

232
00:12:20,000 --> 00:12:23,000
Devemos banir a instalação e o desenvolvimento

233
00:12:23,000 --> 00:12:25,000
de robôs assassinos.

234
00:12:25,000 --> 00:12:30,000
Não vamos sucumbir à tentação de automatizar a guerra.

235
00:12:30,000 --> 00:12:33,000
Governos autocráticos e organizações criminosas,

236
00:12:33,000 --> 00:12:36,000
sem dúvida, vão, mas não vamos nos juntar a eles.

237
00:12:36,000 --> 00:12:38,000
Armas robóticas autônomas

238
00:12:38,000 --> 00:12:40,000
concentrariam poder demais

239
00:12:40,000 --> 00:12:42,000
em poucas mãos não vistas,

240
00:12:42,000 --> 00:12:45,000
e isso seria corrosivo para o governo representativo.

241
00:12:45,000 --> 00:12:48,000
Vamos nos certificar, para democracias ao menos,

242
00:12:48,000 --> 00:12:51,000
de que robôs assassinos continuem sendo ficção.

243
00:12:51,000 --> 00:12:52,000
Obrigado.

244
00:12:52,000 --> 00:12:57,000
(Aplausos)

245
00:12:57,000 --> 00:13:01,000
Obrigado. (Aplausos)