1
00:00:00,225 --> 00:00:03,502
[Esta palestra apresenta conteúdo adulto]

2
00:00:05,762 --> 00:00:08,784
Rana Ayyub é uma jornalista na Índia

3
00:00:08,784 --> 00:00:11,380
cujo trabalho expôs a corrupção do governo

4
00:00:12,411 --> 00:00:14,568
e violações de direitos humanos.

5
00:00:14,990 --> 00:00:15,987
E ao longo dos anos,

6
00:00:15,987 --> 00:00:20,134
ela se acostumou com criticismo severo
e controvérsia em torno de seu trabalho.

7
00:00:20,149 --> 00:00:25,258
Mas nada disso poderia tê-la preparado
para o que enfrentou em abril de 2018.

8
00:00:26,125 --> 00:00:29,836
Ela estava num café com um amigo
quando viu pela primeira vez

9
00:00:29,836 --> 00:00:34,743
um vídeo de dois minutos
e vinte segundos dela num ato sexual.

10
00:00:35,188 --> 00:00:37,597
Não acreditou no que estava vendo.

11
00:00:37,597 --> 00:00:39,834
Ela nunca fez um vídeo de sexo.

12
00:00:40,506 --> 00:00:44,011
Mas, infelizmente, milhares de pessoas

13
00:00:44,011 --> 00:00:45,661
acreditaram que era ela.

14
00:00:46,673 --> 00:00:49,677
Entrevistei a Sra. Ayyub
cerca de três meses atrás,

15
00:00:49,677 --> 00:00:52,145
em conexão com meu livro
sobre privacidade sexual.

16
00:00:52,681 --> 00:00:56,189
Sou professora de direito, advogada
e defensora dos direitos civis.

17
00:00:56,204 --> 00:01:00,895
É incrivelmente frustrante saber que agora

18
00:01:00,895 --> 00:01:03,377
a lei pode fazer muito pouco pra ajudá-la.

19
00:01:03,458 --> 00:01:05,065
E enquanto conversávamos,

20
00:01:05,065 --> 00:01:09,541
ela explicou que deveria ter
previsto o vídeo de sexo falso.

21
00:01:10,038 --> 00:01:15,664
Ela disse: "Afinal, sexo costuma ser usado
para humilhar e envergonhar as mulheres,

22
00:01:15,664 --> 00:01:18,126
especialmente mulheres de minorias,

23
00:01:18,126 --> 00:01:22,472
e especialmente as que ousam
desafiar homens poderosos",

24
00:01:22,472 --> 00:01:24,419
como ela fazia em seu trabalho.

25
00:01:25,191 --> 00:01:29,167
O vídeo de sexo falso
se tornou viral em 48 horas.

26
00:01:30,064 --> 00:01:35,411
Todas as suas contas on-line foram
inundadas com capturas de tela do vídeo,

27
00:01:35,411 --> 00:01:38,072
ameaças explícitas de estupro e morte

28
00:01:38,072 --> 00:01:40,579
e com insultos à sua fé muçulmana.

29
00:01:41,426 --> 00:01:46,020
Postagens on-line sugeriam que ela
estava "disponível" para o sexo.

30
00:01:46,020 --> 00:01:47,674
E ela tinha sido "doxed",

31
00:01:47,674 --> 00:01:50,496
ou seja, o número de celular
e o endereço residencial dela

32
00:01:50,496 --> 00:01:52,196
foram espalhados pela internet.

33
00:01:52,879 --> 00:01:56,963
O vídeo foi compartilhado
mais de 40 mil vezes.

34
00:01:57,760 --> 00:02:01,756
Quando alguém é alvo
desse tipo de ataque cibernético,

35
00:02:01,756 --> 00:02:03,783
o dano é profundo.

36
00:02:04,482 --> 00:02:07,521
A vida de Rana Ayyub
virou de cabeça para baixo.

37
00:02:08,211 --> 00:02:11,545
Por semanas, ela mal podia comer ou falar.

38
00:02:11,919 --> 00:02:15,648
Ela parou de escrever e cancelou
todas as contas de rede social,

39
00:02:15,648 --> 00:02:18,790
algo difícil de fazer
quando se é jornalista.

40
00:02:19,188 --> 00:02:22,712
Ela tinha medo de sair
da casa de sua família.

41
00:02:22,712 --> 00:02:25,718
E se aquelas ameaças fossem cumpridas?

42
00:02:26,395 --> 00:02:30,810
O Conselho de Direitos Humanos da ONU
confirmou que ela não estava exagerando.

43
00:02:30,810 --> 00:02:35,421
Emitiu uma declaração pública dizendo que
estavam preocupados com a segurança dela.

44
00:02:36,776 --> 00:02:41,065
Rana Ayyub enfrentou um "deepfake":

45
00:02:41,065 --> 00:02:43,629
tecnologia de aprendizado de máquina

46
00:02:43,629 --> 00:02:47,744
que manipula ou fabrica
gravações de áudio e vídeo

47
00:02:47,744 --> 00:02:50,491
mostrando pessoas fazendo e dizendo coisas

48
00:02:50,491 --> 00:02:52,341
que elas nunca fizeram ou disseram.

49
00:02:52,807 --> 00:02:56,208
Deepfakes parecem autênticos
e realistas, mas não são,

50
00:02:56,208 --> 00:02:57,964
são falsidades totais.

51
00:02:59,228 --> 00:03:03,072
Embora a tecnologia ainda esteja
se desenvolvendo em sofisticação,

52
00:03:03,072 --> 00:03:04,660
ela está amplamente disponível.

53
00:03:05,371 --> 00:03:08,473
O interesse mais recente
aos deepfakes surgiu,

54
00:03:08,473 --> 00:03:10,698
como muitas coisas on-line,

55
00:03:10,698 --> 00:03:11,907
com a pornografia.

56
00:03:12,498 --> 00:03:14,679
No início de 2018,

57
00:03:14,679 --> 00:03:17,181
alguém postou uma ferramenta no Reddit

58
00:03:17,181 --> 00:03:21,607
permitindo que os usuários pusessem
rostos em vídeos pornográficos.

59
00:03:21,607 --> 00:03:25,031
E o que se seguiu foi uma cascata
de vídeos pornográficos falsos

60
00:03:25,031 --> 00:03:27,922
apresentando as celebridades
femininas favoritas das pessoas.

61
00:03:28,712 --> 00:03:32,239
E hoje, podemos acessar o YouTube
e assistir a inúmeros tutoriais

62
00:03:32,239 --> 00:03:34,529
com instruções passo a passo

63
00:03:34,529 --> 00:03:37,686
de como fazer um deepfake no computador.

64
00:03:38,260 --> 00:03:41,966
Em breve poderemos fazê-lo
em nosso telefone celular.

65
00:03:43,072 --> 00:03:48,504
A interação de algumas de nossas
fragilidades humanas mais básicas

66
00:03:48,504 --> 00:03:50,220
com ferramentas de rede

67
00:03:50,220 --> 00:03:52,900
podem transformar deepfakes em armas.

68
00:03:52,900 --> 00:03:54,454
Deixem-me explicar.

69
00:03:54,875 --> 00:03:59,441
Como seres humanos, temos
uma reação visceral ao áudio e vídeo.

70
00:03:59,860 --> 00:04:01,398
Acreditamos que são verdadeiros,

71
00:04:01,398 --> 00:04:03,490
já que é claro que podemos acreditar

72
00:04:03,490 --> 00:04:05,952
no que nossos olhos e ouvidos
estão nos dizendo.

73
00:04:06,476 --> 00:04:08,235
E é esse mecanismo

74
00:04:08,235 --> 00:04:11,937
que pode comprometer
nosso senso comum de realidade.

75
00:04:11,937 --> 00:04:15,148
Embora acreditemos que deepfakes
sejam verdadeiros, eles não são.

76
00:04:15,604 --> 00:04:19,761
E nós somos atraídos
pelo obsceno e provocante.

77
00:04:20,365 --> 00:04:23,492
Tendemos a acreditar
e compartilhar informações

78
00:04:23,492 --> 00:04:25,459
negativas e novas.

79
00:04:25,809 --> 00:04:30,858
Pesquisadores descobriram que os boatos
on-line se espalham dez vezes mais rápido

80
00:04:30,858 --> 00:04:32,479
do que histórias verdadeiras.

81
00:04:34,015 --> 00:04:38,445
Também somos atraídos por informações

82
00:04:38,445 --> 00:04:40,991
alinhadas com nossos pontos de vista.

83
00:04:40,991 --> 00:04:44,511
Psicólogos chamam essa tendência
de "viés de confirmação".

84
00:04:45,300 --> 00:04:49,727
E as plataformas de rede social
sobrecarregam essa tendência,

85
00:04:49,727 --> 00:04:53,622
permitindo compartilhar informações,
instantaneamente e amplamente,

86
00:04:53,622 --> 00:04:55,958
que estejam de acordo com nossa opinião.

87
00:04:56,735 --> 00:05:02,303
Deepfakes têm o potencial de causar
graves danos individuais e sociais.

88
00:05:03,204 --> 00:05:05,268
Então, imaginem um deepfake

89
00:05:05,268 --> 00:05:09,794
que mostre soldados norte-americanos
no Afeganistão queimando um Alcorão.

90
00:05:10,807 --> 00:05:15,541
Podem imaginar que esse deepfake
provocaria violência contra eles.

91
00:05:15,847 --> 00:05:18,770
E se no dia seguinte

92
00:05:18,770 --> 00:05:21,038
há outro deepfake,

93
00:05:21,038 --> 00:05:26,749
mostrando um imame que mora em Londres
enaltecendo o ataque a esses soldados?

94
00:05:27,617 --> 00:05:30,830
Poderíamos ver violência e agitação civil,

95
00:05:30,830 --> 00:05:34,113
não só no Afeganistão e no Reino Unido,

96
00:05:34,113 --> 00:05:35,782
mas em todo o mundo.

97
00:05:36,251 --> 00:05:39,169
E vocês podem me dizer:
"Deixe disso, Danielle, é exagero".

98
00:05:39,740 --> 00:05:40,854
Mas não é.

99
00:05:41,293 --> 00:05:43,544
Vimos mentiras espalhadas

100
00:05:43,544 --> 00:05:46,280
no WhatsApp e outros serviços
de mensagens on-line

101
00:05:46,280 --> 00:05:49,075
levarem à violência
contra minorias étnicas.

102
00:05:49,075 --> 00:05:50,946
E isso era apenas um texto!

103
00:05:50,950 --> 00:05:52,974
imaginem se fosse um vídeo.

104
00:05:54,593 --> 00:05:59,990
Deepfakes têm o potencial
de corroer a confiança que temos

105
00:05:59,990 --> 00:06:01,966
em instituições democráticas.

106
00:06:03,006 --> 00:06:05,673
Imaginem a véspera de uma eleição.

107
00:06:05,996 --> 00:06:09,274
Há um deepfake mostrando
um dos principais candidatos do partido

108
00:06:09,274 --> 00:06:10,688
gravemente doente.

109
00:06:11,202 --> 00:06:13,595
O deepfake pode derrubar a eleição

110
00:06:13,595 --> 00:06:16,934
e abalar nossa noção
de que as eleições são legítimas.

111
00:06:18,515 --> 00:06:21,881
Imaginem se na véspera
de uma oferta pública inicial, ou OPI,

112
00:06:21,881 --> 00:06:24,278
de um grande banco global

113
00:06:24,278 --> 00:06:30,591
há um deepfake mostrando o CEO do banco
dizendo embriagado teorias de conspiração.

114
00:06:30,887 --> 00:06:34,014
O deepfake pode detonar a OPI,

115
00:06:34,014 --> 00:06:38,153
e pior, abalar nossa noção de que
os mercados financeiros são estáveis.

116
00:06:39,395 --> 00:06:46,404
Deepfakes podem explorar e ampliar
a profunda desconfiança que já temos

117
00:06:46,404 --> 00:06:50,612
de políticos, líderes empresariais
e outros líderes influentes.

118
00:06:50,945 --> 00:06:54,559
Eles encontram uma plateia
preparada para acreditar neles.

119
00:06:55,287 --> 00:06:58,052
A busca pela verdade também está em jogo.

120
00:06:59,077 --> 00:07:02,701
Tecnólogos preveem
que, com os avanços na IA,

121
00:07:02,701 --> 00:07:06,387
logo poderá ser difícil, senão impossível,

122
00:07:06,387 --> 00:07:10,140
distinguir um vídeo real de um falso.

123
00:07:11,022 --> 00:07:16,363
Então, como a verdade pode emergir
num mercado repleto de deepfakes?

124
00:07:16,752 --> 00:07:20,212
Vamos então apenas pegar o caminho
de menor resistência,

125
00:07:20,212 --> 00:07:22,673
acreditar no que quisermos acreditar,

126
00:07:22,673 --> 00:07:24,227
e dane-se a verdade?

127
00:07:24,831 --> 00:07:28,046
E podemos não apenas acreditar na mentira,

128
00:07:28,046 --> 00:07:31,356
mas começar a não acreditar na verdade.

129
00:07:31,887 --> 00:07:36,006
Já vimos pessoas recorrendo
ao fenômeno dos deepfakes

130
00:07:36,006 --> 00:07:39,960
para lançar dúvidas em evidências reais
de suas transgressões.

131
00:07:39,960 --> 00:07:45,963
Vimos políticos falarem sobre o áudio
de seus comentários constrangedores:

132
00:07:45,963 --> 00:07:47,713
"Vamos lá, são notícias falsas.

133
00:07:47,713 --> 00:07:52,177
Não podem acreditar no que seus olhos
e ouvidos estão dizendo a você".

134
00:07:52,402 --> 00:07:54,213
E é esse perigo

135
00:07:54,213 --> 00:07:59,683
que o professor Robert Chesney e eu
chamamos de "dividendo do mentiroso":

136
00:07:59,683 --> 00:08:03,004
o risco de que os mentirosos
recorram a deepfakes

137
00:08:03,004 --> 00:08:05,903
para escapar da responsabilização
por seus erros.

138
00:08:06,963 --> 00:08:10,034
Nosso trabalho ficou mais difícil,
não há dúvida sobre isso.

139
00:08:10,606 --> 00:08:13,991
E vamos precisar de uma solução proativa

140
00:08:13,991 --> 00:08:17,496
de empresas de tecnologia, legisladores,

141
00:08:17,496 --> 00:08:19,474
agentes da lei e da mídia.

142
00:08:20,093 --> 00:08:24,109
Também de uma dose saudável
de resiliência social.

143
00:08:25,506 --> 00:08:29,462
Estamos agora envolvidos
numa discussão muito pública

144
00:08:29,462 --> 00:08:32,339
sobre a responsabilidade
das empresas de tecnologia.

145
00:08:32,926 --> 00:08:36,028
E meu conselho
para plataformas de rede social

146
00:08:36,028 --> 00:08:39,895
tem sido alterar os termos de serviço
e as diretrizes da comunidade

147
00:08:39,895 --> 00:08:42,215
para proibir deepfakes que causem danos.

148
00:08:42,712 --> 00:08:46,722
Essa determinação
exigirá julgamento humano

149
00:08:46,722 --> 00:08:48,267
e ela é cara.

150
00:08:48,673 --> 00:08:50,998
Mas precisamos de seres humanos

151
00:08:50,998 --> 00:08:54,915
para examinar o conteúdo
e o contexto de um deepfake

152
00:08:54,915 --> 00:08:58,621
e descobrir se é uma falsificação danosa

153
00:08:58,621 --> 00:09:02,967
ou uma sátira válida, arte ou educação.

154
00:09:04,118 --> 00:09:05,613
E quanto à lei?

155
00:09:06,666 --> 00:09:09,015
A lei é nosso educador.

156
00:09:09,515 --> 00:09:13,613
Nos ensina o que é prejudicial
e o que está errado.

157
00:09:13,613 --> 00:09:20,512
Modela o comportamento, punindo os autores
e garantindo soluções para as vítimas.

158
00:09:21,148 --> 00:09:25,428
No momento, a lei não está à altura
do desafio dos deepfakes.

159
00:09:26,116 --> 00:09:27,546
Em todo o mundo,

160
00:09:27,546 --> 00:09:30,034
nos faltam leis adequadas

161
00:09:30,034 --> 00:09:33,608
para enfrentar falsificações digitais

162
00:09:33,608 --> 00:09:35,863
que invadem a privacidade sexual,

163
00:09:35,863 --> 00:09:37,284
prejudicam reputações

164
00:09:37,284 --> 00:09:39,209
e causam sofrimento emocional.

165
00:09:39,725 --> 00:09:43,598
O que aconteceu com Rana Ayyub
é cada vez mais comum.

166
00:09:44,074 --> 00:09:46,348
Mas quando ela procurou
as autoridades em Deli,

167
00:09:46,348 --> 00:09:48,447
lhe foi dito que nada poderia ser feito.

168
00:09:49,101 --> 00:09:54,574
E o triste é que aconteceria o mesmo
nos Estados Unidos e na Europa.

169
00:09:55,300 --> 00:09:59,656
Portanto, temos um vácuo legal
que precisa ser preenchido.

170
00:10:00,292 --> 00:10:04,414
A Dra. Mary Anne Franks e eu trabalhamos
com legisladores norte-americanos

171
00:10:04,414 --> 00:10:09,272
para criar uma legislação que proíba
falsificações digitais nocivas,

172
00:10:09,272 --> 00:10:11,769
equiparáveis a roubo de identidade.

173
00:10:12,252 --> 00:10:14,438
E temos visto movimentos semelhantes

174
00:10:14,438 --> 00:10:17,703
na Islândia, Reino Unido e Austrália.

175
00:10:18,157 --> 00:10:22,216
Mas é claro, é apenas uma pequena parte
do quebra-cabeça regulatório.

176
00:10:22,911 --> 00:10:26,130
Sei que a lei não é uma panaceia, certo?

177
00:10:26,130 --> 00:10:28,084
É um instrumento contundente.

178
00:10:28,346 --> 00:10:30,365
E temos que usá-la com sabedoria.

179
00:10:30,411 --> 00:10:33,223
Ela também tem impedimentos práticos.

180
00:10:33,657 --> 00:10:38,891
Não podemos aplicar a lei contra pessoas
que não podemos identificar e encontrar.

181
00:10:39,463 --> 00:10:44,559
E se um criminoso não mora
no mesmo país que a vítima,

182
00:10:44,597 --> 00:10:50,190
talvez não consigamos fazer com que venha
enfrentar a justiça num tribunal local.

183
00:10:50,236 --> 00:10:54,299
E assim vamos precisar
de uma resposta internacional coordenada.

184
00:10:55,819 --> 00:10:59,152
A educação também deve
fazer parte da nossa resposta.

185
00:10:59,803 --> 00:11:03,584
Agentes não aplicarão leis

186
00:11:03,584 --> 00:11:05,106
que eles não conhecem,

187
00:11:05,106 --> 00:11:07,636
nem resolverão problemas
que eles não entendem.

188
00:11:08,376 --> 00:11:10,767
Na minha pesquisa
sobre perseguição cibernética,

189
00:11:10,767 --> 00:11:14,150
descobri que os agentes
não tinham treinamento

190
00:11:14,150 --> 00:11:16,756
para entender as leis disponíveis

191
00:11:16,756 --> 00:11:19,119
e o problema do abuso on-line.

192
00:11:19,119 --> 00:11:21,825
E tantas vezes eles disseram às vítimas:

193
00:11:21,825 --> 00:11:25,770
"Apenas desligue o computador.
Ignore. Vai passar".

194
00:11:26,261 --> 00:11:28,727
E vimos isso no caso de Rana Ayyub.

195
00:11:29,102 --> 00:11:32,600
Foi-lhe dito: "Você está fazendo
o maior drama sobre isso.

196
00:11:32,600 --> 00:11:34,757
São meninos sendo meninos".

197
00:11:35,268 --> 00:11:40,520
E então precisamos emparelhar a nova
legislação com esforços no treinamento.

198
00:11:42,053 --> 00:11:45,482
E a educação também deve
ser destinada para a mídia.

199
00:11:46,180 --> 00:11:50,520
Jornalistas precisam aprender
sobre o fenômeno dos deepfakes

200
00:11:50,520 --> 00:11:53,503
para que não os amplifiquem e espalhem.

201
00:11:54,313 --> 00:11:56,511
Esta é a parte em que estamos
todos envolvidos.

202
00:11:56,511 --> 00:12:00,630
Cada um de nós precisa de educação.

203
00:12:01,375 --> 00:12:05,050
Clicamos, compartilhamos,
curtimos algo e nem pensamos nisso.

204
00:12:05,551 --> 00:12:07,478
Nós precisamos fazer melhor.

205
00:12:07,726 --> 00:12:11,015
Precisamos de um radar
muito melhor para mentira.

206
00:12:13,744 --> 00:12:17,605
Enquanto trabalharmos nessas soluções,

207
00:12:17,609 --> 00:12:20,172
haverá muito sofrimento para superar.

208
00:12:21,093 --> 00:12:23,839
Rana Ayyub ainda está
enfrentando as consequências.

209
00:12:24,669 --> 00:12:28,858
Ainda não se sente livre
para se expressar on-line e off-line.

210
00:12:29,566 --> 00:12:30,971
E como me disse,

211
00:12:30,971 --> 00:12:36,109
ela ainda sente como se houvesse
milhares de olhos observando seu corpo nu,

212
00:12:36,109 --> 00:12:39,714
embora, racionalmente,
saiba que não era o corpo dela.

213
00:12:40,371 --> 00:12:42,780
E ela tem ataques de pânico frequentes,

214
00:12:42,780 --> 00:12:46,884
especialmente quando alguém que ela
não conhece tenta tirar uma foto dela.

215
00:12:46,884 --> 00:12:50,379
"E se fizerem outro deepfake?", ela pensa.

216
00:12:51,082 --> 00:12:55,053
Então, pelo bem de pessoas como Rana Ayyub

217
00:12:55,053 --> 00:12:56,983
e pelo bem da nossa democracia,

218
00:12:57,393 --> 00:12:59,599
precisamos fazer algo agora.

219
00:12:59,599 --> 00:13:00,764
Obrigada.

220
00:13:00,764 --> 00:13:03,246
(Aplausos)