[Esta palestra apresenta conteúdo adulto]

Moritz Riesewieck: Em 23 de março de 2013,

usuários do mundo todo viram
em seu "feed" de notícias,

um vídeo de uma garota jovem sendo
estuprada por um homem mais velho.

Antes de o vídeo ser removido do Facebook,

ele foi compartilhado 16 mil vezes

e ainda recebeu 4 mil curtidas.

Esse vídeo "viralizou" e infectou a rede.

Hans Block: E esse foi o momento
em que nos perguntamos:

como algo assim pôde aparecer no Facebook?

E, ao mesmo tempo, por que não vemos
esse tipo de conteúdo com mais frequência?

Afinal, há muito material
repugnante na internet,

mas por que raramente vemos tais porcarias
no Facebook, Twitter ou Google?

MR: Embora o software
de reconhecimento de imagem

possa identificar
traços de órgãos sexuais,

sangue ou pele nua exposta
em imagens e vídeos,

ele tem uma dificuldade enorme
em distinguir conteúdo pornográfico

de fotos de viagem, estátuas de Adonis

ou campanhas de prevenção
do câncer de mama.

Ele não consegue distinguir
Romeu e Julieta morrendo no palco

de um verdadeiro ataque com faca.

Não consegue distinguir
sátira de propaganda

ou ironia de ódio, e por aí vai.

Portanto, cabe aos seres humanos decidir

qual dos conteúdos suspeitos deve
ser excluído e qual deve ser mantido.

Sabemos muito pouco sobre essas pessoas,
porque elas trabalham em sigilo.

Elas assinam acordos de confidencialidade,

que as proíbem de falar e compartilhar
o que veem na tela delas

e o que este trabalho as faz sentir.

São forçadas a usar palavras de código
para esconder para quem trabalham.

São monitoradas por firmas
de segurança privada

para garantir que elas
não falarão com jornalistas.

E são ameaçadas por multas, caso falem.

Parece ser uma história estranha de crime,

mas é verdadeira.

Essas pessoas existem e são chamadas
de moderadores de conteúdo.

HB: Nós somos os diretores
do documentário "The Cleaners"

e gostaríamos de levá-los a um mundo
que muitos de vocês ainda desconhecem.

Eis um pequeno clipe do nosso filme.

(Música)

(Vídeo) Moderador: Precisamos manter
anonimato porque assinamos um contrato.

Não somos permitidos a anunciar
para quem estamos trabalhando.

Estou falando com vocês

porque o mundo precisa saber
que estamos aqui.

Alguém está verificando as mídias sociais.

Estamos fazendo o melhor para tornar
essa plataforma segura para todos.

Excluir.

Ignorar.

Excluir.

Ignorar.

Excluir.

Ignorar.

Ignorar.

Excluir.

HB: Os chamados moderadores de conteúdo

não recebem seus salários diretamente
do Facebook, Twitter ou Google,

mas de empresas de terceirização
ao redor do mundo

a fim de manter os baixos salários.

Dezenas de milhares de jovens examinando
tudo o que nós não deveríamos ver.

E estamos falando de decapitações,
mutilações, execuções, necrofilia,

tortura, abuso infantil.

Milhares de imagens em um turno:
ignorar, excluir, dia e noite.

E muito disso é feito em Manila,

para onde os resíduos tóxicos analógicos
do Ocidente foram transportados

por navios porta-contêineres durante anos,

agora os resíduos digitais são jogados lá
através de cabos de fibra ótica.

E assim como os catadores vasculham
montes gigantescos de lixo na periferia,

os moderadores de conteúdo clicam
em um oceano tóxico sem fim

de imagens, vídeos e toda a forma
de lixo intelectual,

para que não precisemos olhar para isso.

MR: Mas ao contrário dos catadores,

as feridas dos moderadores de conteúdo
permanecem invisíveis.

Todo esse conteúdo chocante e perturbador

de fotos e vídeos entram na memória deles

e, a qualquer momento,
podem causar efeitos imprevisíveis:

distúrbio alimentar, perda de libido,

transtornos de ansiedade, alcoolismo,

depressão, que pode até levar ao suicídio.

Essas fotos e vídeos os contaminam,
e muitas vezes nunca mais os deixam.

Se não tiverem sorte, podem desenvolver
transtorno de estresse pós-traumático,

como soldados após missões de guerra.

Em nosso filme, contamos
a história de um jovem

que tinha de monitorar transmissões
ao vivo de automutilações

e tentativas de suicídio repetidas vezes,

e que, por fim, acabou cometendo suicídio.

Não é um caso isolado, como nos disseram.

Esse é o preço que todos nós pagamos

para termos mídias sociais consideradas
limpas, seguras e "saudáveis".

Nunca antes na história da humanidade

foi tão fácil atingir milhões de pessoas
do mundo todo em poucos segundos.

O que é publicado nas redes sociais
se espalha muito rapidamente,

se torna viral e excita a mente
das pessoas em todo o mundo.

Antes de ter sido excluído,
muitas vezes já é tarde demais.

Milhões de pessoas já foram
afetadas pelo ódio e pela raiva

ou se tornam ativas na rede
espalhando ou ampliando o ódio

ou elas tomam as ruas à mão armada.

HB: Por isso, há um exército
de moderadores de conteúdo

sentado em frente à tela
para evitar novos danos colaterais.

E eles decidem o mais rápido possível,

se o conteúdo permanece
na plataforma, ignorando-o,

ou se ele deve desaparecer, excluindo-o.

Mas nem toda decisão é tão clara como
aquela sobre um vídeo de abuso infantil.

O que dizer sobre conteúdos
controversos ou ambivalentes

enviados por ativistas de direitos humanos
ou pelo jornalismo cidadão?

Os moderadores de conteúdo
muitas vezes decidem sobre esses casos

na mesma velocidade
que os casos mais claros.

MR: Vamos mostrar um vídeo agora
e pedimos que decidam:

vocês o excluiriam ou não?

(Vídeo) (Som de ataque aéreo)

(Som de explosão)

(Pessoas falando em árabe)

MR: Desfocamos algumas
imagens para mostrar a vocês.

Possivelmente, uma criança
ficaria muito perturbada

e extremamente assustada com tal conteúdo.

Então, vocês prefeririam excluí-lo?

Mas e se esse vídeo pudesse ajudar
a investigar crimes de guerra na Síria?

E se ninguém ouvisse falar
sobre esse ataque aéreo,

porque o Facebook, Youtube,
Twitter decidiram removê-lo?

A Airwars, uma ONG sediada em Londres,

tenta encontrar esses vídeos assim
que são carregados nas mídias sociais,

para arquivá-los.

Porque eles sabem que, cedo ou tarde,

o Facebook, Youtube, Twitter
removeriam esses conteúdos.

Pessoas armadas com seus celulares
podem tornar visível

aquilo que jornalistas
muitas vezes não têm acesso.

Grupos de direitos humanos
geralmente não têm uma opção melhor

para tornar seus registros rapidamente
acessíveis a um grande público

do que publicá-los nas redes sociais.

Não era esse o potencial empoderador
que a "World Wide Web" deveria ter?

Não era esse o sonho que as pessoas
inicialmente tinham quanto à internet?

Será que imagens e vídeos como esses
não podem convencer as pessoas

que se tornaram insensíveis
aos fatos a repensar?

HB: Mas, em vez disso, tudo
que pode ser perturbador é excluído.

E há a mudança geral na sociedade.

Por exemplo, a mídia usa cada vez mais
alertas de gatilho no início dos artigos

que algumas pessoas podem achar
ofensivo ou problemático.

Cada vez mais estudantes nas universidades
dos EUA demandam o banimento do currículo

de clássicos antigos que mostram
violência ou assédio sexual.

Mas até onde devemos ir com isso?

A integridade física é um direito humano
garantido por constituições no mundo todo.

Na Carta dos Direitos
Fundamentais da União Europeia,

esse direito expressamente
se aplica à integridade mental.

Mas ainda que seja difícil prever o efeito
potencialmente traumático das imagens,

queremos mesmo nos tornar tão cautelosos

que arriscamos perder
o senso de injustiça social?

Então o que fazer?

Mark Zuckerberg declarou
recentemente que, no futuro,

nós, usuários deles, ou quase todo mundo

decidiremos individualmente
o que queremos ver na plataforma,

através de filtros personalizados.

Então, todos poderão facilmente
optar por não serem perturbados

por imagens de guerra
ou outros conflitos violentos, como...

MR: Eu sou o tipo de cara
que não se importa em ver seios

e tenho muito interesse
em aquecimento global,

mas eu não gosto tanto de guerra.

HB: Sou o oposto, tenho zero interesse
em seios ou sequer corpos nus.

Mas por que não armas?
Eu gosto de armas, sim.

MR: Fala sério, se não compartilhamos
uma consciência social similar,

como vamos discutir problemas sociais?

Como vamos chamar as pessoas para agir?

Surgiriam ainda mais bolhas isoladas.

Uma das perguntas centrais é:
"Como, no futuro, a liberdade de expressão

será pesada contra a necessidade
de proteção das pessoas?"

É uma questão de princípios.

Queremos criar uma sociedade aberta
ou fechada para o espaço digital?

O cerne da questão é
"liberdade versus segurança".

O Facebook sempre quis ser
uma plataforma "saudável".

Acima de tudo, os usuários devem
se sentir seguros e protegidos.

São as mesmas palavras

que moderadores de conteúdo nas Filipinas
usaram em muitas de nossas entrevistas.

(Vídeo) Homem: Acho que o mundo
em que vivemos não é tão saudável.

(Música)

Nesse mundo, existe realmente um mal.

(Música)

Precisamos prestar atenção nisso.

Precisamos controlar isso, bom ou mau.

(Música)

["Olhe para cima, jovem!", Deus]

MR: Para jovens moderadores nas Filipinas,
um país estritamente católico,

isso está ligado a uma missão cristã:

combater os pecados do mundo
que se espalham pela internet.

"A pureza está ao lado da divindade"
é um ditado popular nas Filipinas.

HB: E outros se motivam comparando-se
com seu presidente Rodrigo Duterte.

Ele governa as Filipinas desde 2016,
e ganhou as eleições com a promessa:

"Farei a limpeza".

Isso significa eliminar os problemas
literalmente matando as pessoas nas ruas,

que supostamente são criminosos,
seja lá o que signifique isso.

Desde que foi eleito, uma estimativa
de 20 mil pessoas foram mortas.

Em nosso filme, um dos moderadores diz:

"O que Duterte faz nas ruas,
eu faço para a Internet".

E aqui estão eles, nossos
autoproclamados super-heróis,

que impõem lei e ordem
em nosso mundo digital.

Eles deixam tudo limpo
e nos libertam de todo o mal.

Tarefas que antes eram reservadas
às autoridades do Estado,

foram assumidas por recém-graduados
com 20 e poucos anos,

qualificados com 3 a 5 dias
de treinamento,

e que trabalham com nada menos
que o resgate do mundo.

MR: As soberanias nacionais foram
terceirizadas a companhias privadas,

que repassam a terceiros
suas responsabilidades.

Ocorre uma terceirização da terceirização.

Com as redes sociais, estamos lidando
com uma infraestrutura completamente nova,

com mecanismos próprios,
lógica de ação própria

e, portanto, novos perigos também,

que não existiam
na esfera pública pré-digital.

HB: Quando Mark Zuckerberg
esteve no Congresso norte-americano

ou no Parlamento Europeu,

foi confrontado com todo tipo de crítica.

E a reação dele foi sempre a mesma:

"Nós vamos consertar isso
e vou acompanhar com a minha equipe".

Mas tal debate não deveria ocorrer
nos bastidores do Facebook,

Twitter ou Google.

Ele deveria ser discutido publicamente
em novos parlamentos cosmopolitas,

em novas instituições que refletem
a diversidade de pessoas,

contribuindo para um projeto
utópico de uma rede global.

Mesmo que pareça impossível considerar
os valores dos usuários do mundo todo,

vale a pena acreditar que há mais
daquilo que nos conecta do que nos separa.

MR: Sim, num momento
em que o populismo ganha força,

torna-se "popular" justificar os sintomas,
erradicá-los, e torná-los invisíveis.

Essa ideologia está se espalhando
em todo o mundo, analógico e digital,

e é nosso dever impedir isso
antes que seja tarde demais.

A questão da liberdade e democracia
não pode ter só estas duas opções.

HB: Excluir...

MR: Ou ignorar.

HB: Muito obrigado.

(Aplausos)