[Cette intervention contient du contenu réservé aux adultes]
Moritz Riesewieck : Le 23 mars 2013,
des utilisateurs du monde entier ont découvert dans leur fil d'actualités
la vidéo d'une jeune fille se faisant violer par un homme plus âgé.
Avant que cette vidéo ne soit retirée de Facebook,
elle avait déjà été partagée 16 000 fois
et avait même été aimée 4 000 fois.
La vidéo est devenue virale et a infecté internet.
Hans Block : C'est le moment où nous nous sommes demandé :
comment une telle chose a-t-elle pu arriver sur Facebook ?
Et en même temps,
pourquoi ne voyons-nous pas des contenus similaires plus souvent ?
Il y a beaucoup de contenus révoltants en ligne,
mais pourquoi voyons-nous si rarement
de telles merdes sur Facebook, Twitter ou Google ?
MR : Si les logiciels de reconnaissance des images
peuvent identifier l’esquisse d'organes sexuels,
de sang ou de peau nue dans des images et des vidéos,
ils ont d'immenses difficultés à distinguer du contenu pornographique
de photos de vacances, de statues d'Adonis
ou de campagnes de dépistage du cancer du sein.
Ils ne peuvent pas distinguer Roméo et Juliette mourant sur scène
d'une vraie attaque au couteau.
Ils ne peuvent pas distinguer la satire de la propagande
ou l'ironie de la haine et ainsi de suite.
Par conséquent, des êtres humains sont nécessaires pour décider
quels contenus suspicieux doivent être supprimés
et lesquels doivent être conservés.
Des êtres humains au sujet desquels nous ne savons presque rien
car ils travaillent dans le secret.
Ils signent des accords de confidentialité
qui leur interdisent de parler ou de partager
ce qu'ils voient sur leur écran et ce que ce travail leur fait.
Ils sont obligés d'utiliser des codes pour dissimuler pour qui ils travaillent.
Ils sont surveillés par des sociétés de sécurité privée
afin d'assurer qu'ils ne parlent pas à des journalistes.
Ils sont menacés d'amende s'ils parlent.
Tout cela semble être une histoire policière étrange,
mais c'est vrai.
Ces gens existent
et ils sont appelés modérateurs de contenu.
HB : Nous sommes les réalisateurs du documentaire « The Cleaners »
et nous aimerions vous emmener
dans un monde que beaucoup ne connaissent pas encore.
Voici un court extrait de notre film.
(Musique)
(Vidéo) Modérateur : Je dois être anonyme car nous avons signé un contrat.
Nous n'avons pas le droit de déclarer avec qui nous travaillons.
Je vous parle
car le monde devrait savoir que nous existons.
Il y a quelqu'un qui vérifie les réseaux sociaux.
Nous faisons de notre mieux pour rendre cette plateforme
sûre pour tous.
Supprimer.
Ignorer.
Supprimer.
Ignorer.
Supprimer.
Ignorer.
Supprimer.
HB : Les soi-disant modérateurs de contenu
ne reçoivent leur salaire de Facebook, Twitter ou Google,
mais d'entreprises de sous-traitance
afin de maintenir leurs rémunérations basses.
Des dizaines de milliers de jeunes gens
qui regardent tout ce que nous ne sommes pas censés voir.
Nous parlons de décapitations, de mutilations,
d'exécutions, de nécrophilie, de torture, de maltraitance des enfants.
Des milliers d'images chaque jour --
ignorer, supprimer, jour et nuit.
La plupart de ce travail est réalisé à Manille,
où les déchets toxiques analogiques du monde occidental
étaient transportés pendant des années par porte-conteneurs
et on s'y débarrasse maintenant de nos déchets numériques
par fibre optique.
Tout comme les éboueurs
fouillent de gigantesques décharges en lisière de la ville,
les modérateurs de contenu cliquent dans un océan toxique et intarissable
d'images et de vidéos et de tous genres de déchets intellectuels
pour que nous n'ayons pas à les regarder.
MR : Mais contrairement aux plaies des éboueurs,
celles des modérateurs de contenu demeurent invisibles.
Pleines de contenus choquants et dérangeants,
ces images et vidéos s'enfouissent dans leurs souvenirs
où, n'importe quand, elles peuvent avoir des effets imprévisibles :
troubles alimentaires, perte de la libido,
troubles de l'anxiété, alcoolisme,
dépression, pouvant même mener au suicide.
Les images et vidéos les infectent
et souvent ne les laissent jamais s'en tirer.
S'ils sont malchanceux, ils développent un trouble du stress post-traumatique
comme les soldats après des opératons de guerre.
Dans notre film, nous racontons l'histoire d'un jeune homme
qui a dû contrôler des diffusions en direct
d'automutilation et de tentatives de suicide,
à répétition,
et qui a fini par se suicider.
Ce n'est pas un cas isolé, d'après ce que l'on nous a dit.
C'est le prix que nous payons tous
pour nos environnements sur les réseaux sociaux
soi-disant propres, sûrs et « sains ».
Jamais auparavant dans l'histoire de l'humanité,
il n'a été plus simple de toucher des millions de gens à travers le monde
en quelques secondes.
Ce qui est posté sur les réseaux sociaux se propage si rapidement,
cela devient viral et excite l'esprit de gens à travers le monde.
Avant que ce ne soit supprimé,
il est souvent déjà trop tard.
Des millions de gens ont déjà été infectés
par la haine et la colère
et soit ils deviennent actifs en ligne
en diffusant ou en amplifiant la haine
ou ils descendent dans les rues et prennent les armes.
HB : Par conséquent, une armée de modérateurs de contenu
s'assoient devant un écran pour éviter de nouveaux dégâts collatéraux.
Ils décident dès que possible
si le contenu demeure sur la plateforme -- ignorer --
ou disparaît -- supprimer.
Mais chaque décision n'est pas aussi claire
que pour une vidéo de maltraitance d'enfants.
Qu'en est-il de contenu controversé, ambivalent,
téléchargé par des activistes des droits civils
ou des journalistes citoyens ?
Les modérateurs de contenu prennent souvent de telles décisions
à la même vitesse que pour les cas évidents.
MR : Nous allons maintenant vous montrer une vidéo
et nous aimerions que vous décidiez :
est-ce que vous la supprimeriez ou pas ?
(Vidéo) (Bruits de frappe aérienne)
(Explosion)
(Gens parlant en arabe)
MR : Nous avons un peu flouté cela pour vous.
Un enfant serait potentiellement dangereusement perturbé
et extrêmement effrayé par un tel contenu.
Préféreriez-vous le supprimer ?
Mais... et si cette vidéo pouvait aider à enquêter
sur les crimes de guerre en Syrie ?
Et si personne n'entendait parler de cette frappe aérienne
car Facebook, YouTube, Twitter avaient décidé de retirer ce contenu ?
Airwars, une organisation non gouvernementale basée à Londres,
essaye de trouver ces vidéos aussi vite que possible,
dès qu'elles sont publiées sur les réseaux sociaux,
afin de les archiver.
Car ils savent que, tôt ou tard,
Facebook, YouTube, Twitter retireront un tel contenu.
Les gens armés de leur téléphone portable
peuvent rendre visible ce à quoi les journalistes n'ont souvent pas accès.
Les groupes pour les droits civils n'ont souvent pas de meilleure option
pour rendre leurs enregistrements rapidement accessibles à un large public
que de les publier sur les réseaux sociaux.
N'est-ce pas le potentiel responsabilisant que le World Wide Web devait avoir ?
N'était-ce pas les rêves
que les gens avaient au début du World Wide Web ?
De telles images et vidéos ne peuvent-elles pas
persuader les gens qui sont devenus insensibles aux faits
de réfléchir à nouveau ?
HB : Mais au lieu de cela, tout ce qui pourrait être perturbant est supprimé.
Il y a un changement généralisé dans la société.
Les médias, par exemple, utilisent de plus en plus souvent des avertissements
en haut des articles
que certains pourraient percevoir comme blessants ou perturbants.
De plus en plus d'étudiants dans les universités américaines
exigent l'exclusion du programme de classiques antiques
qui dépeignent de la violence ou une agression sexuelle.
Jusqu'où devrions-nous aller ?
L'intégrité physique est garantie comme un droit humain
dans les constitutions du monde.
Dans la Charte des droits fondamentaux de l'Union européenne,
ce droit est expressément appliqué à l'intégrité mentale.
Mais même si les effets potentiellement traumatiques
des images et des vidéos est difficile à prédire,
voulons-nous devenir si prudents
que nous risquons de perdre la conscience sociale de l'injustice ?
Alors que faire ?
Mark Zuckerberg a récemment déclaré qu'à l'avenir,
les utilisateurs, nous ou presque tout le monde,
décideraient individuellement
de ce qu'ils aimeraient voir sur la plateforme
en paramétrant des filtres personnels.
Tout le monde pourrait facilement prétendre demeurer non perturbé
par des images de guerre et d'autres conflits violents, comme...
MR : Je suis le genre de gars qui n'est pas gêné par la vue de seins
et je suis très intéressé par le réchauffement climatique,
mais je n'aime pas trop la guerre.
HB : Pour moi, c'est plutôt le contraire,
je n'ai aucun intérêt pour les seins et corps nus.
Mais pourquoi pas des armes ? J'aime les armes, oui.
MR : Allons, si nous ne partageons pas une conscience sociale similaire,
comment sommes-nous censés discuter de problèmes sociaux ?
Comment appeler les gens à agir ?
Des bulles encore plus isolées émergeraient.
Une des questions centrales est : « Comment, à l'avenir,
la liberté d'expression sera considérée face au besoin de protection des gens ? »
C'est une question de principes.
Voulons-nous concevoir une société ouverte ou fermée
pour l'espace numérique ?
Au cœur de la question, il y a « la liberté contre la sécurité ».
Facebook a toujours voulu être une plateforme « saine ».
Avant tout, les utilisateurs devraient se sentir en sécurité.
C'est le même choix de mots
que les modérateurs de contenu aux Philippines ont utilisés
dans nombre de nos interviews.
(Vidéo) Le monde dans lequel nous vivons,
à mon sens, n'est pas vraiment sain.
(Musique)
Dans ce monde, le mal existe vraiment.
(Musique)
Nous devons le surveiller.
(Musique)
Nous devons le contrôler -- bon ou mauvais.
(Musique)
[Lève la tête, jeune homme ! -- Dieu]
MR : Pour les jeunes modérateurs de contenu
vivant dans un pays pratiquant un catholicisme strict,
cela s'apparente à une mission chrétienne.
Contrer les péchés du monde
qui se propagent sur internet.
« La propreté est proche de la piété »
est un proverbe que tout le monde connaît aux Philippines.
HB : D'autres se motivent
en se comparant à leur président, Rodrigo Duterte.
Il dirige les Philippines depuis 2016
et il a gagné les élections avec la promesse : « Je nettoierai ».
Cela signifie éliminer tous genres de problèmes
en tuant littéralement des gens dans les rues,
des gens censés être des criminels, quoi que cela signifie.
Depuis qu'il a été élu,
on estime que 20 000 personnes ont été tuées.
Dans notre film, un modérateur dit :
« Ce que Duterte fait dans les rues,
je le fais pour Internet. »
Et les voilà, nos super-héros autoproclamés
qui font respecter la loi et l'ordre dans notre monde numérique.
Ils nettoient, ils astiquent tout,
ils nous libèrent de tout ce qui est mauvais.
Des tâches auparavant réservées aux autorités gouvernementales
ont été reprises par des jeunes diplômés qui ont la vingtaine
et sont préparés via une formation de trois à cinq jours --
c'est la qualification --
qui travaillent pour rien de moins que secourir le monde.
MR : Les souverainetés nationales ont été sous-traitées à des entreprises privées
qui refilent leurs responsabilités à des prestataires.
C'est de la sous-traitance de sous-traitance de sous-traitance
qui a lieu.
Avec les réseaux sociaux,
nous faisons face à une structure complètement nouvelle
avec ses propres mécanismes,
sa propre logique de fonctionnement
et de ce fait, également ses propres dangers
qui n'existaient pas encore dans la sphère publique pré-numérique.
HB : Quand Mark Zuckerberg était au Congrès américain
ou au Parlement européen,
il a été confronté à tous genres de critiques.
Sa réaction était toujours la même :
« Nous arrangerons cela
et je vais en assurer le suivi avec mon équipe. »
Mais un tel débat ne devra pas se tenir dans une arrière-salle de Facebook,
Twitter ou Google --
un tel débat devrait être ouvertement discuté
dans de nouveaux parlements cosmopolites,
dans de nouvelles institutions reflétant la diversité des gens
contribuant au projet utopique d'un réseau mondial.
Si cela peut sembler impossible de considérer les valeurs
des utilisateurs à travers le monde,
cela vaut la peine de croire
qu'il y a plus de choses qui nous lient que de choses qui nous séparent.
MR : A une époque où le populisme gagne en vigueur,
il devient populaire de justifier les symptômes,
de les éradiquer,
de les rendre invisibles.
Cette idéologie se propage à travers le monde,
analogue ainsi que numérique,
et il est de notre devoir de l'arrêter
avant qu'il ne soit trop tard.
La question de la liberté et de la démocratie
ne doit pas avoir seulement ces deux options.
HB : Supprimer.
MR : Ou ignorer.
HB : Merci beaucoup.
(Applaudissements)