Le prix d'un internet « propre »

Des millions d'images et de vidéos sont publiées chaque jour sur internet, pourtant nous voyons rarement du contenu choquant et perturbant dans nos fils d'actualités sur les réseaux sociaux. Qui maintient internet « propre » pour nous ? Dans cette intervention révélatrice, les documentaristes Hans Block et Moritz Riesewieck nous emmènent au sein du monde ténébreux des modérateurs de contenu en ligne -- les gens engagés par de grandes plateformes comme Facebook, Twitter et Google pour débarrasser Internet des contenus toxiques. Apprenez-en plus sur les effets psychologiques de ce type de travail et comment le « nettoyage numérique » influence ce que nous voyons et pensons tous.

[Cette intervention contient
du contenu réservé aux adultes]

Moritz Riesewieck : Le 23 mars 2013,

des utilisateurs du monde entier
ont découvert dans leur fil d'actualités

la vidéo d'une jeune fille
se faisant violer par un homme plus âgé.

Avant que cette vidéo
ne soit retirée de Facebook,

elle avait déjà été partagée 16 000 fois

et avait même été aimée 4 000 fois.

La vidéo est devenue virale
et a infecté internet.

Hans Block : C'est le moment
où nous nous sommes demandé :

comment une telle chose
a-t-elle pu arriver sur Facebook ?

Et en même temps,

pourquoi ne voyons-nous pas
des contenus similaires plus souvent ?

Il y a beaucoup de contenus
révoltants en ligne,

mais pourquoi voyons-nous si rarement

de telles merdes
sur Facebook, Twitter ou Google ?

MR : Si les logiciels
de reconnaissance des images

peuvent identifier l’esquisse
d'organes sexuels,

de sang ou de peau nue
dans des images et des vidéos,

ils ont d'immenses difficultés
à distinguer du contenu pornographique

de photos de vacances, de statues d'Adonis

ou de campagnes de dépistage
du cancer du sein.

Ils ne peuvent pas distinguer
Roméo et Juliette mourant sur scène

d'une vraie attaque au couteau.

Ils ne peuvent pas distinguer
la satire de la propagande

ou l'ironie de la haine et ainsi de suite.

Par conséquent, des êtres humains
sont nécessaires pour décider

quels contenus suspicieux
doivent être supprimés

et lesquels doivent être conservés.

Des êtres humains au sujet desquels
nous ne savons presque rien

car ils travaillent dans le secret.

Ils signent des accords de confidentialité

qui leur interdisent
de parler ou de partager

ce qu'ils voient sur leur écran
et ce que ce travail leur fait.

Ils sont obligés d'utiliser des codes
pour dissimuler pour qui ils travaillent.

Ils sont surveillés par des sociétés
de sécurité privée

afin d'assurer qu'ils ne parlent pas
à des journalistes.

Ils sont menacés d'amende s'ils parlent.

Tout cela semble être
une histoire policière étrange,

mais c'est vrai.

Ces gens existent

et ils sont appelés
modérateurs de contenu.

HB : Nous sommes les réalisateurs
du documentaire « The Cleaners »

et nous aimerions vous emmener

dans un monde que beaucoup
ne connaissent pas encore.

Voici un court extrait de notre film.

(Musique)

(Vidéo) Modérateur : Je dois être anonyme
car nous avons signé un contrat.

Nous n'avons pas le droit de déclarer
avec qui nous travaillons.

Je vous parle

car le monde devrait savoir
que nous existons.

Il y a quelqu'un qui vérifie
les réseaux sociaux.

Nous faisons de notre mieux
pour rendre cette plateforme

sûre pour tous.

Supprimer.

Ignorer.

Supprimer.

Ignorer.

Supprimer.

Ignorer.

Ignorer.

Supprimer.

HB : Les soi-disant modérateurs de contenu

ne reçoivent leur salaire
de Facebook, Twitter ou Google,

mais d'entreprises de sous-traitance

afin de maintenir
leurs rémunérations basses.

Des dizaines de milliers de jeunes gens

qui regardent tout ce que
nous ne sommes pas censés voir.

Nous parlons de décapitations,
de mutilations,

d'exécutions, de nécrophilie,
de torture, de maltraitance des enfants.

Des milliers d'images chaque jour --

ignorer, supprimer, jour et nuit.

La plupart de ce travail
est réalisé à Manille,

où les déchets toxiques analogiques
du monde occidental

étaient transportés pendant des années
par porte-conteneurs

et on s'y débarrasse maintenant
de nos déchets numériques

par fibre optique.

Tout comme les éboueurs

fouillent de gigantesques décharges
en lisière de la ville,

les modérateurs de contenu cliquent
dans un océan toxique et intarissable

d'images et de vidéos et de tous genres
de déchets intellectuels

pour que nous n'ayons pas à les regarder.

MR : Mais contrairement
aux plaies des éboueurs,

celles des modérateurs de contenu
demeurent invisibles.

Pleines de contenus
choquants et dérangeants,

ces images et vidéos
s'enfouissent dans leurs souvenirs

où, n'importe quand, elles peuvent
avoir des effets imprévisibles :

troubles alimentaires, perte de la libido,

troubles de l'anxiété, alcoolisme,

dépression, pouvant même mener au suicide.

Les images et vidéos les infectent

et souvent ne les laissent
jamais s'en tirer.

S'ils sont malchanceux, ils développent
un trouble du stress post-traumatique

comme les soldats
après des opératons de guerre.

Dans notre film, nous racontons
l'histoire d'un jeune homme

qui a dû contrôler
des diffusions en direct

d'automutilation
et de tentatives de suicide,

à répétition,

et qui a fini par se suicider.

Ce n'est pas un cas isolé,
d'après ce que l'on nous a dit.

C'est le prix que nous payons tous

pour nos environnements
sur les réseaux sociaux

soi-disant propres, sûrs et « sains ».

Jamais auparavant
dans l'histoire de l'humanité,

il n'a été plus simple de toucher
des millions de gens à travers le monde

en quelques secondes.

Ce qui est posté sur les réseaux sociaux
se propage si rapidement,

cela devient viral et excite l'esprit
de gens à travers le monde.

Avant que ce ne soit supprimé,

il est souvent déjà trop tard.

Des millions de gens ont déjà été infectés

par la haine et la colère

et soit ils deviennent actifs en ligne

en diffusant ou en amplifiant la haine

ou ils descendent dans les rues
et prennent les armes.

HB : Par conséquent, une armée
de modérateurs de contenu

s'assoient devant un écran pour éviter
de nouveaux dégâts collatéraux.

Ils décident dès que possible

si le contenu demeure
sur la plateforme -- ignorer --

ou disparaît -- supprimer.

Mais chaque décision
n'est pas aussi claire

que pour une vidéo
de maltraitance d'enfants.

Qu'en est-il de contenu
controversé, ambivalent,

téléchargé par des activistes
des droits civils

ou des journalistes citoyens ?

Les modérateurs de contenu
prennent souvent de telles décisions

à la même vitesse
que pour les cas évidents.

MR : Nous allons maintenant
vous montrer une vidéo

et nous aimerions que vous décidiez :

est-ce que vous la supprimeriez ou pas ?

(Vidéo) (Bruits de frappe aérienne)

(Explosion)

(Gens parlant en arabe)

MR : Nous avons
un peu flouté cela pour vous.

Un enfant serait potentiellement
dangereusement perturbé

et extrêmement effrayé par un tel contenu.

Préféreriez-vous le supprimer ?

Mais... et si cette vidéo
pouvait aider à enquêter

sur les crimes de guerre en Syrie ?

Et si personne n'entendait parler
de cette frappe aérienne

car Facebook, YouTube, Twitter
avaient décidé de retirer ce contenu ?

Airwars, une organisation
non gouvernementale basée à Londres,

essaye de trouver ces vidéos
aussi vite que possible,

dès qu'elles sont publiées
sur les réseaux sociaux,

afin de les archiver.

Car ils savent que, tôt ou tard,

Facebook, YouTube, Twitter
retireront un tel contenu.

Les gens armés de leur téléphone portable

peuvent rendre visible ce à quoi
les journalistes n'ont souvent pas accès.

Les groupes pour les droits civils
n'ont souvent pas de meilleure option

pour rendre leurs enregistrements
rapidement accessibles à un large public

que de les publier
sur les réseaux sociaux.

N'est-ce pas le potentiel responsabilisant
que le World Wide Web devait avoir ?

N'était-ce pas les rêves

que les gens avaient au début
du World Wide Web ?

De telles images et vidéos
ne peuvent-elles pas

persuader les gens qui sont devenus
insensibles aux faits

de réfléchir à nouveau ?

HB : Mais au lieu de cela, tout ce qui
pourrait être perturbant est supprimé.

Il y a un changement généralisé
dans la société.

Les médias, par exemple, utilisent
de plus en plus souvent des avertissements

en haut des articles

que certains pourraient percevoir
comme blessants ou perturbants.

De plus en plus d'étudiants
dans les universités américaines

exigent l'exclusion du programme
de classiques antiques

qui dépeignent de la violence
ou une agression sexuelle.

Jusqu'où devrions-nous aller ?

L'intégrité physique est garantie
comme un droit humain

dans les constitutions du monde.

Dans la Charte des droits fondamentaux
de l'Union européenne,

ce droit est expressément appliqué
à l'intégrité mentale.

Mais même si les effets
potentiellement traumatiques

des images et des vidéos
est difficile à prédire,

voulons-nous devenir si prudents

que nous risquons de perdre
la conscience sociale de l'injustice ?

Alors que faire ?

Mark Zuckerberg a
récemment déclaré qu'à l'avenir,

les utilisateurs, nous
ou presque tout le monde,

décideraient individuellement

de ce qu'ils aimeraient
voir sur la plateforme

en paramétrant des filtres personnels.

Tout le monde pourrait facilement
prétendre demeurer non perturbé

par des images de guerre
et d'autres conflits violents, comme...

MR : Je suis le genre de gars
qui n'est pas gêné par la vue de seins

et je suis très intéressé
par le réchauffement climatique,

mais je n'aime pas trop la guerre.

HB : Pour moi, c'est plutôt le contraire,

je n'ai aucun intérêt
pour les seins et corps nus.

Mais pourquoi pas des armes ?
J'aime les armes, oui.

MR : Allons, si nous ne partageons pas
une conscience sociale similaire,

comment sommes-nous censés
discuter de problèmes sociaux ?

Comment appeler les gens à agir ?

Des bulles encore plus isolées
émergeraient.

Une des questions centrales est :
« Comment, à l'avenir,

la liberté d'expression sera considérée
face au besoin de protection des gens ? »

C'est une question de principes.

Voulons-nous concevoir
une société ouverte ou fermée

pour l'espace numérique ?

Au cœur de la question,
il y a « la liberté contre la sécurité ».

Facebook a toujours voulu
être une plateforme « saine ».

Avant tout, les utilisateurs
devraient se sentir en sécurité.

C'est le même choix de mots

que les modérateurs de contenu
aux Philippines ont utilisés

dans nombre de nos interviews.

(Vidéo) Le monde dans lequel nous vivons,

à mon sens, n'est pas vraiment sain.

(Musique)

Dans ce monde, le mal existe vraiment.

(Musique)

Nous devons le surveiller.

(Musique)

Nous devons le contrôler --
bon ou mauvais.

(Musique)

[Lève la tête, jeune homme ! -- Dieu]

MR : Pour les jeunes
modérateurs de contenu

vivant dans un pays
pratiquant un catholicisme strict,

cela s'apparente à une mission chrétienne.

Contrer les péchés du monde

qui se propagent sur internet.

« La propreté est proche de la piété »

est un proverbe que tout le monde
connaît aux Philippines.

HB : D'autres se motivent

en se comparant à leur président,
Rodrigo Duterte.

Il dirige les Philippines depuis 2016

et il a gagné les élections
avec la promesse : « Je nettoierai ».

Cela signifie éliminer
tous genres de problèmes

en tuant littéralement
des gens dans les rues,

des gens censés être des criminels,
quoi que cela signifie.

Depuis qu'il a été élu,

on estime que 20 000 personnes
ont été tuées.

Dans notre film, un modérateur dit :

« Ce que Duterte fait dans les rues,

je le fais pour Internet. »

Et les voilà, nos super-héros
autoproclamés

qui font respecter la loi et l'ordre
dans notre monde numérique.

Ils nettoient, ils astiquent tout,

ils nous libèrent
de tout ce qui est mauvais.

Des tâches auparavant réservées
aux autorités gouvernementales

ont été reprises par des jeunes diplômés
qui ont la vingtaine

et sont préparés via une formation
de trois à cinq jours --

c'est la qualification --

qui travaillent pour rien de moins
que secourir le monde.

MR : Les souverainetés nationales ont été
sous-traitées à des entreprises privées

qui refilent leurs responsabilités
à des prestataires.

C'est de la sous-traitance
de sous-traitance de sous-traitance

qui a lieu.

Avec les réseaux sociaux,

nous faisons face à une structure
complètement nouvelle

avec ses propres mécanismes,

sa propre logique de fonctionnement

et de ce fait, également
ses propres dangers

qui n'existaient pas encore
dans la sphère publique pré-numérique.

HB : Quand Mark Zuckerberg
était au Congrès américain

ou au Parlement européen,

il a été confronté
à tous genres de critiques.

Sa réaction était toujours la même :

« Nous arrangerons cela

et je vais en assurer le suivi
avec mon équipe. »

Mais un tel débat ne devra pas se tenir
dans une arrière-salle de Facebook,

Twitter ou Google --

un tel débat devrait être
ouvertement discuté

dans de nouveaux parlements cosmopolites,

dans de nouvelles institutions
reflétant la diversité des gens

contribuant au projet utopique
d'un réseau mondial.

Si cela peut sembler impossible
de considérer les valeurs

des utilisateurs à travers le monde,

cela vaut la peine de croire

qu'il y a plus de choses qui nous lient
que de choses qui nous séparent.

MR : A une époque
où le populisme gagne en vigueur,

il devient populaire
de justifier les symptômes,

de les éradiquer,

de les rendre invisibles.

Cette idéologie se propage
à travers le monde,

analogue ainsi que numérique,

et il est de notre devoir de l'arrêter

avant qu'il ne soit trop tard.

La question de la liberté
et de la démocratie

ne doit pas avoir
seulement ces deux options.

HB : Supprimer.

MR : Ou ignorer.

HB : Merci beaucoup.

(Applaudissements)