El precio de un internet "limpio"

Millones de imágenes y videos se suben a internet cada día. Sin embargo, rara vez vemos contenido impactante e inquietante en nuestras redes sociales. ¿Quién mantiene el internet "limpio"? En esta charla reveladora, los documentalistas Hans Block y Moritz Riesewieck nos llevan al oscuro mundo de los moderadores de contenido en línea: las personas contratadas por las principales plataformas, como Facebook, Twitter y Google, para eliminar material tóxico de internet. También alertan sobre el impacto psicológico de este tipo de trabajo, y cómo la "limpieza digital" influye en lo que todos vemos y pensamos.

[Esta charla incluye
contenido para adultos]

Moritz Riesewieck: El 23 de marzo de 2013,

usuarios en todo el mundo
descubrieron en su servicio de noticias

el video de una joven que era violada
por un hombre mayor.

Antes de que este video
fuera retirado de Facebook,

ya se había compartido 16 000 veces,

e incluso había recibido 4000 "Me gusta".

Este video se hizo viral e invadió la red.

Hans Block: Y ese fue el momento
en que nos preguntamos:

¿cómo podría algo así llegar a Facebook?

Y, al mismo tiempo, ¿por qué no vemos
contenido semejante más a menudo?

Después de todo, hay una gran cantidad
de material repugnante en línea,

pero ¿por qué tan pocas veces vemos
basura en Facebook, Twitter o Google?

MR: Aunque el software
de reconocimiento de imágenes

puede identificar el contorno
de órganos sexuales,

sangre o piel desnuda
en imágenes y videos,

tiene inmensas dificultades
para distinguir el contenido pornográfico

de fotos de vacaciones, estatuas de Adonis

o campañas de prevención
del cáncer de mama.

No puede distinguir la escena
de muerte entre Romeo y Julieta

de un ataque real con arma blanca.

No puede distinguir
la sátira de la propaganda,

ni la ironía del odio,
y así sucesivamente.

Por lo tanto, se necesita
la intervención humana

para decidir cuál de esos contenidos
sospechosos debe eliminarse

y cuál deben permanecer.

Son personas a las que apenas conocemos,

porque trabajan en secreto,

firman un acuerdo de confidencialidad,

que les prohíbe hablar y compartir

lo que ven en sus pantallas
y lo que supone este trabajo para ellos.

Están obligados a usar
palabras codificadas

para ocultar para quién trabajan.

Son supervisados por
empresas de seguridad privada

para asegurarse de que
no hablen con periodistas.

Y están amenazados con multas
en caso de que hablen.

Suena como una extraña historia policial,

pero es la verdad.

Estas personas existen,

y se llaman "moderadores de contenido".

HB: Somos directores del documental
"The Cleaners", o los limpiadores,

y nos gustaría llevarlos

a un mundo que muchos
quizá desconocen todavía.

He aquí un breve clip
de nuestro documental.

(Música)

(Video) Moderador: Tengo que estar
en el anonimato, por un contrato firmado.

No se nos permite revelar
con quién estamos trabajando.

La razón por la que hablo

es porque el mundo debe
saber que estamos aquí.

Hay alguien que controla
las redes sociales.

Hacemos todo lo posible
para que esta plataforma

sea segura para todos.

Eliminar.

Ignorar.

Eliminar.

Ignorar.

Eliminar.

Ignorar.

Ignorar.

Eliminar.

HB: Los llamados moderadores de contenido

no reciben su paga directamente
de Facebook,Twitter o Google,

sino de empresas subcontratadas
en todo el mundo

para mantener bajos los salarios.

Hay decenas de miles de jóvenes

que ven todo lo que se supone
que no deben ver los demás.

Y estamos hablando
de decapitaciones, mutilaciones,

ejecuciones, necrofilia,
tortura, abuso infantil.

Miles de imágenes por cada turno laboral:

ignorar, eliminar, día y noche.

Y gran parte de este trabajo
se hace en Manila,

donde los residuos tóxicos analógicos
del mundo occidental

desde hace años se llevan allí
en buques portacontenedores.

Ahora los residuos digitales se vierten
allí mediante el cable de fibra óptica.

Y así como los llamados "carroñeros"

hurgan en montañas gigantescas
en la periferia de la ciudad,

los moderadores se abren camino
a golpe de clic por un océano sin fin

de imágenes, videos tóxicos
y todo tipo de basura intelectual,

para que no tengamos que verlo nosotros.

MR: Pero a diferencia de
las heridas de los carroñeros,

las de los moderadores de contenido
permanecen invisibles.

Todo ese contenido
impactante y perturbador,

esas fotos y videos,
penetran en sus memorias,

donde, en cualquier momento,
pueden tener efectos impredecibles:

trastornos de la alimentación,
pérdida de la libido,

trastornos de ansiedad, alcoholismo,

depresión, que puede incluso
conducir al suicidio.

Las fotos y videos los infectan,

y con frecuencia no se van de su memoria.

Si tienen mala suerte, desarrollan
trastornos de estrés postraumático,

como los soldados
tras las misiones de guerra.

En nuestro documental,
contamos la historia de un joven

que tuvo que supervisar videos de
automutilaciones e intentos de suicidio,

una y otra vez,

y que al final él mismo se suicidó.

No es un caso aislado,
como se nos ha dicho.

Este es el precio que todos pagamos

por tener un ambiente
teóricamente limpio, seguro y "sano"

en las redes sociales.

Nunca antes en la historia de la humanidad

ha sido más fácil llegar a millones
de personas en todo el mundo

en unos pocos segundos.

Lo que se publica en las redes
sociales, de manera rápida,

se convierte en viral y excita
la mente de las personas en todo el mundo.

Antes de eliminarlo,

a menudo es demasiado tarde.

Millones de personas
ya han sido infectadas

con el odio y la ira,

quienes, o bien son activas en línea

mediante la difusión
o la amplificación del odio,

o salen a la calle y toman las armas.

HB: Por eso, un ejército
de moderadores de contenido

se sienta ante una pantalla
para evitar nuevos daños colaterales.

Y ellos deciden,
tan pronto como sea posible,

si el contenido permanece
en la plataforma, es decir, lo ignoran,

o si desaparece, es decir, lo eliminan.

Pero no todas las decisiones
son tan claras

como la decisión acerca
de un video de abuso infantil.

¿Qué pasa con el contenido controvertido,
el contenido ambivalente,

subido por los defensores de derechos
civiles o periodistas ciudadanos?

Los moderadores de contenido
a menudo deciden sobre estos casos

a la misma velocidad
que en los casos claros.

MR: Les mostraremos un video ahora,

y nos gustaría pedirles que decidieran:

¿Lo eliminarían,

o no lo eliminarían?

(Video) (Sonido de ataque aéreo)

(Explosión)

(Personas que hablan en árabe)

MR: Hicimos que algunas partes
quedaran borrosas adrede.

Un niño se vería perturbado peligrosamente

y muy asustado con dicho contenido.

Por lo tanto, ¿mejor eliminarlo?

Pero ¿y si el video ayudara a investigar
los crímenes de guerra en Siria?

¿Qué pasa si nadie se hubiera enterado
de este ataque aéreo,

porque Facebook, YouTube y Twitter
decidieron eliminarlo?

Airwars, una organización no gubernamental
con sede en Londres,

trata de encontrar esos videos
lo antes posible

cada vez que se suben
a las redes sociales,

con el fin de archivarlos.

Porque saben que, tarde o temprano,

Facebook, YouTube o Twitter eliminarán
dicho contenido de sus plataformas.

Las personas armadas
con sus teléfonos móviles

pueden hacer visible contenido al que
los periodistas no suelen tener acceso.

Los grupos de derechos civiles
no tienen ninguna opción mejor

para hacer rápidamente accesibles
sus grabaciones a una gran audiencia

que subirlas a las redes sociales.

¿No era ese el potencial de empoderamiento
que la web debe tener?

¿No era este, en sus etapas iniciales,

el sueño de las personas
en torno a la web?

¿Pueden imágenes y videos como estos

convencer a las personas que
se han vuelto insensibles a los hechos

a reflexionar?

HB: Pero en vez de eso, todo lo que
podría ser molesto se elimina.

Y hay un cambio general en la sociedad.

Los medios de comunicación, por ejemplo,
ponen más menudo notas de advertencia

en la parte superior de los artículos,

que algunas personas pueden
percibir como ofensivo o preocupante.

O cada vez más estudiantes
en las universidades de EE. UU.

exigen que se eliminen del plan
de estudios los clásicos antiguos

donde se represente
la violencia sexual o el abuso.

Pero ¿hasta dónde deberíamos ir?

La integridad física está garantizada
como un derecho humano

en las constituciones de todo el mundo.

En la Carta de los Derechos Fundamentales
de la Unión Europea,

este derecho se aplica expresamente
a la integridad psíquica.

Pero incluso si el efecto
potencialmente traumático

de imágenes y videos
es difícil de predecir,

¿queremos llegar a ser tan cautelosos

de correr el riesgo de perder
la conciencia social de la injusticia?

Entonces ¿qué hay que hacer?

Mark Zuckerberg declaró
recientemente que en el futuro,

los usuarios, o casi todo el mundo,

decidirá de forma individual

lo que les gusta ver en la plataforma,

mediante ajustes de filtros personales.

De este modo, todos podrían fácilmente
permanecer imperturbables

frente a imágenes de guerra
u otros conflictos violentos, como...

MR: Yo soy el tipo de persona
a quien no le importa ver pechos

y estoy muy interesado
en el calentamiento global,

pero no me gusta la guerra.

HB: Sí, yo soy más bien lo contrario.

Tengo cero interés
en senos o cuerpos desnudos.

Pero ¿por qué no armas de fuego?
Me gustan las armas, sí.

MR: Como ven, si no compartimos
una conciencia social similar,

¿cómo vamos a debatir
sobre los problemas sociales?

¿Cómo vamos a llamar
a la gente a la acción?

Surgirían incluso
más burbujas solitarias.

Una de las cuestiones centrales
es: ¿Cómo, en el futuro,

la libertad de expresión irá contra
la necesidad de protección del pueblo?

Es una cuestión de principios.

¿Queremos diseñar
una sociedad abierta o cerrada

en el espacio digital?

En el meollo de la cuestión está
en "la libertad frente a la seguridad".

Facebook siempre ha querido
ser una plataforma "sana".

Por encima de todo, los usuarios
deben sentirse seguros y protegidos.

Es la misma elección de las palabras

de los moderadores de contenido
encuestados en las Filipinas

en muchas de nuestras entrevistas.

(Video) El mundo en el que vivimos ahora,

creo que, en realidad, no es sano.

(Música)

En este mundo existe un mal real.

(Música)

Tenemos que vigilarlo.

(Música)

Tenemos que controlar lo bueno y lo malo.

(Música)

[Mira hacia arriba. Dios]

MR: Para los moderadores de contenido
jóvenes en la muy católica Filipinas,

su trabajo está vinculado
a una misión cristiana

para contrarrestar los pecados del mundo

que se extienden a través de la web.

"La limpieza se aproxima a lo divino"

es un dicho que en Filipinas
todo el mundo sabe.

HB: Y otros se motivan

comparándose
con su presidente Rodrigo Duterte.

Gobierna Filipinas desde 2016,

y ganó las elecciones
con la promesa: "Voy a limpiar todo".

Y lo que esto significa es
eliminar todo tipo de problemas

matando, literalmente,
a la gente en las calles,

personas supuestamente
delincuentes, o lo que eso signifique.

Y desde que fue elegido,

unas 20 000 personas han muerto.

Y un moderador de nuestro documental dice:

"Lo que hace Duterte en las calles,

yo lo hago en internet".

Y aquí están, los autoproclamados
superhéroes,

que hacen cumplir la ley y el orden
en nuestro mundo digital.

Limpian, pulen y dejan todo impoluto,

para liberarnos de todo lo malo.

Tareas antes reservadas
a las autoridades estatales

ahora las realizan graduados
universitarios de 20 a 25 años,

con solo tres a cinco días
de entrenamiento,

que es el requisito

para trabajar en nada menos
que el rescate del mundo.

MR: Las soberanías nacionales
están en manos de empresas privadas,

y derivan sus responsabilidades
a terceras partes.

Es una subcontratación de
la subcontratación de la subcontratación

lo que está ocurriendo.

Con las redes sociales,

se trata de una infraestructura
completamente nueva,

con sus propios mecanismos,

su propia lógica de acción

y por lo tanto, también,
sus propios nuevos peligros,

que no existían en la esfera
pública predigitalizada.

HB: Cuando Mark Zuckerberg
estuvo en el Congreso de EE. UU.

o en el Parlamento Europeo,

debió enfrentarse a todo tipo de críticos.

Y su reacción era siempre la misma:

"Vamos a solucionarlo,

y voy a hacer un seguimiento
con mi equipo".

Pero tal debate no debería celebrarse
en la trastienda de Facebook,

Twitter o Google.

Ese debate debe discutirse abiertamente
en nuevos parlamentos cosmopolitas,

en nuevas instituciones que
reflejen la diversidad de personas

que contribuyan al proyecto
utópico de una red global.

Y si bien puede parecer imposible
el tener en cuenta los valores

de los usuarios en todo el mundo,

vale la pena creer

que es más lo que nos une
que lo que nos separa.

MR: Sí, en un momento
en que el populismo está tomando fuerza,

se hace popular
el justificar los síntomas,

erradicarlos,

para hacerlos invisibles.

Esta ideología se está extendiendo
en todo el mundo,

tanto analógico como digital,

y es nuestro deber detenerla

antes de que sea demasiado tarde.

La cuestión de la libertad y la democracia

no solo debe tener estas dos opciones:

HB: Eliminar...

MR: O ignorar.

HB: Muchas gracias.

(Aplausos)