Los videos de pesadilla del YouTube para niños, y qué está mal en Internet

El escritor y artista James Bridle descubre un rincón oscuro y extraño de Internet, donde personas desconocidas o grupos en YouTube piratean los cerebros de los niños pequeños a cambio de ingresos publicitarios. Desde "huevo sorpresa" revelados y "Finger Family Song" hasta 'mashups' creados algorítmicamente usando personajes familiares de dibujos animados en situaciones violentas. Estos videos explotan y aterrorizan a las mentes jóvenes, y nos dicen algo sobre hacia dónde se dirige nuestro mundo cada vez más basado en datos. "Tenemos que dejar de pensar en la tecnología como una solución para todos nuestros problemas, y, en cambio, pensar en ella como una guía para saber cuáles son esos problemas en realidad, para que podamos empezar a pensar en ellos adecuadamente y comenzar a abordarlos", dice Bridle.

Soy James.

Soy escritor y artista,

y trabajo en tecnología.

Hago cosas como dibujar contornos
de tamaño real de drones militares

en calles de ciudades de todo el mundo,

para que la gente pueda comenzar
a pensar y dar vueltas

a estas tecnologías realmente difíciles
de ver y difíciles de pensar.

Hago cosas como redes neuronales que
predicen los resultados de las elecciones

basadas en informes meteorológicos,

porque estoy intrigado sobre

cuáles son las posibilidades reales
de estas nuevas tecnologías raras.

El año pasado, construí
mi propio auto autónomo.

Pero como realmente
no confío en la tecnología,

también diseñé una trampa para eso.

(Risas)

Y hago estas cosas principalmente porque
las encuentro completamente fascinantes,

pero también porque creo que
cuando hablamos de tecnología,

en gran medida estamos hablando
de nosotros mismos

y la forma en que entendemos el mundo.

Así que aquí hay
una historia de tecnología.

Este es un video de "huevo sorpresa".

Básicamente es un video de alguien
abriendo muchos de huevos de chocolate

y mostrando los juguetes del interior.

Eso es. Eso es todo lo que hace
durante siete largos minutos.

Y quiero que noten dos cosas.

En primer lugar,
este video tiene 30 millones de visitas.

(Risas)

Y la otra cosa es,

que proviene de un canal que tiene
6,3 millones de suscriptores,

que tiene un total de
8 mil millones de visitas,

y todo son solo más videos como este...

30 millones de personas viendo
a un chico abriendo estos huevos.

Suena bastante extraño, pero si buscan
"huevos sorpresa" en YouTube,

les dirá que hay
10 millones de estos videos,

y creo que es un conteo a la baja.

Creo que hay muchos más.

Si siguen buscando, no acaban.

Hay millones y millones de estos videos

en combinaciones cada vez más barrocas
de marcas y materiales,

y hay más y más de ellos
que se cargan todos los días.

Este es un mundo extraño.
¿De acuerdo?

Pero la cuestión es que no son adultos
los que miran estos videos.

Son niños, niños pequeños.

Estos videos son como crac
para niños pequeños.

Hay algo sobre la repetición,

el pequeño y constante golpe
de dopamina de la revelación,

que los engancha por completo.

Y los niños pequeños miran
estos videos una y otra y otra vez

y lo hacen durante horas, horas y horas.

Y si tratas de quitarles la pantalla,

gritarán, gritarán y gritarán.

Si no me creen

--y ya he visto gente
en la audiencia asintiendo--,

si no me creen, busquen a alguien
con niños pequeños y pregúntenles:

y sabrán sobre los videos
de huevos sorpresa.

Aquí es donde comenzamos.

Es 2018 mucha gente,

usa el mismo mecanismo que
Facebook e Instagram

para que uno siga enganchado
en esa aplicación,

y lo usan en YouTube para hackear
el cerebro de niños muy pequeños

a cambio de ingresos publicitarios.

Al menos, espero que sea
lo que están haciendo.

Espero que para eso lo estén haciendo,

porque hay formas más fáciles de
generar ingresos publicitarios en YouTube.

Puedes inventar cosas o robar cosas.

Si buscas dibujos animados
populares para niños

como "Pepper Pig" o "Paw Patrol"

encontrarás millones y millones
de estos en línea también.

Por supuesto, la mayoría no están
publicados por los creadores originales.

Vienen de montones y montones
de cuentas aleatorias diferentes,

y es imposible saber
quién los está publicando

o cuáles podrían ser sus motivos.

¿Suena algo familiar?

Porque es exactamente el mismo mecanismo

que se da en la mayoría de
nuestros servicios digitales,

en que es imposible saber
de dónde viene esta información.

Básicamente son
noticias falsas para niños,

y los estamos entrenando
desde el nacimiento

para hacer clic en el
primer enlace que aparece,

independientemente de cuál sea la fuente.

Esa no parece una idea
terriblemente buena.

Aquí otra cosa que es muy
importante en YouTube para niños.

Esto se llama "Finger Family Song".

Alguien acaba de suspirar
en la audiencia.

La "canción de la familia del dedo".

Este es el primero que pude encontrar.

Es de 2007, y solo tiene 200 000 visitas,

que es, como, nada en este juego.

Pero tiene una melodía
increíblemente tierna

que no les voy a poner,

porque se implantará en su cerebro

de la misma manera que
se incrustó en el mío,

y no se lo voy a hacer a Uds.

Pero como los huevos sorpresa,

está dentro de las cabezas de los niños

y los hace adictos a ella.

Dentro de unos años,
estos videos familiares de dedos

aparecerán en todas partes,

y con versiones en diferentes idiomas

con caricaturas populares usando comida

o, francamente, cualquier
tipo de animación

que parece que está por ahí.

Y una vez más, hay millones,
millones y millones de estos videos

disponibles en línea en todos estos
tipos de combinaciones insanas.

Y cuanto más tiempo pasas con ellos,

más loco y loco te sientes que puedes ser.

Y ahí es donde me lancé a esto,

esa sensación de profunda extrañeza
y profunda falta de comprensión

de cómo se construyó esta cosa que
parece presentarse a mi alrededor.

Porque es imposible saber
de dónde vienen estas cosas.

¿Quién los hace?

Algunos parecen hechos por
equipos de animadores profesionales.

Algunos son simplemente
ensamblados al azar por software.

Algunos son artistas
jóvenes muy saludables,

Y algunos son de personas

que claramente no deberían
estar cerca de los niños.

(Risas)

Y una vez más, esta imposibilidad de
descubrir quién hace estas cosas:

¿Se trata de un robot?

¿Es una persona? ¿Es un troll?

¿Qué significa ya no
poder más ver la diferencia

entre estas cosas?

Y nuevamente, ¿esa incertidumbre no
les resulta familiar en este momento?

La principal forma para que
los videos sean vistos

--y recuerden, las visualizaciones
significan dinero--

es titulando estos videos
con estos términos populares.

Tomas algo como "huevos sorpresa"

y agregas "Paw Patrol", "Huevo de Pascua"

o lo que sean

todas estas palabras de otros
videos populares en el título,

hasta que terminas con este tipo
de puré de lenguaje sin sentido

que no tiene sentido
para los humanos en absoluto.

Porque, por supuesto, solo los niños
muy pequeños miran tu video,

y ¿qué demonios saben ellos?

Tu audiencia real para esto es software.

Son los algoritmos.

Es el software que usa YouTube

para seleccionar qué videos
que son como otros videos,

para hacerlos populares,
para recomendarlos.

Y por eso terminas con este tipo
de puré completamente sin sentido,

tanto de título como de contenido.

Pero el caso es que debes recordar,

realmente todavía hay personas dentro de
este sistema optimizado algorítmicamente,

personas cada vez
más forzadas a actuar

estas combinaciones cada vez
más extrañas de palabras,

como un artista de improvisación
desesperado que responde a la vez

a los gritos de un
millón de niños pequeños.

Hay personas atrapadas
dentro de estos sistemas,

y eso es otra cosa muy extraña de
esta cultura guiada algorítmicamente,

porque incluso si eres humano,

tienes que terminar comportándote
como una máquina

solo para sobrevivir

Y también, en el otro lado de la pantalla,

todavía hay niños pequeños mirándolo,

atrapados, toda su atención atrapada,
por estos mecanismos extraños.

Y estos niños son demasiado pequeños
para usar un sitio web.

Simplemente están martillando
en la pantalla con sus pequeñas manos.

Y existe reproducción automática,

y estos videos se siguen reproduciendo
una y otra y otra vez,

interminablemente
horas y horas a la vez.

Y es tan raro el sistema hoy

que esa reproducción automática lleva
a algunos lugares muy extraños.

Así es como, en una docena de pasos,

puedes pasar de un lindo video
de un tren de conteo

a Mickey Mouse masturbándose.

Sí. Lo lamento.

Esto empeora.

Esto es lo que pasa

cuando todas estas
diferentes palabras clave,

todas estas diferentes piezas de atención,

esta desesperada generación de contenido,

todo se une en un solo lugar.

Aquí es donde esas palabras clave muy
extrañas llegan a casa para descansar.

Uno cruza el video de la familia del dedo

con algunas cosas de
superhéroes de acción en vivo,

agregas algunas bromas raras
y trollsas o algo así

y de repente, llegas a un lugar
muy extraño de hecho.

Lo que tiende a molestar a los padres

es el material que tiene un tipo
de contenido violento o sexual, ¿verdad?

Dibujos animados de niños siendo atacados,

siendo asesinados,

bromas extrañas que realmente
aterrorizan a los niños.

Lo que tienes es software que tira
de todas estas influencias diferentes

para generar automáticamente
las peores pesadillas de los niños.

Y esto realmente afecta
a los niños pequeños.

Los padres informan que
sus hijos están traumatizados,

tienen miedo a la oscuridad,

tienen miedo de sus personajes
de dibujos animados favoritos.

Si se llevan una cosa de esto,
es que si tienen niños pequeños,

manténganlos lejos de YouTube.

(Aplausos)

Pero otra cosa, lo que realmente
me atrapa de esto,

es que no estoy seguro de que realmente
comprendamos cómo llegamos a este punto.

Hemos tomado toda esta influencia,
todas estas cosas,

y las procesamos de manera
que nadie realmente pretendía.

Y, sin embargo, es también como
estamos construyendo el mundo entero.

Estamos tomando todos estos datos,

muchos datos malos,

una gran cantidad de
datos históricos llenos de prejuicios,

lleno de todos nuestros peores
impulsos de la historia,

y creamos enormes conjuntos de datos

y luego los automatizamos.

Y lo estamos procesando
en cosas como informes de crédito,

en primas de seguros,

en cosas como sistemas
de vigilancia predictiva,

en pautas de sentencia.

Es la forma en que realmente
construimos el mundo de hoy

con estos datos.

Y no sé qué es peor,

si construir un sistema que parece
estar completamente optimizado

para los peores aspectos absolutos
del comportamiento humano,

o parecer que lo hemos
hecho por accidente,

sin siquiera darnos cuenta
de que lo hacíamos,

porque realmente no entendíamos
los sistemas que construíamos,

y realmente no entendimos
cómo hacer algo diferente con eso.

Hay un par de cosas que creo que
realmente parecen impulsar esto

más plenamente en YouTube,

y el primero es la publicidad,

que es la monetización de la atención

sin otras variables reales de trabajo,

sin ningún cuidado de las personas que
realmente desarrollan este contenido,

la centralización del poder,
la separación de esas cosas.

Y creo que lo que sientes sobre
el uso de la publicidad

como apoyo de estas cosas,

ver a hombres adultos
en pañales rodando alrededor de la arena

con la esperanza de que un algoritmo
que realmente no entienden

les dará dinero por ello

sugiere que esto
probablemente no es sobre

lo que deberíamos basar
nuestra sociedad y cultura,

y la forma en que deberíamos financiarla.

Y la otra cosa que es el principal
impulsor de esto es la automatización,

que es el despliegue
de toda esta tecnología

tan pronto como llega,
sin ningún tipo de supervisión,

y cuando está ahí afuera,

levantar las manos y decir: "Oye,
no somos nosotros, es la tecnología".

Como, "No estamos involucrados en eso".

Eso no es realmente
lo suficientemente bueno,

porque esto no solo
se rige algorítmicamente,

también está controlado algorítmicamente.

Cuando YouTube comenzó
a prestar atención a esto,

lo primero que dijo que haría

fue que implementaría mejores
algoritmos de aprendizaje automático

para moderar el contenido.

Bueno, el aprendizaje automático,
como cualquier experto en ello les dirá,

es básicamente lo que
hemos comenzado a llamar

software que no entendemos cómo funciona.

Y creo que ya tenemos suficiente de eso.

No deberíamos dejar esto
en manos de la IA para decidir

lo que es apropiado o no,

porque sabemos lo que sucede.

Comenzará a censurar otras cosas.

Comenzará a censurar contenido queer.

Comenzará a censurar
el discurso público legítimo.

Lo que se permite en estos discursos,

no debería ser algo que haya
quedado en sistemas inexplicables.

Es parte de una discusión
que todos deberíamos tener.

Pero dejaría un recordatorio

que la alternativa tampoco
es muy agradable.

YouTube también anunció

que va a lanzar una versión
de la aplicación para niños

que sería completamente
moderada por humanos.

Facebook; Zuckerberg dijo
casi lo mismo en el Congreso,

cuando se le preguntó sobre
cómo iba a moderar sus cosas.

Y dijo que tendrían
humanos haciéndolo.

Y lo que realmente significa

es que en lugar de tener niños pequeños
viendo esto por primera vez,

van a tener trabajadores
subcontratados y precarios

sin el adecuado apoyo de salud mental

siendo afectados también.

(Risas)

Y creo que todos podemos
hacer mucho mejor que eso.

(Aplausos)

La idea, creo, que reúne esas dos cosas,
realmente, para mí,

es agencia.

Es como, ¿cuánto entendemos realmente?
Por agencia, quiero decir:

cómo sabemos cómo actuar
en nuestro propio interés.

Lo que es casi imposible de hacer

en estos sistemas que realmente
no comprendemos del todo.

La desigualdad de poder
siempre conduce a la violencia.

Y podemos ver dentro de estos sistemas

esa desigualdad de
entendimiento hace lo mismo.

Si hay algo que podemos hacer
para comenzar a mejorar estos sistemas,

es hacerlos más legibles para
las personas que los usan,

para que todos tengamos
un entendimiento común

de lo que está sucediendo ahí.

La cosa, sin embargo, pienso
más acerca de estos sistemas

es que esto no es, como espero haber
explicado, realmente sobre YouTube.

Se trata de todo.

Estos problemas de
responsabilidad y agencia,

de opacidad y complejidad,

de la violencia y la explotación
que resulta inherentemente

de la concentración de poder
en unas pocas manos,

estos son problemas mucho,
mucho más grandes.

Y no solo son problemas de YouTube
y no solo de la tecnología en general,

y ni siquiera son nuevos.

Han estado con nosotros por siglos.

Pero finalmente construimos este sistema,
este sistema global, Internet,

que nos los muestra en realidad
de esta manera extraordinaria,

haciéndolos innegables.

La tecnología tiene
esta extraordinaria capacidad

para hacer tangibles y continuos

todos nuestros más extraordinarios,
a menudo ocultos deseos y prejuicios

y codificándolos en el mundo,

pero también los escribe
para que podamos verlos,

para que no podamos pretender
que ya no existen.

Tenemos que dejar de
pensar en la tecnología

como una solución a
todos nuestros problemas,

y pensarla como una guía de lo que
esos problemas son en realidad,

para que podamos comenzar
a pensar en ellos adecuadamente

y empezar a abordarlos.

Muchas gracias.

(Aplausos)

Gracias.

(Aplausos)

Helen Walters: James,
gracias por venir y darnos esa charla.

Es interesante:

cuando piensas en películas donde jefes
supremos robóticos toman el control,

todo es un poco más glamoroso
que lo que describes.

Pero me pregunto: en esas películas,
se monta la resistencia.

¿Hay una resistencia contra esto?

¿Ves signos positivos,
brotes verdes de resistencia?

James Bridle: No sé sobre
la resistencia directa,

porque creo que esto es
a muy largo plazo.

Creo que está profundamente
arraigada en la cultura.

Una amiga mía,
Eleanor Saitta, siempre dice

que cualquier problema tecnológico
de escala y alcance suficientes

es un problema político antes que nada.

Todas estas cosas en las que estamos
trabajando para enfrentarnos a esto

no van a abordarse solo
construyendo mejor tecnología,

sino cambiando la sociedad
que está produciendo estas tecnologías.

Así que no, hoy, creo que
tenemos un infierno que recorrer.

Pero como dije, creo que al destaparlos,

al explicarlos, al hablar
de ellos superhonestamente,

en realidad podemos comenzar
al menos ese proceso.

HW: Y cuando hablas de legibilidad
y alfabetización digital,

me resulta difícil de imaginar

que debemos colocar la carga de la
alfabetización digital en los usuarios.

¿Pero de quién es la educación
en este nuevo mundo?

JB: Nuevamente, creo que esta
responsabilidad depende de todos nosotros,

todo lo que hacemos, todo lo
que construimos, todo lo que creamos,

debe hacerse en una discusión consensuada

con todos los que lo evitan;

que no estamos construyendo sistemas
para engañar y sorprender a las personas

haciendo lo correcto,

pero que en realidad están involucrados
en cada paso para educarlos,

porque cada uno de estos
sistemas es educativo.

Es lo que me da esperanza,
aun en esta cosa realmente sombría,

que si puedes tomarla
y mirarla correctamente,

en realidad es en sí misma
una pieza educativa

que permite comenzar a ver cómo
los sistemas complejos se unen y funcionan

y tal vez ser capaz de aplicar ese
conocimiento en otro lugar del mundo.

HW: James, es una
discusión tan importante,

y sé que muchos aquí están
realmente abiertos y dispuestos a tenerla,

así que gracias por
comenzar nuestra mañana.

JB: Muchas gracias.

(Aplausos)