O pesadelo dos vídeos no YouTube para crianças e o que há de errado com a internet hoje

James Bridle, escritor e artista, revela um canto escuro e estranho da internet, em que pessoas ou grupos desconhecidos no YouTube invadem o cérebro de criancinhas em troca de receitas publicitárias. De "ovo surpresa" e "Finger Family Song" a misturas criadas por algoritmos de personagens de desenhos animados conhecidos em situações violentas, esses vídeos exploram e aterrorizam mentes jovens e nos dizem algo sobre o rumo de nosso mundo cada vez mais movido a dados. "Precisamos parar de pensar na tecnologia como uma solução para todos os nossos problemas e pensar nela como um guia para o que são esses problemas, para que possamos começar a pensar neles adequadamente e começar a resolvê-los", diz Bridle.

Meu nome é James.

Sou escritor e artista,

e produzo trabalho
a respeito de tecnologia.

Faço coisas como desenhar esboços
em tamanho natural de "drones" militares

nas ruas ao redor do mundo,

para que as pessoas possam
começar a pensar e a compreender

essas tecnologias muito difíceis
de se ver e imaginar.

Faço coisas como redes neurais
que preveem os resultados de eleições

com base em boletins meteorológicos,

porque fico intrigado
com as reais possibilidades

dessas novas tecnologias estranhas.

No ano passado, construí
meu próprio carro autônomo.

Mas, como não confio na tecnologia,
também projetei uma armadilha para ele.

(Risos)

Faço essas coisas sobretudo porque
as considero totalmente fascinantes,

mas também porque penso
que, ao falar sobre tecnologia,

estamos falando, principalmente,
sobre nós mesmos

e a maneira pela qual entendemos o mundo.

Eis uma história sobre tecnologia.

Este é um vídeo do "ovo surpresa".

É, basicamente, um vídeo de alguém
abrindo um monte de ovos de chocolate

e mostrando os brinquedos
que estão dentro deles.

Isso é tudo o que se passa
durante sete longos minutos.

Quero que reparem em duas coisas.

Primeiro, esse vídeo
tem 30 milhões de visualizações.

(Risos)

A outra coisa é que ele aparece
em um canal com 6,3 milhões de inscritos

e um total de 8 bilhões de visualizações,

e há mais vídeos como esse.

São 30 milhões de pessoas
assistindo a um cara abrindo esses ovos.

Parece muito estranho mas, se procurarem
por "ovos surpresa" no YouTube,

irão verificar que há
10 milhões desses vídeos,

e acho que isso é por baixo.

Deve haver bem mais vídeos como esse.

Se continuarem procurando, não acaba mais.

Há milhões desses vídeos,

em combinações cada vez mais
grotescas de marcas e materiais,

surgindo na internet todos os dias.

É um mundo bizarro, não é mesmo?

Mas acontece que não são os adultos
que assistem a esses vídeos.

São as crianças pequenas.

Esses vídeos são como droga para elas.

Há algo sobre a repetição,

a dose constante de dopamina
da revelação, que as fisga totalmente.

As crianças pequenas assistem
a esses vídeos sem parar

durante horas a fio.

Se tentarem afastá-las da tela,
elas irão gritar sem parar.

Já vi pessoas na plateia concordando.

Se não acreditam, perguntem
a quem têm crianças pequenas.

Elas conhecem os vídeos dos ovos surpresa.

É aí que começamos.

Estamos em 2018, e alguém,
ou muitas pessoas,

usam o mesmo mecanismo
do Facebook e do Instagram

para nos manter verificando o aplicativo

e para invadir o cérebro
das criancinhas no YouTube

em troca de receitas publicitárias.

É o que, pelo menos,
espero que estejam fazendo,

porque há formas mais fáceis de gerar
receitas publicitárias no YouTube.

Podemos inventar ou roubar coisas.

Se procurarem por desenhos infantis
realmente populares,

como "Peppa" ou "Patrulha Canina",

descobrirão que há também
milhões deles na internet.

Claro que a maioria deles não é
publicada pelos criadores originais.

Eles vêm de um monte de contas
aleatórias diferentes,

e é impossível saber quem os publica
ou quais são os motivos para isso.

Isso lhes parece familiar?

Porque é exatamente o mesmo mecanismo

que ocorre na maior parte
de nossos serviços digitais

em que é impossível saber
a origem das informações.

São notícias falsas para crianças,

e nós as estamos treinando,
desde que nascem,

a clicarem no primeiro link que aparece,
não importando a origem dele.

Não parece uma ideia muito boa.

Outra coisa muito famosa
no YouTube para crianças

é a "Finger Family Song".

Acabei de ouvi alguém
resmungando de novo na plateia.

Esta é a "Finger Family Song".

Foi a primeira que consegui encontrar.

É de 2007 e tem apenas
200 mil visualizações,

o que não é nada nesse jogo.

Mas ela tem uma melodia irritante

que não vou tocar para vocês
porque ela gruda no cérebro

como grudou no meu,

e não vou fazer uma coisa dessas.

Mas, como os ovos surpresa,

ela entra na cabeça das crianças,
que ficam viciadas nela.

Dentro de alguns anos, esses vídeos
começam a surgir em toda parte,

e temos versões em vários idiomas

com desenhos infantis usando a comida

ou quaisquer tipos de elementos
de animação que existem por aí.

Mais uma vez, há milhões
desses vídeos na internet,

disponíveis em todos os tipos
de combinações bizarras.

Quanto mais tempo passamos com eles

mais loucos começamos a ficar.

Foi aí que comecei a ter

uma sensação de profunda estranheza
e falta de compreensão

sobre como era construída essa coisa
que parece estar sempre ao meu redor.

Porque é impossível saber
de onde vêm esses vídeos.

Quem os produz?

Alguns parecem ser feitos por equipes
de animadores profissionais.

Outros são apenas montados
aleatoriamente por software.

Alguns divertem as crianças
e têm um aspecto muito saudável.

E outros são de pessoas que, claramente,
não deveriam se aproximar de crianças.

(Risos)

Mais uma vez, a impossibilidade
de saber quem faz essas coisas...

É um robô?

Uma pessoa? Um "troll"?

Isso significa que não conseguimos mais
notar a diferença entre essas coisas?

Essa incerteza não lhes parece familiar?

O meio principal para obter
visualizações de vídeos,

e elas significam dinheiro,

é enchendo os títulos desses vídeos
com esses termos populares.

Considerem os "ovos surpresa".

Incluam "Patrulha Canina",
"ovo de Páscoa", seja o que for,

todas as palavras de outros
vídeos populares ao seu título

até acabarem com esse tipo
de linguagem misturada,

que não faz sentido algum às pessoas.

Porque, é claro, são apenas
as criancinhas que veem esses vídeos,

e o que elas sabem?

O verdadeiro público
para essas coisas é o software,

são os algoritmos.

É o software que o YouTube usa

para escolher quais vídeos são semelhantes
e torná-los populares e recomendados.

É assim que acabamos tendo
essa mistura totalmente sem sentido,

tanto a nível do título como do conteúdo.

Mas temos que nos lembrar

de que ainda há pessoas nesse sistema
otimizado por algoritmos,

que são forçadas a produzir

essas combinações de palavras
cada vez mais bizarras,

em uma desesperada improvisação artística,

reagindo aos gritos combinados
de um milhão de crianças de uma vez.

São pessoas reais, presas nesses sistemas,

e essa é outra coisa muito estranha
dessa cultura comandada por algoritmos,

porque, mesmo sendo humano,

você acaba se comportando como máquina
apenas para sobreviver.

E também, do outro lado da tela,

ainda há criancinhas assistindo a isso,

com a atenção total presa
por esses estranhos mecanismos.

A maioria delas é muito pequena
até para usar a internet.

Só batem na tela com suas mãozinhas.

A reprodução automática
continua exibindo os vídeos

inúmeras vezes, em um ciclo,
infinitamente, durante horas seguidas.

Há tanta coisa estranha
no sistema hoje em dia

que a reprodução automática
nos leva a lugares muito estranhos.

É assim que, em doze passos,

você pode passar de um vídeo bonitinho
de um trem contando números

a um Mickey Mouse se masturbando.

Desculpem-me por isso.

Mas as coisas pioram.

Isso é o que acontece

quando todas essas palavras-chave

e peças de atenção diferentes,

essa criação desesperada de conteúdo,

juntam-se todas em um único lugar.

É aqui que todas essas palavras-chave
muito estranhas entram em nossa casa.

Mistura-se o vídeo da família dos dedos
com alguma coisa de super-heróis,

incluem-se algumas piadas bizarras
ou qualquer coisa assim,

e, de repente, vamos parar
em um lugar muito estranho.

O que mais aflige os pais

são as coisas com conteúdo
violento ou sexual, não é?

Os desenhos animados
em que as crianças são agredidas,

mortas,

brincadeiras estranhas que realmente
aterrorizam as crianças.

Existe um software que obtém
todas essas influências diferentes

para gerar automaticamente
os piores pesadelos das crianças.

Esse material afeta realmente
as crianças menores.

Os pais contam que os filhos
ficam traumatizados,

com medo do escuro,
de seus desenhos animados preferidos.

Se há uma conclusão a tirar de tudo isso
é que, se tiverem filhos pequenos,

mantenham-os longe do YouTube.

(Aplausos)

Mas outra coisa que realmente me aborrece

é que não tenho certeza se percebemos
como chegamos a esse ponto.

Aceitamos todas essas influências,

todas essas coisas e as manipulamos
de uma forma que ninguém pretendia.

Mas é assim que também estamos
construindo o mundo inteiro.

Pegamos todos esses dados,

muitos dados ruins,

muitos dados históricos
cheios de preconceito,

cheios de todos os nossos
piores impulsos da história,

desenvolvemos enormes conjuntos
de dados e depois os automatizamos.

Desestruturamos os dados
em coisas como relatórios de crédito,

prêmios de seguros,

sistemas de policiamento preditivo,

diretrizes de condenações.

Essa é a maneira pela qual construímos
o mundo de hoje a partir desses dados.

Não sei o que é pior:

termos criado um sistema
que parece estar totalmente otimizado

para os piores aspectos absolutos
do comportamento humano

ou parecer que o fizemos por acaso,

sem sequer perceber
o que estávamos fazendo,

porque não compreendíamos
os sistemas que estávamos criando,

nem sabíamos como fazer
de forma diferente.

Acredito que há algumas coisas
que parecem estar levando a isso

principalmente no YouTube.

A primeira delas é a publicidade,

que é a monetização da atenção

sem quaisquer outras
variáveis reais em ação,

sem qualquer cuidado para as pessoas
que desenvolvem esse conteúdo,

a centralização do poder,
a separação dessas coisas.

Mas creio que, em relação ao uso
da publicidade para apoiar isso,

a visão de adultos de fraldas
rolando na areia

na esperança de que um algoritmo
que realmente não compreendem

lhes dará dinheiro,

sugere que isso talvez

não seja a coisa na qual devemos basear
nossa sociedade e nossa cultura,

nem a maneira pela qual
devemos financiá-la.

O maior controlador disso é a automação,

que é a disponibilização de toda
essa tecnologia assim que ela chega,

sem qualquer tipo de supervisão,

e, quando isso acontece,
lavamos as mãos e dizemos:

"Não somos nós, é a tecnologia.
Não estamos envolvidos".

Isso não basta,

porque essa coisa não é apenas
determinada por algoritmos,

mas é também policiada por eles.

Quando o YouTube começou
a prestar atenção nisso,

disseram que a primeira coisa que fariam

seria criar algoritmos melhores
de aprendizagem de máquinas

para moderar o conteúdo.

Bem, a aprendizagem de máquinas,
como dirá qualquer especialista,

é o que começamos a chamar de software
que não sabemos realmente como funciona.

Acho que já temos o bastante disso.

Não deveríamos deixar a IA decidir
o que é apropriado ou não,

pois sabemos o que acontece.

Ela começará censurando outras coisas,
como o conteúdo "queer",

ou os discursos públicos legítimos.

O que é permitido nesses discursos

não deveria depender
de sistemas irresponsáveis.

Faz parte de uma discussão
que todos nós deveríamos ter.

Mas quero lembrar

que a alternativa também
não é muito agradável.

O YouTube anunciou recentemente

que irá lançar uma versão
de seu aplicativo para crianças,

totalmente moderada por pessoas.

Zuckerberg, do Facebook, disse
uma coisa parecida no Congresso,

quando lhe perguntaram
como moderariam seu conteúdo.

Disse que haveria pessoas para isso.

Queriam dizer

que, em vez de serem as crianças
as primeiras a verem aqueles conteúdos,

colocariam trabalhadores mal pagos,

com contratos precários,
sem apoio adequado de saúde mental,

que também seriam prejudicados.

(Risos)

Acho que podemos fazer
muito melhor do que isso.

(Aplausos)

Acho que a ideia que reúne
essas duas coisas

é o poder de ação.

Quero dizer com isso:

como sabemos de que forma agir
no que melhor nos interessa?

É quase impossível saber

nesses sistemas dos quais
não temos a compreensão total.

A desigualdade no poder
sempre leva à violência.

Podemos ver, nesses sistemas,

que a desigualdade
de compreensão faz o mesmo.

Se há alguma coisa que podemos fazer
para começar a melhorar esses sistemas,

é torná-los mais legíveis
para as pessoas que os utilizam,

para que todos tenhamos
um entendimento comum

do que está acontecendo aqui.

Mas o que mais penso
quanto a esses sistemas

é que não se trata, como espero
ter deixado claro, do YouTube.

Trata-se de tudo.

Essas questões de poder de ação
e responsabilidade,

de opacidade e complexidade,

da violência e da exploração
que resulta inerentemente

da concentração do poder
nas mãos de poucos

são questões muito maiores.

São questões não apenas do YouTube,
nem da tecnologia em geral,

e nem sequer são novas.

Estão conosco há séculos.

Mas, por fim, criamos
esse sistema global, a internet,

que está nos mostrando essas questões
de forma extraordinária,

tornando-as inegáveis.

A tecnologia tem
a capacidade extraordinária

de exemplificar e continuar

todos os nossos desejos e preconceitos
mais notáveis, muitas vezes ocultos,

e codificá-los no mundo,

mas também de anotá-los
para que possamos percebê-los

e não possamos fingir
que não existem mais.

Precisamos parar de pensar na tecnologia
como uma solução para todos os problemas

e pensar nela como um guia
para o que são realmente esses problemas,

para que possamos
pensar neles adequadamente

e começar a resolvê-los.

Muito obrigado.

(Aplausos)

Obrigado.

(Aplausos)

Helen Walters: James, obrigada
por ter vindo dar esta palestra.

É interessante, quando pensamos nos filmes
em que os robôs assumem o comando,

é um pouco mais glamoroso
do que você descreve.

Mas fico pensando: nesses filmes,
temos a escalada da resistência.

Há uma escalada da resistência
sobre esse assunto?

Você vê sinais positivos
de recuperação da resistência?

James Bridle: Não sei
sobre a resistência direta,

pois creio que isso seja
muito a longo prazo,

está arraigado na cultura
de maneira muito profunda.

Minha amiga Eleanor Saitta sempre diz

que quaisquer problemas tecnológicos
de dimensão e alcance suficientes

são, antes de mais nada,
problemas políticos.

Portanto, todas essas coisas
que tentamos abordar

não serão resolvidas
apenas melhorando a tecnologia,

mas mudando a sociedade que a produz.

Nesse momento, creio que temos
um longo caminho a percorrer.

Mas, como disse, acredito que, explicando,
falando sobre isso de forma honesta,

poderemos, pelo menos,
iniciar esse processo.

HW: Quando você fala sobre legibilidade
e alfabetização digital,

acho difícil imaginar

que precisamos colocar o ônus
da alfabetização digital nos usuários.

De quem é a responsabilidade
do ensino neste novo mundo?

JB: Creio que a responsabilidade
seja de todos nós,

que tudo o que fazemos e criamos

precisa ser feito
numa discussão consensual

com todos que a têm evitado;

que não estamos construindo sistemas
para enganar e surpreender as pessoas

fazendo a coisa certa,

mas que elas estejam envolvidas
em cada passo de sua educação,

pois cada um desses sistemas é educativo.

É nisso que tenho esperança,
mesmo nessa coisa sombria,

que, se pudermos analisá-la devidamente,

esteja nela mesma, na verdade,
parte da educação

que nos permita começar a ver como
sistemas complexos se juntam e funcionam

e, talvez, conseguir aplicar
esses conhecimentos pelo mundo.

HW: James, é uma discussão
muito importante,

e sei que muitas pessoas aqui
estão abertas e preparadas para ela.

Obrigada por ter iniciado nossa manhã.

JB: Muito obrigado.

(Aplausos)