Ensaios Randomizados: A Arma Ideal

Josh Angrist do MIT - também conhecido como Mestre Joshway - nos apresenta nossa arma mais poderosa: ensaios randomizados!

Os ensaios clínicos randomizados se originaram na pesquisa médica, onde são chamados de "ensaios clínicos randomizados" ou "ECRs". É por isso que os ensaios randomizados medem os "efeitos do tratamento".

Josh cobre um estudo fascinante de West Point que busca responder a uma pergunta comum usando testes randomizados: Nossos dispositivos são mais distrativos do que úteis quando se trata de aprendizagem?

Neste vídeo, cobrimos o seguinte:
-Qual é a diferença entre os grupos de controle e de tratamento?
-Como "verificar o balanço"
-A Lei dos Grandes Números
-Efeitos de tratamento
- Erros padrão e significância estatística

*** RECURSOS DO INSTRUTOR ***
Recursos para professores do ensino médio: https://bit.ly/2RcCsta
Recursos do professor: https://bit.ly/2XgdHQG
EconInbox: https://bit.ly/2yzTjzz

*** MAIS APRENDIZAGEM ***
Experimente nossas perguntas práticas: https://bit.ly/2xVuvSg
Veja o curso completo: https://bit.ly/2Xc88CQ
Receba atualizações quando lançarmos novos vídeos: https://bit.ly/2VaLTdH
Mais da Marginal Revolution University: https://bit.ly/39QeWZo

O caminho para criar e gerar efeito
é obscuro e perigoso.

Mas as armas
da econometria são fortes.

Contemple a mais poderosa,
a espada da atribuição aleatória,

que fere profundamente
as questões causais.

-[Sensei] Começamos com nossa arma
mais poderosa e mais cara --

ensaios randomizados.

-[aluno] Incrível.

Toda missão métrica começa
com uma questão causal.

Questões claras levam
à respostas claras.

As respostas mais claras
vêm dos ensaios randomizados.

Vamos ver como e porque
os ensaios randomizados fornecem

especialmente respostas
convincentes às questões causais.

-[Josh] Como uma espada bem afiada,
os ensaios randomizados cortam

profundamente um problema causal,

criando comparações
justas e convincentes.

Porém, como qualquer
arma bem afiada,

os ensaios randomizados são caros
e não podem ser feitos rapidamente.

Os ensaios randomizados
se originou nas pesquisas médicas,

onde foram chamados
de ensaios clínicos randomizados ou ECRs.

A administração de comida e medicamento
dos EUA exigem que produtores

garantam a segurança
e a eficácia de novos medicamentos

ou de tratamentos médicos.

Eles fazem isso através
de uma série de ECRs.

É por isso que os ensaios randomizados
avaliam os efeitos de tratamentos.

Você pode ter contribuído
com outro tipo

de ensaio randomizado --

Os testes A/B que empresas
da Silicon Valley usam

para comparar
estratégias de marketing.

A Amazon randomiza resultados
de pesquisas em um fluxo constante

de testes escondidos.

-[aluno] Interessante.

Ensaios randomizados também
são importantes em pesquisas educacionais.

Eles tem sido usados para responder
uma questão causal importante

para meu coração de professor --

Os laptops e outros
aparelhos eletrônicos

devem ser permitidos
em sala de aula?

Muitos os veem em sala de aula
como apoio ao aprendizado.

Mas outros, como eu, acham
que eles são muito distrativos.

Quem está certo?

Mestes da métrica
dando aula em West Point,

a faculdade militar que treina
oficiais do exército americano,

criaram um ensaio randomizado
para responder essa questão.

Esses mestres colocaram
cadetes do West Point

em aulas de economia
operando sob regras diferentes.

Diferente de muitas
faculdades dos EUA,

o padrão na West Point
é de não usar eletrônicos.

Para a proposta desse teste,
alguns alunos foram colocados

em aulas tradicionais
livres de tecnologia --

sem laptops, sem tablets,
e SEM CELULARES!

Este é o grupo de controle,
ou caso de linha de base.

O outro grupo pôde
usar eletrônicos.

Este é o grupo de tratamento,
submetido a um ambiente diferente.

O tratamento neste caso
é o uso sem restrições

de laptops ou tablets em aula.

Toda questão causal
tem um resultado claro --

as variáveis que esperamos influir,
definidas com o avanço do estudo.

Os resultados dos estudos
eletrônicos em West Point

são as notas dos exames finais.

O estudo busca responder
a seguinte questão --

qual é o efeito causal do aprendizado
em salas de aula com eletrônicos

medido pelas notas dos exames?

Estudantes de economia de W.P
foram aleatoriamente atribuídos

à ambos tratamentos
ou grupos de controles.

A atribuição aleatória cria
comparações ceteris paribus,

nos permitindo elaborar conclusões
comparando os grupos.

O poder de revelação da casualidade
de um ensaio randomizado

vem de propriedades estatísticas
chamade de lei dos grandes números.

Quando estatísticos
e matemáticos descobrem

algo importante
e confiavelmente verdadeiro

sobre o mundo natural,
eles o chamam de lei.

A lei dos grandes números diz
que quando os grupos randomizados

são grandes o suficiente, os alunos
neles certamente são similares

em média, de todas as formas.

Isso significa que os grupos de alunos
divididos aleatoriamente podem ter

base familiar similares,
motivação e habilidade.

Sayônara viés de seleção,
pelo menos na teoria.

Na prática, os grupos randomizados
podem não ser grandes o bastante

para que a lei
de grandes números funcione.

Ou os pesquisadores podem ter
estragado a atribuição aleatória.

Em qualquer esforço técnico,
até os mestres mais experientes

são avisados sobre possíveis vacilos.

Então verificamos o balanço,

comparando as variáveis
do histórico dos alunos nos grupos

para ter certeza
que eles de fato são similares.

Aqui está a verificação
do balanço da West Point.

Essa tabela mostra duas colunas --

uma mostrando dados
do grupo de controle

e a outra mostrando dados
do grupo de tratamento.

As linhas mostram algumas das variáveis
que esperamos estarem balanceadas --

sexo, idade, raça, e sua média de notas
no ensino médio, entre outros.

A primeira linha indica
qual porcentagem

de cada grupo é feminino.

É 17% no grupo de controle
e 20% no grupo de tratamento.

Kamal, como está o balanço
para a média de notas?

-[Kamal] O grupo de controle
tem uma média de 2,87,

já o de tratamento tem
uma média de 2,82. Bem próximo.

Felizmente, os dois grupos
parecem ser similares em tudo.

Quão grande deve ser a amostra

para a lei
de grandes números funcionar?

O estudo da West Point,

que involveu cerca de 250
estudantes em cada grupo,

é provavelmente grande o bastante.

Não há regras definitvas aqui.

Em outro vídeo, vocês aprenderão
como confirmar a hipótese

do grupo de balanço com testes
estatísticos formais.

-[Aluno] Empolgante.

O coração da questão nessa tabela

é o efeito estimado do tratamento.

Lembrem-se que o tramento
neste caso é a permissão

para usar eletrônicos na aula.

Os efeitos de tratamento compara médias
entre os grupos de controle e tratamento.

O grupo com permissão
para usar eletrônicos

teve uma média de nota no exame final
de 0.28 deviações padrões

abaixo da nota dos estudantes
no grupo de controle.

Quão grande é esse efeito?

Cientistas sociais medem notas
em unidades de deviações padrões,

porque essas unidades são fáceis
de serem comparadas entre estudos.

Sabemos por uma longa história
de pesquisa de aprendizado em aula

que 0.28 é muito.

Uma queda de 0.28 é como
pegar o estudante mediano da turma

e levá-lo ou levá-la
para o terceiro escalão.

Como teremos certeza
de que os resultados

são significativos?

Afinal, estamos buscando
em uma única divisão aleatória

entre grupos
de controle e tratamento.

Outras divisões aleatórias
podem ter produzido algo diferente.

Então quantificamos
a variância amostral

em estimativas
de efeitos causais.

O que é variância amostral?

A variância amostral
nos diz a probabilidade

da descoberta de uma estatística
particular de ser um resultado causal,

mais além de uma indicação
de uma relação subjacente.

A variância amostral
é resumida por um número,

chamado de erro padrão
do efeito de tratamento estimado.

-[sussurros] Não entendi.
-Do que ele está falando...?

Não se preocupem -- falaremos mais sobre
essa importante ideia mais tarde.

-[Aluno] Aí sim.

Apenas lembrem-se:
quanto menor for o erro padrão,

mais conclusiva é a dscoberta.

Por outro lado,
se o erro padrão for grande

em relação ao efeito
que tentamos estimar,

há uma boa chance
de encontrarmos algo diferente

se fôssemos refazer o experimento.

Podemos pensar nesse erro padrão
como uma forma de medir

o quão podemos confiar
no resultado que vemos.

-[Alunos] Ok.

Nesse estudo,
o erro padrão relevante é 0.1.

Por enquanto já basta
para aprender uma regra simples.

Quando um tratamento
de efeito estimado

é mais que o dobro
do erro padrão,

a chance deste resultado ser diferente
de zero é porque a causa é baixa,

cerca de 1 em 20.

Por isso ser tão improvável,
dizemos que as estimativas

que são 2 ou mais vezes maior
que os padrões de erros associados

são estatisticamente significantes.

Camilla, o tratamento de efeito
no estudo da West Point

é estatisticamente significante?

O erro padrão é 0.10
e o efeito de tratamento é 0.28,

então 0.28 é mais que o dobro
do que 0.10, então sim.

Correto.

A perda de aprendizado causada
por eletrônicos usados na Econ 101

é então grande,
e estatisticamente significante.

-[Aluno] Legal.

Ensaios randozimados geralmente
fornecem as respostas mais claras

para as questões causais.

Quando essa arma está em nosso
kit de ferramentas, a usamos.

A atribuição aleatória
nos permite afirmar

que a ceteris foi de fato
feita paribus.

Mas os ensaios randomizados
são difíceis de organizar.

Eles podem ser caros e demorados,

e, em alguns casos,
considerado antiético.

Então os mestres buscam
por alternativas claras.

As alternativas tentam imitar
o poder revelador da casualidade

de um ensaio randomizado,
mas sem o tempo, a dificuldade,

e o custo de um experimento
feito com uma proposta.

Essas ferramentas alternativas
são aplicadas em cenários do mundo real

que imitam a atribuição aleatória.

Você está no caminho certo
para dominar a econometria.

Fixe o aprendeu neste vídeo

fazendo algumas
questões práticas.

Ou, caso esteja pronto,
clique no próximo vídeo.

Visite também o site da MRU

para mais cursos,
materiais de professores e mais.

Tradução: John Silva.