O caminho para criar e gerar efeito
é obscuro e perigoso.
Mas as armas
da econometria são fortes.
Contemple a mais poderosa,
a espada da atribuição aleatória,
que fere profundamente
as questões causais.
-[Sensei] Começamos com nossa arma
mais poderosa e mais cara --
ensaios randomizados.
-[aluno] Incrível.
Toda missão métrica começa
com uma questão causal.
Questões claras levam
à respostas claras.
As respostas mais claras
vêm dos ensaios randomizados.
Vamos ver como e porque
os ensaios randomizados fornecem
especialmente respostas
convincentes às questões causais.
-[Josh] Como uma espada bem afiada,
os ensaios randomizados cortam
profundamente um problema causal,
criando comparações
justas e convincentes.
Porém, como qualquer
arma bem afiada,
os ensaios randomizados são caros
e não podem ser feitos rapidamente.
Os ensaios randomizados
se originou nas pesquisas médicas,
onde foram chamados
de ensaios clínicos randomizados ou ECRs.
A administração de comida e medicamento
dos EUA exigem que produtores
garantam a segurança
e a eficácia de novos medicamentos
ou de tratamentos médicos.
Eles fazem isso através
de uma série de ECRs.
É por isso que os ensaios randomizados
avaliam os efeitos de tratamentos.
Você pode ter contribuído
com outro tipo
de ensaio randomizado --
Os testes A/B que empresas
da Silicon Valley usam
para comparar
estratégias de marketing.
A Amazon randomiza resultados
de pesquisas em um fluxo constante
de testes escondidos.
-[aluno] Interessante.
Ensaios randomizados também
são importantes em pesquisas educacionais.
Eles tem sido usados para responder
uma questão causal importante
para meu coração de professor --
Os laptops e outros
aparelhos eletrônicos
devem ser permitidos
em sala de aula?
Muitos os veem em sala de aula
como apoio ao aprendizado.
Mas outros, como eu, acham
que eles são muito distrativos.
Quem está certo?
Mestes da métrica
dando aula em West Point,
a faculdade militar que treina
oficiais do exército americano,
criaram um ensaio randomizado
para responder essa questão.
Esses mestres colocaram
cadetes do West Point
em aulas de economia
operando sob regras diferentes.
Diferente de muitas
faculdades dos EUA,
o padrão na West Point
é de não usar eletrônicos.
Para a proposta desse teste,
alguns alunos foram colocados
em aulas tradicionais
livres de tecnologia --
sem laptops, sem tablets,
e SEM CELULARES!
Este é o grupo de controle,
ou caso de linha de base.
O outro grupo pôde
usar eletrônicos.
Este é o grupo de tratamento,
submetido a um ambiente diferente.
O tratamento neste caso
é o uso sem restrições
de laptops ou tablets em aula.
Toda questão causal
tem um resultado claro --
as variáveis que esperamos influir,
definidas com o avanço do estudo.
Os resultados dos estudos
eletrônicos em West Point
são as notas dos exames finais.
O estudo busca responder
a seguinte questão --
qual é o efeito causal do aprendizado
em salas de aula com eletrônicos
medido pelas notas dos exames?
Estudantes de economia de W.P
foram aleatoriamente atribuídos
à ambos tratamentos
ou grupos de controles.
A atribuição aleatória cria
comparações ceteris paribus,
nos permitindo elaborar conclusões
comparando os grupos.
O poder de revelação da casualidade
de um ensaio randomizado
vem de propriedades estatísticas
chamade de lei dos grandes números.
Quando estatísticos
e matemáticos descobrem
algo importante
e confiavelmente verdadeiro
sobre o mundo natural,
eles o chamam de lei.
A lei dos grandes números diz
que quando os grupos randomizados
são grandes o suficiente, os alunos
neles certamente são similares
em média, de todas as formas.
Isso significa que os grupos de alunos
divididos aleatoriamente podem ter
base familiar similares,
motivação e habilidade.
Sayônara viés de seleção,
pelo menos na teoria.
Na prática, os grupos randomizados
podem não ser grandes o bastante
para que a lei
de grandes números funcione.
Ou os pesquisadores podem ter
estragado a atribuição aleatória.
Em qualquer esforço técnico,
até os mestres mais experientes
são avisados sobre possíveis vacilos.
Então verificamos o balanço,
comparando as variáveis
do histórico dos alunos nos grupos
para ter certeza
que eles de fato são similares.
Aqui está a verificação
do balanço da West Point.
Essa tabela mostra duas colunas --
uma mostrando dados
do grupo de controle
e a outra mostrando dados
do grupo de tratamento.
As linhas mostram algumas das variáveis
que esperamos estarem balanceadas --
sexo, idade, raça, e sua média de notas
no ensino médio, entre outros.
A primeira linha indica
qual porcentagem
de cada grupo é feminino.
É 17% no grupo de controle
e 20% no grupo de tratamento.
Kamal, como está o balanço
para a média de notas?
-[Kamal] O grupo de controle
tem uma média de 2,87,
já o de tratamento tem
uma média de 2,82. Bem próximo.
Felizmente, os dois grupos
parecem ser similares em tudo.
Quão grande deve ser a amostra
para a lei
de grandes números funcionar?
O estudo da West Point,
que involveu cerca de 250
estudantes em cada grupo,
é provavelmente grande o bastante.
Não há regras definitvas aqui.
Em outro vídeo, vocês aprenderão
como confirmar a hipótese
do grupo de balanço com testes
estatísticos formais.
-[Aluno] Empolgante.
O coração da questão nessa tabela
é o efeito estimado do tratamento.
Lembrem-se que o tramento
neste caso é a permissão
para usar eletrônicos na aula.
Os efeitos de tratamento compara médias
entre os grupos de controle e tratamento.
O grupo com permissão
para usar eletrônicos
teve uma média de nota no exame final
de 0.28 deviações padrões
abaixo da nota dos estudantes
no grupo de controle.
Quão grande é esse efeito?
Cientistas sociais medem notas
em unidades de deviações padrões,
porque essas unidades são fáceis
de serem comparadas entre estudos.
Sabemos por uma longa história
de pesquisa de aprendizado em aula
que 0.28 é muito.
Uma queda de 0.28 é como
pegar o estudante mediano da turma
e levá-lo ou levá-la
para o terceiro escalão.
Como teremos certeza
de que os resultados
são significativos?
Afinal, estamos buscando
em uma única divisão aleatória
entre grupos
de controle e tratamento.
Outras divisões aleatórias
podem ter produzido algo diferente.
Então quantificamos
a variância amostral
em estimativas
de efeitos causais.
O que é variância amostral?
A variância amostral
nos diz a probabilidade
da descoberta de uma estatística
particular de ser um resultado causal,
mais além de uma indicação
de uma relação subjacente.
A variância amostral
é resumida por um número,
chamado de erro padrão
do efeito de tratamento estimado.
-[sussurros] Não entendi.
-Do que ele está falando...?
Não se preocupem -- falaremos mais sobre
essa importante ideia mais tarde.
-[Aluno] Aí sim.
Apenas lembrem-se:
quanto menor for o erro padrão,
mais conclusiva é a dscoberta.
Por outro lado,
se o erro padrão for grande
em relação ao efeito
que tentamos estimar,
há uma boa chance
de encontrarmos algo diferente
se fôssemos refazer o experimento.
Podemos pensar nesse erro padrão
como uma forma de medir
o quão podemos confiar
no resultado que vemos.
-[Alunos] Ok.
Nesse estudo,
o erro padrão relevante é 0.1.
Por enquanto já basta
para aprender uma regra simples.
Quando um tratamento
de efeito estimado
é mais que o dobro
do erro padrão,
a chance deste resultado ser diferente
de zero é porque a causa é baixa,
cerca de 1 em 20.
Por isso ser tão improvável,
dizemos que as estimativas
que são 2 ou mais vezes maior
que os padrões de erros associados
são estatisticamente significantes.
Camilla, o tratamento de efeito
no estudo da West Point
é estatisticamente significante?
O erro padrão é 0.10
e o efeito de tratamento é 0.28,
então 0.28 é mais que o dobro
do que 0.10, então sim.
Correto.
A perda de aprendizado causada
por eletrônicos usados na Econ 101
é então grande,
e estatisticamente significante.
-[Aluno] Legal.
Ensaios randozimados geralmente
fornecem as respostas mais claras
para as questões causais.
Quando essa arma está em nosso
kit de ferramentas, a usamos.
A atribuição aleatória
nos permite afirmar
que a ceteris foi de fato
feita paribus.
Mas os ensaios randomizados
são difíceis de organizar.
Eles podem ser caros e demorados,
e, em alguns casos,
considerado antiético.
Então os mestres buscam
por alternativas claras.
As alternativas tentam imitar
o poder revelador da casualidade
de um ensaio randomizado,
mas sem o tempo, a dificuldade,
e o custo de um experimento
feito com uma proposta.
Essas ferramentas alternativas
são aplicadas em cenários do mundo real
que imitam a atribuição aleatória.
Você está no caminho certo
para dominar a econometria.
Fixe o aprendeu neste vídeo
fazendo algumas
questões práticas.
Ou, caso esteja pronto,
clique no próximo vídeo.
Visite também o site da MRU
para mais cursos,
materiais de professores e mais.
Tradução: John Silva.