O caminho para criar e gerar efeito é obscuro e perigoso.
Mas as armas da econometria são fortes.
Contemple a mais poderosa, a espada da atribuição aleatória,
que fere profundamente as questões causais.
-[Sensei] Começamos com nossa arma mais poderosa e mais cara --
ensaios randomizados.
-[aluno] Incrível.
Toda missão métrica começa com uma questão causal.
Questões claras levam à respostas claras.
As respostas mais claras vêm dos ensaios randomizados.
Vamos ver como e porque os ensaios randomizados fornecem
especialmente respostas convincentes às questões causais.
-[Josh] Como uma espada bem afiada, os ensaios randomizados cortam
profundamente um problema causal,
criando comparações justas e convincentes.
Porém, como qualquer arma bem afiada,
os ensaios randomizados são caros e não podem ser feitos rapidamente.
Os ensaios randomizados se originou nas pesquisas médicas,
onde foram chamados de ensaios clínicos randomizados ou ECRs.
A administração de comida e medicamento dos EUA exigem que produtores
garantam a segurança e a eficácia de novos medicamentos
ou de tratamentos médicos.
Eles fazem isso através de uma série de ECRs.
É por isso que os ensaios randomizados avaliam os efeitos de tratamentos.
Você pode ter contribuído com outro tipo
de ensaio randomizado --
Os testes A/B que empresas da Silicon Valley usam
para comparar estratégias de marketing.
A Amazon randomiza resultados de pesquisas em um fluxo constante
de testes escondidos.
-[aluno] Interessante.
Ensaios randomizados também são importantes em pesquisas educacionais.
Eles tem sido usados para responder uma questão causal importante
para meu coração de professor --
Os laptops e outros aparelhos eletrônicos
devem ser permitidos em sala de aula?
Muitos os veem em sala de aula como apoio ao aprendizado.
Mas outros, como eu, acham que eles são muito distrativos.
Quem está certo?
Mestes da métrica dando aula em West Point,
a faculdade militar que treina oficiais do exército americano,
criaram um ensaio randomizado para responder essa questão.
Esses mestres colocaram cadetes do West Point
em aulas de economia operando sob regras diferentes.
Diferente de muitas faculdades dos EUA,
o padrão na West Point é de não usar eletrônicos.
Para a proposta desse teste, alguns alunos foram colocados
em aulas tradicionais livres de tecnologia --
sem laptops, sem tablets, e SEM CELULARES!
Este é o grupo de controle, ou caso de linha de base.
O outro grupo pôde usar eletrônicos.
Este é o grupo de tratamento, submetido a um ambiente diferente.
O tratamento neste caso é o uso sem restrições
de laptops ou tablets em aula.
Toda questão causal tem um resultado claro --
as variáveis que esperamos influir, definidas com o avanço do estudo.
Os resultados dos estudos eletrônicos em West Point
são as notas dos exames finais.
O estudo busca responder a seguinte questão --
qual é o efeito causal do aprendizado em salas de aula com eletrônicos
medido pelas notas dos exames?
Estudantes de economia de W.P foram aleatoriamente atribuídos
à ambos tratamentos ou grupos de controles.
A atribuição aleatória cria comparações ceteris paribus,
nos permitindo elaborar conclusões comparando os grupos.
O poder de revelação da casualidade de um ensaio randomizado
vem de propriedades estatísticas chamade de lei dos grandes números.
Quando estatísticos e matemáticos descobrem
algo importante e confiavelmente verdadeiro
sobre o mundo natural, eles o chamam de lei.
A lei dos grandes números diz que quando os grupos randomizados
são grandes o suficiente, os alunos neles certamente são similares
em média, de todas as formas.
Isso significa que os grupos de alunos divididos aleatoriamente podem ter
base familiar similares, motivação e habilidade.
Sayônara viés de seleção, pelo menos na teoria.
Na prática, os grupos randomizados podem não ser grandes o bastante
para que a lei de grandes números funcione.
Ou os pesquisadores podem ter estragado a atribuição aleatória.
Em qualquer esforço técnico, até os mestres mais experientes
são avisados sobre possíveis vacilos.
Então verificamos o balanço,
comparando as variáveis do histórico dos alunos nos grupos
para ter certeza que eles de fato são similares.
Aqui está a verificação do balanço da West Point.
Essa tabela mostra duas colunas --
uma mostrando dados do grupo de controle
e a outra mostrando dados do grupo de tratamento.
As linhas mostram algumas das variáveis que esperamos estarem balanceadas --
sexo, idade, raça, e sua média de notas no ensino médio, entre outros.
A primeira linha indica qual porcentagem
de cada grupo é feminino.
É 17% no grupo de controle e 20% no grupo de tratamento.
Kamal, como está o balanço para a média de notas?
-[Kamal] O grupo de controle tem uma média de 2,87,
já o de tratamento tem uma média de 2,82. Bem próximo.
Felizmente, os dois grupos parecem ser similares em tudo.
Quão grande deve ser a amostra
para a lei de grandes números funcionar?
O estudo da West Point,
que involveu cerca de 250 estudantes em cada grupo,
é provavelmente grande o bastante.
Não há regras definitvas aqui.
Em outro vídeo, vocês aprenderão como confirmar a hipótese
do grupo de balanço com testes estatísticos formais.
-[Aluno] Empolgante.
O coração da questão nessa tabela
é o efeito estimado do tratamento.
Lembrem-se que o tramento neste caso é a permissão
para usar eletrônicos na aula.
Os efeitos de tratamento compara médias entre os grupos de controle e tratamento.
O grupo com permissão para usar eletrônicos
teve uma média de nota no exame final de 0.28 deviações padrões
abaixo da nota dos estudantes no grupo de controle.
Quão grande é esse efeito?
Cientistas sociais medem notas em unidades de deviações padrões,
porque essas unidades são fáceis de serem comparadas entre estudos.
Sabemos por uma longa história de pesquisa de aprendizado em aula
que 0.28 é muito.
Uma queda de 0.28 é como pegar o estudante mediano da turma
e levá-lo ou levá-la para o terceiro escalão.
Como teremos certeza de que os resultados
são significativos?
Afinal, estamos buscando em uma única divisão aleatória
entre grupos de controle e tratamento.
Outras divisões aleatórias podem ter produzido algo diferente.
Então quantificamos a variância amostral
em estimativas de efeitos causais.
O que é variância amostral?
A variância amostral nos diz a probabilidade
da descoberta de uma estatística particular de ser um resultado causal,
mais além de uma indicação de uma relação subjacente.
A variância amostral é resumida por um número,
chamado de erro padrão do efeito de tratamento estimado.
-[sussurros] Não entendi. -Do que ele está falando...?
Não se preocupem -- falaremos mais sobre essa importante ideia mais tarde.
-[Aluno] Aí sim.
Apenas lembrem-se: quanto menor for o erro padrão,
mais conclusiva é a dscoberta.
Por outro lado, se o erro padrão for grande
em relação ao efeito que tentamos estimar,
há uma boa chance de encontrarmos algo diferente
se fôssemos refazer o experimento.
Podemos pensar nesse erro padrão como uma forma de medir
o quão podemos confiar no resultado que vemos.
-[Alunos] Ok.
Nesse estudo, o erro padrão relevante é 0.1.
Por enquanto já basta para aprender uma regra simples.
Quando um tratamento de efeito estimado
é mais que o dobro do erro padrão,
a chance deste resultado ser diferente de zero é porque a causa é baixa,
cerca de 1 em 20.
Por isso ser tão improvável, dizemos que as estimativas
que são 2 ou mais vezes maior que os padrões de erros associados
são estatisticamente significantes.
Camilla, o tratamento de efeito no estudo da West Point
é estatisticamente significante?
O erro padrão é 0.10 e o efeito de tratamento é 0.28,
então 0.28 é mais que o dobro do que 0.10, então sim.
Correto.
A perda de aprendizado causada por eletrônicos usados na Econ 101
é então grande, e estatisticamente significante.
-[Aluno] Legal.
Ensaios randozimados geralmente fornecem as respostas mais claras
para as questões causais.
Quando essa arma está em nosso kit de ferramentas, a usamos.
A atribuição aleatória nos permite afirmar
que a ceteris foi de fato feita paribus.
Mas os ensaios randomizados são difíceis de organizar.
Eles podem ser caros e demorados,
e, em alguns casos, considerado antiético.
Então os mestres buscam por alternativas claras.
As alternativas tentam imitar o poder revelador da casualidade
de um ensaio randomizado, mas sem o tempo, a dificuldade,
e o custo de um experimento feito com uma proposta.
Essas ferramentas alternativas são aplicadas em cenários do mundo real
que imitam a atribuição aleatória.
Você está no caminho certo para dominar a econometria.
Fixe o aprendeu neste vídeo
fazendo algumas questões práticas.
Ou, caso esteja pronto, clique no próximo vídeo.
Visite também o site da MRU
para mais cursos, materiais de professores e mais.
Tradução: John Silva.