-[Sensei] Em sua jornada para dominar a econometria,
o nosso gafanhoto Kamal fez um grande progresso,
aprimorando suas habilidades e ludibriando seus oponentes.
Lamentavelmente, hoje ele está abatido,
pois ainda precisa encarar um desafio.
Kamal ainda não consegue decifrar as mensagens das pesquisas acadêmicas --
periódicos como "The American Economic Review"
e "Econometrica".
Para ele, eles parecem escritos em uma espécie de idioma misterioso.
- [Kamal] Ué, mas que... ?
Esses textos são impenetráveis para o aprendiz,
mas Kamal pode decifrá-los com estudo.
Vamos aprender a lê-los juntos.
Vamos destrinchar o estudo da West Point,
publicado em "Economics of Education Review."
O artigo apresenta uma avaliação randomizada
do uso de equipamento eletrônicos para os alunos nas aulas 101 de economia.
Antes, uma breve revisão do modelo da pesquisa
- OK.
Mestres da econometria em West Point,
o colégio militar que treina os oficiais do Exército americano;
criaram um estudo randomizado para responder a questão.
Os cadetes foram aleatoriamente distribuídos
em turmas de Economia, cada uma com uma regra diferente.
Diferente da maioria das faculdades,
West Point proibe os eletrônicos na sala de aula.
Para o experimento dar certo, alguns alunos foram alocados
em turmas com a tradicional regra de proibir
laptops, tablets e CELULARES!
[eco]
Esse é o grupo de controle, ou grupo de comparação.
O outro grupo recebeu permissão para usar seus aparelhos.
Este é o grupo de tratamento, submetido à um ambiente diferente.
O tratamento neste caso é o uso livre
de laptopts ou tablets em sala de aula.
Toda questão causal tem um resultado claro --
as variáveis que esperamos influir definidas com o avanço do estudo.
Os resultados dos estudos na West Point
são as notas dos exames finais.
O estudo busca responder a seguinte questão:
Qual é o efeito do aprendizado de turmas com eletrônicos na aula
medidas pelas notas dos exames?
Artigos de economia em jornais geralmente começam com uma tabela
de estatísticas descritivas,
dando fatos chave sobre a amostra do estudo.
Meu Deus, lembro-me dessa tabela -- muito confusa!
As colunas de 1 a 3 relatam média e características.
Isso nos dá um senso do que estamos estudando.
Vamos começar com a coluna 1 que descreve covariáveis
no grupo de controle.
As covariáveis são características dos grupos de controle e tratamento
medidas antes do iníco do experimento.
Por exemplo, vemos que o grupo de controle tem uma média de idade acima de 20.
Muitas dessas covariáveis são variáveis fictícias.
Uma variável fictícia apenas pode ter dois valores - 0 ou 1.
Por exemplo, o gênero do aluno é obtido por uma variável fictícia
que iguala 1 para as mulheres e 0 para os homens.
A média dessa variável é a proporção de mulheres.
Também vemos que 13% do grupo de controle é hispânico
e 19% têm precedentes em serviços militares.
As notas da tabela são chave.
Consulte-as enquanto analisa a tablea.
Essas notas explicam o que é mostrado em cada coluna e painel.
As notas nos mostra, por exemplo,
que desvios padrões são relatados entre parênteses.
Os desvios padrões nos mostra o quão difundidos são os dados.
Por exemplo, um desvio padrão de 0.52 nos mostra que a maioria
das médias de notas escolares do grupo de controle cai entre 2.35,
que é 0.52 abaixo da média das notas escolares de 2.87,
e 3.39, que é 0.52 sobre 2.87.
Um desvio padrão menor significaria que as médias
estavam mais agrupadas ao redor da média.
-[Kamal] Sim, mas elas não estão na maioria das variáveis.
-[Sensei] É isso aí.
Os mestres geralmente omitem os desvios padrões por fictícios,
porque a média da variável determina seu desvio padrão.
Este estudo compara dois grupos de tratamento
com o grupo de controle.
O primeiro teve livre acesso ao uso de laptops ou tablets.
O segundo tratamento foi mais restritivo,
permitindo apenas tablets sobre a mesa.
Os grupos de tratamento se parecem muito com o de controle.
Isso nos leva ao próximo elemento dessa tabela, as colunas 4 a 6
usam testes estatísticos para comparar as características
dos grupos de controle e tratamento antes do experimento.
Na coluna 4, os dois grupos de tratamento são combinados.
Vocês podem ver que a diferença em proporção feminina
entre os grupos de controle e tratamento é apenas 0.03.
A diferença não é estatisticamente significante --
é o tipo de diferença que podemos facilmente colocar
para causar resultados em nosso processo de seleção de amostra.
-[Kamal] Como saberemos isso?
Você se lembra da regra de ouro?
Estimativas estatísticas que excedem o erro padrão
por um múltiplo de 2 em valor absoluto,
geralmente são chamadas de estatísticamente significantes.
O erro padrão é 0.03,
o mesmo da diferença de proporção feminina.
Então a proporção do primeiro para o segundo é apenas 1,
que, é claro, é menor que 2.
-[Kamal] Oh! Então nenhuma das diferenças dos grupos
da tabela são mais que o dobro de seus erros padrões.
Correto.
A divisão aleatória dos estudantes parece ter tido sucesso
na criação dos grupos que são de fato comparáveis.
Portanto, podemos ficar confiantes
de que nenhuma diferença posterior no sucesso das turmas
sejam o resultado de intervenções experimentais,
ao invés da reflexão de diferenças pré-existentes.
Ceteris Paribus alcançada!
-[Kamal] Legal. Espera ái, e a parte inferior,
os números com as estrelas?
Aquelas diferenças são mais do que o dobro do erro padrão.
Bem observado, Kamal!
A tabela tem muitos números.
Aqueles no painel B são importantes também.
Essse painel mede a proporção do uso de computadores
que os grupos de tratamento e controle de fato usaram em aula.
O grupo de tratamento pôde usar computadores.
Os pesquisadores devem mostrar
que os estudantes que usaram computadores
aproveitaram a oportunidade.
Se eles não aproveitaram, então não há tratamento.
felizmente, 81% daqueles no primeiro grupo de tratamento
usaram computadores;
comparados com nenhum do grupo de controle.
E muitos no segundo bloco do grupo de tratamento
também usaram computadores.
Essas diferenças no uso de computadores são grandes
e estatísticamente significantes.
Também podemos ver o tamanho da amostra em cada grupo.
-[Kamal] As estrelas são só decoração?
Alguns papéis acadêmicos usam as estrelas para indicar diferenças
que são estatísticamente significantes.
Isso é para chamar a sua atenção.
Aqui, 3 estrelas indicam que o resultado é estatísticamente diferente
de 0 com um valor-p menor que 1%.
Ou seja, a chance é menos que 1 em 100
de que esse resultado seja uma descoberta causal.
[aplauso]
2 estrelas indicam 1 em 20 ou 5% de chance de uma descoberta causal.
1 estrela mostra os resultados que vemos tão frequentemente
quanto 10% das vezes, meramente devido à causa.
Hoje, as estrelas são vistas como um pouco foras de moda.
Alguns jornais as omitem.
-[Kamal] E as últimas duas colunas?
Ao contrário da coluna 4, que combina
os grupos de controle e tratamento em um, essas duas últimas colunas
buscam as diferenças nos grupos separadamente
para cada grupo de tratamento.
Isso fornece uma análise mais detalhada do balanço.
E por agora, você também pode ignorar essa linha
que fornece outro teste de significância.
E agora chegamos ao ponto alto do artigo, a tabela 4.
Essa tabela mostra as estimativas de regressão
dos efeitos do uso de eletrônicos em medidas do aprendizado do estudante.
-[Kamal] Por que o estudo relata estimativa de regressão?
Está vendo,é por isso que ficamos perdidos.
A razão para gostarmos de ensaios randomizados
é porque os usamos para obter efeitos causais
simplesmente comparando os grupos de controle e tratamento.
Já que os grupos são equilibrados, não há necessidae de regressão.
Bem observado, Kamal.
Na prática, é comum relatar as estimativas de regressão
por duas razões.
Primeiro, evidência de equilíbrio apesar de tudo.
Uma abundância de precaução pode levar o analista
a admitir diferenças causais.
Segundo, as estimativas de regressão provavelmente são mais precisas --
isto é, elas têm menos padrões de erros
do que simples comparações de controle e tratamento.
A variável dependente neste estudo
é o resultado do interesse.
Já que a questão aqui
é como aulas com eletrônicos afetam o aprendizado,
um bom resultado é a nota do exame final de Economia.
Cada coluna mostra resultados de um modelo de regressão diferente.
Os modelos são distinguidos pelas variáveis de controle
ou pelas covariáveis incluídas, além do status do tratamento.
Estimativas sem covariáveis são comparações simples
de grupos de controle e tratamento.
-[Kamal] Eu achei que eles esqueceram de preencher.
A coluna 1 indica que o uso de eletrônicos
reduziu as notas dos exames finais por 0.28 deviações padrões.
Em nossa última aula,
O mestre Joshway explicou que usamos unidades de deviações padrões,
porque essas unidades são facilmente comparadas entre estudos.
A coluna 2 mostra resultados
de um modelo que adiciona controles demográficos.
Aqui, estamos comparando notas, mas lidando com fatores constantes
como idade e sexo.
A coluna 3 mostra resultados de um modelo que adicona média de nota escolar
junto com a lista de covariáveis.
A coluna 4 adicona notas do teste ACT.
Analistas geralmente mostram os resultados desse jeito,
começando com modelos que incluem poucas ou nenhuma covariável;
e então mostrando as estimativas de modelos
que adicionam mais e mais covariáveis conforme nos movemos pelas colunas.
O que você percebe olhando as colunas?
-[Kamal] Bom, o coeficiente do uso de computadores
sempre é um número bem negativo.
Exatamente!
Também podemos ver que os erros padrões são pequenos o bastante
para tornar esses resultados negativos estatísticamente significantes.
Ou seja, a primeira coisa que levamos desse experimento
é que os eletrônicos nas aulas reduzem o aprendizado do estudante.
-[Kamal] As notas da média escolar e da ACT também são importantes.
Por que é assim?
Boa observação!
Isso não é surpreendente.
Esperamos que essas variáveis estimem a performance na faculdade.
-[Kamal] Ah sim, é claro.
Os que conseguiram melhores notas antes
têm mais chance de conseguir melhores notas neste curso.
Vocês também verão muitas outras informações nessa tabela.
Os painéis restantes na tabela mostram efeitos do uso de eletrônicos
em componentes do exame final,
tais como as múltiplas questões de escolha.
Esses resultados são mais consistentes com efeito de uso de coputadores
nas notas médias.
-[Kamal] E essas linhas que não estão em inglês?
Essas linhas fornecem informação estatística adicional.
R² é uma medida de bondade de ajuste.
Isso não é tão importante,
ainda que alguns leitores queiram saber disso.
As outras linhas mostram testes alternativos de significância estatística
que vocês podem ignonar por agora.
-[Kamal] Meu Deus, essas tabelas não são tão complicadas!
Muito obrigado.
A próxima aula é sobre regressão.
Vejo vocês lá!
♪ [música] ♪
Você está no caminho certo para dominar a econometria.
Fixe o que aprendeu neste vídeo
fazendo algumas questões práticas.
Ou, caso esteja pronto, clique no próximo vídeo.
Você também pode visitar o site da MRU para mais cursos,
materias de professores e mais.
Tradução: John Silva.