-[Sensei] Em sua jornada
para dominar a econometria,
o nosso gafanhoto Kamal
fez um grande progresso,
aprimorando suas habilidades
e ludibriando seus oponentes.
Lamentavelmente, hoje ele está abatido,
pois ainda precisa encarar um desafio.
Kamal ainda não consegue decifrar
as mensagens das pesquisas acadêmicas --
periódicos como
"The American Economic Review"
e "Econometrica".
Para ele, eles parecem escritos
em uma espécie de idioma misterioso.
- [Kamal] Ué, mas que... ?
Esses textos são
impenetráveis para o aprendiz,
mas Kamal pode decifrá-los com estudo.
Vamos aprender a lê-los juntos.
Vamos destrinchar o estudo da West Point,
publicado
em "Economics of Education Review."
O artigo apresenta
uma avaliação randomizada
do uso de equipamento eletrônicos
para os alunos nas aulas 101 de economia.
Antes, uma breve revisão
do modelo da pesquisa
- OK.
Mestres da econometria
em West Point,
o colégio militar que treina
os oficiais do Exército americano;
criaram um estudo randomizado
para responder a questão.
Os cadetes foram
aleatoriamente distribuídos
em turmas de Economia, cada uma
com uma regra diferente.
Diferente da maioria das faculdades,
West Point proibe os eletrônicos
na sala de aula.
Para o experimento dar certo,
alguns alunos foram alocados
em turmas com a tradicional regra
de proibir
laptops, tablets
e CELULARES!
[eco]
Esse é o grupo de controle,
ou grupo de comparação.
O outro grupo recebeu permissão
para usar seus aparelhos.
Este é o grupo de tratamento,
submetido à um ambiente diferente.
O tratamento neste caso
é o uso livre
de laptopts ou tablets
em sala de aula.
Toda questão causal
tem um resultado claro --
as variáveis que esperamos influir
definidas com o avanço do estudo.
Os resultados dos estudos
na West Point
são as notas
dos exames finais.
O estudo busca responder
a seguinte questão:
Qual é o efeito do aprendizado
de turmas com eletrônicos na aula
medidas pelas notas dos exames?
Artigos de economia em jornais
geralmente começam com uma tabela
de estatísticas descritivas,
dando fatos chave
sobre a amostra do estudo.
Meu Deus, lembro-me
dessa tabela -- muito confusa!
As colunas de 1 a 3 relatam
média e características.
Isso nos dá um senso
do que estamos estudando.
Vamos começar com a coluna 1
que descreve covariáveis
no grupo de controle.
As covariáveis são características
dos grupos de controle e tratamento
medidas antes do iníco do experimento.
Por exemplo, vemos que o grupo de controle
tem uma média de idade acima de 20.
Muitas dessas covariáveis
são variáveis fictícias.
Uma variável fictícia apenas
pode ter dois valores - 0 ou 1.
Por exemplo, o gênero do aluno
é obtido por uma variável fictícia
que iguala 1 para as mulheres
e 0 para os homens.
A média dessa variável
é a proporção de mulheres.
Também vemos que 13%
do grupo de controle é hispânico
e 19% têm precedentes
em serviços militares.
As notas da tabela são chave.
Consulte-as
enquanto analisa a tablea.
Essas notas explicam o que é mostrado
em cada coluna e painel.
As notas nos mostra, por exemplo,
que desvios padrões
são relatados entre parênteses.
Os desvios padrões nos mostra
o quão difundidos são os dados.
Por exemplo, um desvio padrão
de 0.52 nos mostra que a maioria
das médias de notas escolares
do grupo de controle cai entre 2.35,
que é 0.52 abaixo da média
das notas escolares de 2.87,
e 3.39, que é 0.52 sobre 2.87.
Um desvio padrão menor
significaria que as médias
estavam mais agrupadas
ao redor da média.
-[Kamal] Sim, mas elas não estão
na maioria das variáveis.
-[Sensei] É isso aí.
Os mestres geralmente omitem
os desvios padrões por fictícios,
porque a média da variável
determina seu desvio padrão.
Este estudo compara
dois grupos de tratamento
com o grupo de controle.
O primeiro teve livre acesso
ao uso de laptops ou tablets.
O segundo tratamento
foi mais restritivo,
permitindo apenas
tablets sobre a mesa.
Os grupos de tratamento
se parecem muito com o de controle.
Isso nos leva ao próximo elemento
dessa tabela, as colunas 4 a 6
usam testes estatísticos
para comparar as características
dos grupos de controle e tratamento
antes do experimento.
Na coluna 4, os dois grupos
de tratamento são combinados.
Vocês podem ver que a diferença
em proporção feminina
entre os grupos de controle
e tratamento é apenas 0.03.
A diferença
não é estatisticamente significante --
é o tipo de diferença
que podemos facilmente colocar
para causar resultados em nosso processo
de seleção de amostra.
-[Kamal] Como saberemos isso?
Você se lembra da regra de ouro?
Estimativas estatísticas
que excedem o erro padrão
por um múltiplo de 2
em valor absoluto,
geralmente são chamadas
de estatísticamente significantes.
O erro padrão é 0.03,
o mesmo da diferença
de proporção feminina.
Então a proporção do primeiro
para o segundo é apenas 1,
que, é claro, é menor que 2.
-[Kamal] Oh! Então nenhuma
das diferenças dos grupos
da tabela são mais que o dobro
de seus erros padrões.
Correto.
A divisão aleatória dos estudantes
parece ter tido sucesso
na criação dos grupos
que são de fato comparáveis.
Portanto, podemos ficar confiantes
de que nenhuma diferença posterior
no sucesso das turmas
sejam o resultado
de intervenções experimentais,
ao invés da reflexão
de diferenças pré-existentes.
Ceteris Paribus alcançada!
-[Kamal] Legal. Espera ái,
e a parte inferior,
os números com as estrelas?
Aquelas diferenças são mais
do que o dobro do erro padrão.
Bem observado, Kamal!
A tabela tem muitos números.
Aqueles no painel B
são importantes também.
Essse painel mede a proporção
do uso de computadores
que os grupos de tratamento e controle
de fato usaram em aula.
O grupo de tratamento
pôde usar computadores.
Os pesquisadores devem mostrar
que os estudantes
que usaram computadores
aproveitaram a oportunidade.
Se eles não aproveitaram,
então não há tratamento.
felizmente, 81% daqueles
no primeiro grupo de tratamento
usaram computadores;
comparados com nenhum
do grupo de controle.
E muitos no segundo bloco
do grupo de tratamento
também usaram computadores.
Essas diferenças no uso
de computadores são grandes
e estatísticamente significantes.
Também podemos ver o tamanho
da amostra em cada grupo.
-[Kamal] As estrelas
são só decoração?
Alguns papéis acadêmicos usam
as estrelas para indicar diferenças
que são estatísticamente significantes.
Isso é para chamar a sua atenção.
Aqui, 3 estrelas indicam que o resultado
é estatísticamente diferente
de 0 com um valor-p menor que 1%.
Ou seja, a chance
é menos que 1 em 100
de que esse resultado
seja uma descoberta causal.
[aplauso]
2 estrelas indicam 1 em 20 ou 5%
de chance de uma descoberta causal.
1 estrela mostra os resultados
que vemos tão frequentemente
quanto 10% das vezes,
meramente devido à causa.
Hoje, as estrelas são vistas
como um pouco foras de moda.
Alguns jornais as omitem.
-[Kamal] E as últimas
duas colunas?
Ao contrário da coluna 4,
que combina
os grupos de controle e tratamento
em um, essas duas últimas colunas
buscam as diferenças nos grupos
separadamente
para cada grupo de tratamento.
Isso fornece uma análise
mais detalhada do balanço.
E por agora, você também
pode ignorar essa linha
que fornece outro teste
de significância.
E agora chegamos ao ponto alto
do artigo, a tabela 4.
Essa tabela mostra
as estimativas de regressão
dos efeitos do uso de eletrônicos
em medidas do aprendizado do estudante.
-[Kamal] Por que o estudo relata
estimativa de regressão?
Está vendo,é por isso
que ficamos perdidos.
A razão para gostarmos
de ensaios randomizados
é porque os usamos
para obter efeitos causais
simplesmente comparando os grupos
de controle e tratamento.
Já que os grupos são equilibrados,
não há necessidae de regressão.
Bem observado, Kamal.
Na prática, é comum relatar
as estimativas de regressão
por duas razões.
Primeiro, evidência de equilíbrio
apesar de tudo.
Uma abundância de precaução
pode levar o analista
a admitir diferenças causais.
Segundo, as estimativas de regressão
provavelmente são mais precisas --
isto é, elas têm menos
padrões de erros
do que simples comparações
de controle e tratamento.
A variável dependente neste estudo
é o resultado do interesse.
Já que a questão aqui
é como aulas com eletrônicos
afetam o aprendizado,
um bom resultado é a nota
do exame final de Economia.
Cada coluna mostra resultados
de um modelo de regressão diferente.
Os modelos são distinguidos
pelas variáveis de controle
ou pelas covariáveis incluídas,
além do status do tratamento.
Estimativas sem covariáveis
são comparações simples
de grupos de controle e tratamento.
-[Kamal] Eu achei que eles
esqueceram de preencher.
A coluna 1 indica
que o uso de eletrônicos
reduziu as notas dos exames finais
por 0.28 deviações padrões.
Em nossa última aula,
O mestre Joshway explicou que usamos
unidades de deviações padrões,
porque essas unidades são facilmente
comparadas entre estudos.
A coluna 2 mostra resultados
de um modelo que adiciona
controles demográficos.
Aqui, estamos comparando notas,
mas lidando com fatores constantes
como idade e sexo.
A coluna 3 mostra resultados de um modelo
que adicona média de nota escolar
junto com a lista de covariáveis.
A coluna 4 adicona notas
do teste ACT.
Analistas geralmente mostram
os resultados desse jeito,
começando com modelos que incluem
poucas ou nenhuma covariável;
e então mostrando
as estimativas de modelos
que adicionam mais e mais covariáveis
conforme nos movemos pelas colunas.
O que você percebe
olhando as colunas?
-[Kamal] Bom, o coeficiente
do uso de computadores
sempre é um número bem negativo.
Exatamente!
Também podemos ver que os erros padrões
são pequenos o bastante
para tornar esses resultados negativos
estatísticamente significantes.
Ou seja, a primeira coisa
que levamos desse experimento
é que os eletrônicos nas aulas
reduzem o aprendizado do estudante.
-[Kamal] As notas da média escolar
e da ACT também são importantes.
Por que é assim?
Boa observação!
Isso não é surpreendente.
Esperamos que essas variáveis
estimem a performance na faculdade.
-[Kamal] Ah sim, é claro.
Os que conseguiram
melhores notas antes
têm mais chance de conseguir
melhores notas neste curso.
Vocês também verão muitas outras
informações nessa tabela.
Os painéis restantes na tabela
mostram efeitos do uso de eletrônicos
em componentes do exame final,
tais como as múltiplas
questões de escolha.
Esses resultados são mais consistentes
com efeito de uso de coputadores
nas notas médias.
-[Kamal] E essas linhas
que não estão em inglês?
Essas linhas fornecem informação
estatística adicional.
R² é uma medida
de bondade de ajuste.
Isso não é tão importante,
ainda que alguns leitores
queiram saber disso.
As outras linhas mostram testes
alternativos de significância estatística
que vocês podem ignonar por agora.
-[Kamal] Meu Deus, essas tabelas
não são tão complicadas!
Muito obrigado.
A próxima aula é sobre regressão.
Vejo vocês lá!
♪ [música] ♪
Você está no caminho certo
para dominar a econometria.
Fixe o que aprendeu neste vídeo
fazendo algumas questões práticas.
Ou, caso esteja pronto,
clique no próximo vídeo.
Você também pode visitar
o site da MRU para mais cursos,
materias de professores e mais.
Tradução: John Silva.