-[Sensei] Em sua jornada
para dominar a econometria,

o nosso gafanhoto Kamal
fez um grande progresso,

aprimorando suas habilidades 
e ludibriando seus oponentes.

Lamentavelmente, hoje ele está abatido,

pois ainda precisa encarar um desafio.

Kamal ainda não consegue decifrar 
as mensagens das pesquisas acadêmicas --

periódicos como
"The American Economic Review"

e "Econometrica".

Para ele, eles parecem escritos 
em uma espécie de idioma misterioso.

- [Kamal] Ué, mas que... ?

Esses textos são 
impenetráveis para o aprendiz,

mas Kamal pode decifrá-los com estudo.

Vamos aprender a lê-los juntos.

Vamos destrinchar o estudo da West Point,

publicado 
em "Economics of Education Review."

O artigo apresenta 
uma avaliação randomizada

do uso de equipamento eletrônicos 
para os alunos nas aulas 101 de economia.

Antes, uma breve revisão 
do modelo da pesquisa

- OK.

Mestres da econometria
em West Point,

o colégio militar que treina
os oficiais do Exército americano;

criaram um estudo randomizado
para responder a questão.

Os cadetes foram 
aleatoriamente distribuídos

em turmas de Economia, cada uma 
com uma regra diferente.

Diferente da maioria das faculdades,

West Point proibe os eletrônicos
na sala de aula.

Para o experimento dar certo, 
alguns alunos foram alocados

em turmas com a tradicional regra 
de proibir

laptops, tablets 
e CELULARES!

[eco]

Esse é o grupo de controle,
ou grupo de comparação.

O outro grupo recebeu permissão 
para usar seus aparelhos.

Este é o grupo de tratamento,
submetido à um ambiente diferente.

O tratamento neste caso
é o uso livre

de laptopts ou tablets
em sala de aula.

Toda questão causal
tem um resultado claro --

as variáveis que esperamos influir
definidas com o avanço do estudo.

Os resultados dos estudos
na West Point

são as notas
dos exames finais.

O estudo busca responder
a seguinte questão:

Qual é o efeito do aprendizado
de turmas com eletrônicos na aula

medidas pelas notas dos exames?

Artigos de economia em jornais
geralmente começam com uma tabela

de estatísticas descritivas,

dando fatos chave
sobre a amostra do estudo.

Meu Deus, lembro-me
dessa tabela -- muito confusa!

As colunas de 1 a 3 relatam
média e características.

Isso nos dá um senso
do que estamos estudando.

Vamos começar com a coluna 1
que descreve covariáveis

no grupo de controle.

As covariáveis são características
dos grupos de controle e tratamento

medidas antes do iníco do experimento.

Por exemplo, vemos que o grupo de controle
tem uma média de idade acima de 20.

Muitas dessas covariáveis
são variáveis fictícias.

Uma variável fictícia apenas
pode ter dois valores - 0 ou 1.

Por exemplo, o gênero do aluno
é obtido por uma variável fictícia

que iguala 1 para as mulheres
e 0 para os homens.

A média dessa variável 
é a proporção de mulheres.

Também vemos que 13%
do grupo de controle é hispânico

e 19% têm precedentes
em serviços militares.

As notas da tabela são chave.

Consulte-as
enquanto analisa a tablea.

Essas notas explicam o que é mostrado
em cada coluna e painel.

As notas nos mostra, por exemplo,

que desvios padrões
são relatados entre parênteses.

Os desvios padrões nos mostra
o quão difundidos são os dados.

Por exemplo, um desvio padrão
de 0.52 nos mostra que a maioria

das médias de notas escolares
do grupo de controle cai entre 2.35,

que é 0.52 abaixo da média
das notas escolares de 2.87,

e 3.39, que é 0.52 sobre 2.87.

Um desvio padrão menor
significaria que as médias

estavam mais agrupadas
ao redor da média.

-[Kamal] Sim, mas elas não estão
na maioria das variáveis.

-[Sensei] É isso aí.

Os mestres geralmente omitem
os desvios padrões por fictícios,

porque a média da variável
determina seu desvio padrão.

Este estudo compara
dois grupos de tratamento

com o grupo de controle.

O primeiro teve livre acesso
ao uso de laptops ou tablets.

O segundo tratamento
foi mais restritivo,

permitindo apenas
tablets sobre a mesa.

Os grupos de tratamento
se parecem muito com o de controle.

Isso nos leva ao próximo elemento
dessa tabela, as colunas 4 a 6

usam testes estatísticos
para comparar as características

dos grupos de controle e tratamento
antes do experimento.

Na coluna 4, os dois grupos
de tratamento são combinados.

Vocês podem ver que a diferença
em proporção feminina

entre os grupos de controle
e tratamento é apenas 0.03.

A diferença 
não é estatisticamente significante --

é o tipo de diferença
que podemos facilmente colocar

para causar resultados em nosso processo
de seleção de amostra.

-[Kamal] Como saberemos isso?

Você se lembra da regra de ouro?

Estimativas estatísticas
que excedem o erro padrão

por um múltiplo de 2
em valor absoluto,

geralmente são chamadas
de estatísticamente significantes.

O erro padrão é 0.03,

o mesmo da diferença
de proporção feminina.

Então a proporção do primeiro
para o segundo é apenas 1,

que, é claro, é menor que 2.

-[Kamal] Oh! Então nenhuma 
das diferenças dos grupos

da tabela são mais que o dobro
de seus erros padrões.

Correto.

A divisão aleatória dos estudantes
parece ter tido sucesso

na criação dos grupos
que são de fato comparáveis.

Portanto, podemos ficar confiantes

de que nenhuma diferença posterior
no sucesso das turmas

sejam o resultado
de intervenções experimentais,

ao invés da reflexão
de diferenças pré-existentes.

Ceteris Paribus alcançada!

-[Kamal] Legal. Espera ái,
e a parte inferior,

os números com as estrelas?

Aquelas diferenças são mais
do que o dobro do erro padrão.

Bem observado, Kamal!

A tabela tem muitos números.

Aqueles no painel B
são importantes também.

Essse painel mede a proporção
do uso de computadores

que os grupos de tratamento e controle
de fato usaram em aula.

O grupo de tratamento
pôde usar computadores.

Os pesquisadores devem mostrar

que os estudantes 
que usaram computadores

aproveitaram a oportunidade.

Se eles não aproveitaram, 
então não há tratamento.

felizmente, 81% daqueles
no primeiro grupo de tratamento

usaram computadores;

comparados com nenhum
do grupo de controle.

E muitos no segundo bloco
do grupo de tratamento

também usaram computadores.

Essas diferenças no uso
de computadores são grandes

e estatísticamente significantes.

Também podemos ver o tamanho
da amostra em cada grupo.

-[Kamal] As estrelas
são só decoração?

Alguns papéis acadêmicos usam
as estrelas para indicar diferenças

que são estatísticamente significantes.

Isso é para chamar a sua atenção.

Aqui, 3 estrelas indicam que o resultado
é estatísticamente diferente

de 0 com um valor-p menor que 1%.

Ou seja, a chance
é menos que 1 em 100

de que esse resultado 
seja uma descoberta causal.

[aplauso]

2 estrelas indicam 1 em 20 ou 5%
de chance de uma descoberta causal.

1 estrela mostra os resultados
que vemos tão frequentemente

quanto 10% das vezes,
meramente devido à causa.

Hoje, as estrelas são vistas
como um pouco foras de moda.

Alguns jornais as omitem.

-[Kamal] E as últimas
duas colunas?

Ao contrário da coluna 4,
que combina

os grupos de controle e tratamento
em um, essas duas últimas colunas

buscam as diferenças nos grupos
separadamente

para cada grupo de tratamento.

Isso fornece uma análise
mais detalhada do balanço.

E por agora, você também
pode ignorar essa linha

que fornece outro teste
de significância.

E agora chegamos ao ponto alto
do artigo, a tabela 4.

Essa tabela mostra
as estimativas de regressão

dos efeitos do uso de eletrônicos
em medidas do aprendizado do estudante.

-[Kamal] Por que o estudo relata
estimativa de regressão?

Está vendo,é por isso
que ficamos perdidos.

A razão para gostarmos
de ensaios randomizados

é porque os usamos 
para obter efeitos causais

simplesmente comparando os grupos
de controle e tratamento.

Já que os grupos são equilibrados,
não há necessidae de regressão.

Bem observado, Kamal.

Na prática, é comum relatar
as estimativas de regressão

por duas razões.

Primeiro, evidência de equilíbrio
apesar de tudo.

Uma abundância de precaução
pode levar o analista

a admitir diferenças causais.

Segundo, as estimativas de regressão
provavelmente são mais precisas --

isto é, elas têm menos
padrões de erros

do que simples comparações
de controle e tratamento.

A variável dependente neste estudo

é o resultado do interesse.

Já que a questão aqui

é como aulas com eletrônicos
afetam o aprendizado,

um bom resultado é a nota
do exame final de Economia.

Cada coluna mostra resultados
de um modelo de regressão diferente.

Os modelos são distinguidos
pelas variáveis de controle

ou pelas covariáveis incluídas,
além do status do tratamento.

Estimativas sem covariáveis
são comparações simples

de grupos de controle e tratamento.

-[Kamal] Eu achei que eles
esqueceram de preencher.

A coluna 1 indica
que o uso de eletrônicos

reduziu as notas dos exames finais
por 0.28 deviações padrões.

Em nossa última aula,

O mestre Joshway explicou que usamos
unidades de deviações padrões,

porque essas unidades são facilmente
comparadas entre estudos.

A coluna 2 mostra resultados

de um modelo que adiciona
controles demográficos.

Aqui, estamos comparando notas,
mas lidando com fatores constantes

como idade e sexo.

A coluna 3 mostra resultados de um modelo
que adicona média de nota escolar

junto com a lista de covariáveis.

A coluna 4 adicona notas
do teste ACT.

Analistas geralmente mostram
os resultados desse jeito,

começando com modelos que incluem
poucas ou nenhuma covariável;

e então mostrando 
as estimativas de modelos

que adicionam mais e mais covariáveis
conforme nos movemos pelas colunas.

O que você percebe
olhando as colunas?

-[Kamal] Bom, o coeficiente
do uso de computadores

sempre é um número bem negativo.

Exatamente!

Também podemos ver que os erros padrões
são pequenos o bastante

para tornar esses resultados negativos
estatísticamente significantes.

Ou seja, a primeira coisa
que levamos desse experimento

é que os eletrônicos nas aulas
reduzem o aprendizado do estudante.

-[Kamal] As notas da média escolar
e da ACT também são importantes.

Por que é assim?

Boa observação!

Isso não é surpreendente.

Esperamos que essas variáveis
estimem a performance na faculdade.

-[Kamal] Ah sim, é claro.

Os que conseguiram
melhores notas antes

têm mais chance de conseguir
melhores notas neste curso.

Vocês também verão muitas outras
informações nessa tabela.

Os painéis restantes na tabela
mostram efeitos do uso de eletrônicos

em componentes do exame final,

tais como as múltiplas
questões de escolha.

Esses resultados são mais consistentes
com efeito de uso de coputadores

nas notas médias.

-[Kamal] E essas linhas
que não estão em inglês?

Essas linhas fornecem informação
estatística adicional.

R² é uma medida
de bondade de ajuste.

Isso não é tão importante,

ainda que alguns leitores
queiram saber disso.

As outras linhas mostram testes
alternativos de significância estatística

que vocês podem ignonar por agora.

-[Kamal] Meu Deus, essas tabelas
não são tão complicadas!

Muito obrigado.

A próxima aula é sobre regressão.

Vejo vocês lá!

♪ [música] ♪

Você está no caminho certo
para dominar a econometria.

Fixe o que aprendeu neste vídeo

fazendo algumas questões práticas.

Ou, caso esteja pronto,
clique no próximo vídeo.

Você também pode visitar 
o site da MRU para mais cursos,

materias de professores e mais.

Tradução: John Silva.