Como ler artigos de pesquisas econômicas: Ensaios Randomzados Controlados (ERCs)
-
0:01 - 0:05-[Sensei] Em sua jornada
para dominar a econometria, -
0:05 - 0:09o nosso gafanhoto Kamal
fez um grande progresso, -
0:09 - 0:14aprimorando suas habilidades
e ludibriando seus oponentes. -
0:14 - 0:17Lamentavelmente, hoje ele está abatido,
-
0:17 - 0:20pois ainda precisa encarar um desafio.
-
0:20 - 0:24Kamal ainda não consegue decifrar
as mensagens das pesquisas acadêmicas -- -
0:24 - 0:27periódicos como
"The American Economic Review" -
0:27 - 0:29e "Econometrica".
-
0:29 - 0:34Para ele, eles parecem escritos
em uma espécie de idioma misterioso. -
0:34 - 0:35- [Kamal] Ué, mas que... ?
-
0:37 - 0:40Esses textos são
impenetráveis para o aprendiz, -
0:40 - 0:42mas Kamal pode decifrá-los com estudo.
-
0:42 - 0:45Vamos aprender a lê-los juntos.
-
0:53 - 0:55Vamos destrinchar o estudo da West Point,
-
0:55 - 0:58publicado
em "Economics of Education Review." -
0:59 - 1:02O artigo apresenta
uma avaliação randomizada -
1:02 - 1:06do uso de equipamento eletrônicos
para os alunos nas aulas 101 de economia. -
1:06 - 1:09Antes, uma breve revisão
do modelo da pesquisa -
1:09 - 1:11- OK.
-
1:12 - 1:14Mestres da econometria
em West Point, -
1:14 - 1:17o colégio militar que treina
os oficiais do Exército americano; -
1:17 - 1:20criaram um estudo randomizado
para responder a questão. -
1:21 - 1:23Os cadetes foram
aleatoriamente distribuídos -
1:23 - 1:27em turmas de Economia, cada uma
com uma regra diferente. -
1:27 - 1:29Diferente da maioria das faculdades,
-
1:29 - 1:32West Point proibe os eletrônicos
na sala de aula. -
1:32 - 1:36Para o experimento dar certo,
alguns alunos foram alocados -
1:36 - 1:39em turmas com a tradicional regra
de proibir -
1:39 - 1:42laptops, tablets
e CELULARES! -
1:42 - 1:43[eco]
-
1:43 - 1:46Esse é o grupo de controle,
ou grupo de comparação. -
1:46 - 1:49O outro grupo recebeu permissão
para usar seus aparelhos. -
1:49 - 1:53Este é o grupo de tratamento,
submetido à um ambiente diferente. -
1:53 - 1:56O tratamento neste caso
é o uso livre -
1:56 - 1:58de laptopts ou tablets
em sala de aula. -
1:59 - 2:02Toda questão causal
tem um resultado claro -- -
2:02 - 2:05as variáveis que esperamos influir
definidas com o avanço do estudo. -
2:06 - 2:08Os resultados dos estudos
na West Point -
2:08 - 2:11são as notas
dos exames finais. -
2:11 - 2:14O estudo busca responder
a seguinte questão: -
2:14 - 2:18Qual é o efeito do aprendizado
de turmas com eletrônicos na aula -
2:18 - 2:20medidas pelas notas dos exames?
-
2:21 - 2:24Artigos de economia em jornais
geralmente começam com uma tabela -
2:24 - 2:26de estatísticas descritivas,
-
2:26 - 2:29dando fatos chave
sobre a amostra do estudo. -
2:29 - 2:32Meu Deus, lembro-me
dessa tabela -- muito confusa! -
2:32 - 2:37As colunas de 1 a 3 relatam
média e características. -
2:37 - 2:40Isso nos dá um senso
do que estamos estudando. -
2:40 - 2:44Vamos começar com a coluna 1
que descreve covariáveis -
2:44 - 2:45no grupo de controle.
-
2:45 - 2:49As covariáveis são características
dos grupos de controle e tratamento -
2:49 - 2:52medidas antes do iníco do experimento.
-
2:52 - 2:58Por exemplo, vemos que o grupo de controle
tem uma média de idade acima de 20. -
2:58 - 3:00Muitas dessas covariáveis
são variáveis fictícias. -
3:01 - 3:06Uma variável fictícia apenas
pode ter dois valores - 0 ou 1. -
3:06 - 3:10Por exemplo, o gênero do aluno
é obtido por uma variável fictícia -
3:10 - 3:13que iguala 1 para as mulheres
e 0 para os homens. -
3:13 - 3:17A média dessa variável
é a proporção de mulheres. -
3:17 - 3:21Também vemos que 13%
do grupo de controle é hispânico -
3:21 - 3:24e 19% têm precedentes
em serviços militares. -
3:25 - 3:27As notas da tabela são chave.
-
3:27 - 3:29Consulte-as
enquanto analisa a tablea. -
3:29 - 3:34Essas notas explicam o que é mostrado
em cada coluna e painel. -
3:39 - 3:42As notas nos mostra, por exemplo,
-
3:42 - 3:45que desvios padrões
são relatados entre parênteses. -
3:46 - 3:50Os desvios padrões nos mostra
o quão difundidos são os dados. -
3:50 - 3:55Por exemplo, um desvio padrão
de 0.52 nos mostra que a maioria -
3:55 - 3:59das médias de notas escolares
do grupo de controle cai entre 2.35, -
3:59 - 4:03que é 0.52 abaixo da média
das notas escolares de 2.87, -
4:03 - 4:08e 3.39, que é 0.52 sobre 2.87.
-
4:09 - 4:12Um desvio padrão menor
significaria que as médias -
4:12 - 4:15estavam mais agrupadas
ao redor da média. -
4:15 - 4:18-[Kamal] Sim, mas elas não estão
na maioria das variáveis. -
4:18 - 4:19-[Sensei] É isso aí.
-
4:19 - 4:22Os mestres geralmente omitem
os desvios padrões por fictícios, -
4:22 - 4:26porque a média da variável
determina seu desvio padrão. -
4:28 - 4:30Este estudo compara
dois grupos de tratamento -
4:30 - 4:32com o grupo de controle.
-
4:32 - 4:36O primeiro teve livre acesso
ao uso de laptops ou tablets. -
4:36 - 4:38O segundo tratamento
foi mais restritivo, -
4:38 - 4:42permitindo apenas
tablets sobre a mesa. -
4:42 - 4:45Os grupos de tratamento
se parecem muito com o de controle. -
4:47 - 4:51Isso nos leva ao próximo elemento
dessa tabela, as colunas 4 a 6 -
4:51 - 4:55usam testes estatísticos
para comparar as características -
4:55 - 4:58dos grupos de controle e tratamento
antes do experimento. -
4:58 - 5:02Na coluna 4, os dois grupos
de tratamento são combinados. -
5:02 - 5:05Vocês podem ver que a diferença
em proporção feminina -
5:05 - 5:10entre os grupos de controle
e tratamento é apenas 0.03. -
5:11 - 5:14A diferença
não é estatisticamente significante -- -
5:14 - 5:17é o tipo de diferença
que podemos facilmente colocar -
5:17 - 5:21para causar resultados em nosso processo
de seleção de amostra. -
5:21 - 5:22-[Kamal] Como saberemos isso?
-
5:22 - 5:24Você se lembra da regra de ouro?
-
5:24 - 5:27Estimativas estatísticas
que excedem o erro padrão -
5:27 - 5:30por um múltiplo de 2
em valor absoluto, -
5:30 - 5:34geralmente são chamadas
de estatísticamente significantes. -
5:35 - 5:39O erro padrão é 0.03,
-
5:39 - 5:41o mesmo da diferença
de proporção feminina. -
5:42 - 5:46Então a proporção do primeiro
para o segundo é apenas 1, -
5:46 - 5:49que, é claro, é menor que 2.
-
5:49 - 5:51-[Kamal] Oh! Então nenhuma
das diferenças dos grupos -
5:51 - 5:54da tabela são mais que o dobro
de seus erros padrões. -
5:54 - 5:56Correto.
-
5:56 - 5:59A divisão aleatória dos estudantes
parece ter tido sucesso -
5:59 - 6:02na criação dos grupos
que são de fato comparáveis. -
6:03 - 6:05Portanto, podemos ficar confiantes
-
6:05 - 6:08de que nenhuma diferença posterior
no sucesso das turmas -
6:08 - 6:11sejam o resultado
de intervenções experimentais, -
6:11 - 6:15ao invés da reflexão
de diferenças pré-existentes. -
6:15 - 6:17Ceteris Paribus alcançada!
-
6:17 - 6:21-[Kamal] Legal. Espera ái,
e a parte inferior, -
6:21 - 6:23os números com as estrelas?
-
6:23 - 6:26Aquelas diferenças são mais
do que o dobro do erro padrão. -
6:26 - 6:27Bem observado, Kamal!
-
6:27 - 6:29A tabela tem muitos números.
-
6:29 - 6:32Aqueles no painel B
são importantes também. -
6:32 - 6:36Essse painel mede a proporção
do uso de computadores -
6:36 - 6:39que os grupos de tratamento e controle
de fato usaram em aula. -
6:40 - 6:43O grupo de tratamento
pôde usar computadores. -
6:43 - 6:45Os pesquisadores devem mostrar
-
6:45 - 6:47que os estudantes
que usaram computadores -
6:47 - 6:49aproveitaram a oportunidade.
-
6:50 - 6:53Se eles não aproveitaram,
então não há tratamento. -
6:54 - 6:58felizmente, 81% daqueles
no primeiro grupo de tratamento -
6:58 - 6:59usaram computadores;
-
6:59 - 7:02comparados com nenhum
do grupo de controle. -
7:02 - 7:05E muitos no segundo bloco
do grupo de tratamento -
7:05 - 7:07também usaram computadores.
-
7:07 - 7:10Essas diferenças no uso
de computadores são grandes -
7:10 - 7:12e estatísticamente significantes.
-
7:12 - 7:15Também podemos ver o tamanho
da amostra em cada grupo. -
7:15 - 7:18-[Kamal] As estrelas
são só decoração? -
7:18 - 7:22Alguns papéis acadêmicos usam
as estrelas para indicar diferenças -
7:22 - 7:24que são estatísticamente significantes.
-
7:24 - 7:27Isso é para chamar a sua atenção.
-
7:27 - 7:32Aqui, 3 estrelas indicam que o resultado
é estatísticamente diferente -
7:32 - 7:35de 0 com um valor-p menor que 1%.
-
7:36 - 7:39Ou seja, a chance
é menos que 1 em 100 -
7:39 - 7:42de que esse resultado
seja uma descoberta causal. -
7:42 - 7:43[aplauso]
-
7:43 - 7:492 estrelas indicam 1 em 20 ou 5%
de chance de uma descoberta causal. -
7:49 - 7:521 estrela mostra os resultados
que vemos tão frequentemente -
7:52 - 7:56quanto 10% das vezes,
meramente devido à causa. -
7:56 - 8:00Hoje, as estrelas são vistas
como um pouco foras de moda. -
8:00 - 8:02Alguns jornais as omitem.
-
8:02 - 8:04-[Kamal] E as últimas
duas colunas? -
8:04 - 8:06Ao contrário da coluna 4,
que combina -
8:06 - 8:10os grupos de controle e tratamento
em um, essas duas últimas colunas -
8:10 - 8:12buscam as diferenças nos grupos
separadamente -
8:12 - 8:15para cada grupo de tratamento.
-
8:15 - 8:17Isso fornece uma análise
mais detalhada do balanço. -
8:18 - 8:21E por agora, você também
pode ignorar essa linha -
8:21 - 8:24que fornece outro teste
de significância. -
8:25 - 8:29E agora chegamos ao ponto alto
do artigo, a tabela 4. -
8:30 - 8:33Essa tabela mostra
as estimativas de regressão -
8:33 - 8:37dos efeitos do uso de eletrônicos
em medidas do aprendizado do estudante. -
8:37 - 8:40-[Kamal] Por que o estudo relata
estimativa de regressão? -
8:40 - 8:43Está vendo,é por isso
que ficamos perdidos. -
8:43 - 8:45A razão para gostarmos
de ensaios randomizados -
8:45 - 8:47é porque os usamos
para obter efeitos causais -
8:47 - 8:50simplesmente comparando os grupos
de controle e tratamento. -
8:50 - 8:54Já que os grupos são equilibrados,
não há necessidae de regressão. -
8:54 - 8:55Bem observado, Kamal.
-
8:55 - 8:59Na prática, é comum relatar
as estimativas de regressão -
8:59 - 9:01por duas razões.
-
9:01 - 9:04Primeiro, evidência de equilíbrio
apesar de tudo. -
9:04 - 9:07Uma abundância de precaução
pode levar o analista -
9:07 - 9:10a admitir diferenças causais.
-
9:10 - 9:14Segundo, as estimativas de regressão
provavelmente são mais precisas -- -
9:14 - 9:17isto é, elas têm menos
padrões de erros -
9:17 - 9:19do que simples comparações
de controle e tratamento. -
9:20 - 9:23A variável dependente neste estudo
-
9:23 - 9:24é o resultado do interesse.
-
9:25 - 9:26Já que a questão aqui
-
9:26 - 9:29é como aulas com eletrônicos
afetam o aprendizado, -
9:29 - 9:33um bom resultado é a nota
do exame final de Economia. -
9:33 - 9:38Cada coluna mostra resultados
de um modelo de regressão diferente. -
9:38 - 9:40Os modelos são distinguidos
pelas variáveis de controle -
9:40 - 9:44ou pelas covariáveis incluídas,
além do status do tratamento. -
9:45 - 9:48Estimativas sem covariáveis
são comparações simples -
9:48 - 9:51de grupos de controle e tratamento.
-
9:51 - 9:53-[Kamal] Eu achei que eles
esqueceram de preencher. -
9:53 - 9:56A coluna 1 indica
que o uso de eletrônicos -
9:56 - 10:01reduziu as notas dos exames finais
por 0.28 deviações padrões. -
10:02 - 10:03Em nossa última aula,
-
10:03 - 10:07O mestre Joshway explicou que usamos
unidades de deviações padrões, -
10:07 - 10:11porque essas unidades são facilmente
comparadas entre estudos. -
10:11 - 10:13A coluna 2 mostra resultados
-
10:13 - 10:16de um modelo que adiciona
controles demográficos. -
10:16 - 10:20Aqui, estamos comparando notas,
mas lidando com fatores constantes -
10:20 - 10:21como idade e sexo.
-
10:22 - 10:26A coluna 3 mostra resultados de um modelo
que adicona média de nota escolar -
10:26 - 10:27junto com a lista de covariáveis.
-
10:28 - 10:31A coluna 4 adicona notas
do teste ACT. -
10:31 - 10:34Analistas geralmente mostram
os resultados desse jeito, -
10:34 - 10:37começando com modelos que incluem
poucas ou nenhuma covariável; -
10:37 - 10:40e então mostrando
as estimativas de modelos -
10:40 - 10:44que adicionam mais e mais covariáveis
conforme nos movemos pelas colunas. -
10:44 - 10:47O que você percebe
olhando as colunas? -
10:47 - 10:50-[Kamal] Bom, o coeficiente
do uso de computadores -
10:50 - 10:52sempre é um número bem negativo.
-
10:52 - 10:53Exatamente!
-
10:53 - 10:56Também podemos ver que os erros padrões
são pequenos o bastante -
10:56 - 11:01para tornar esses resultados negativos
estatísticamente significantes. -
11:01 - 11:04Ou seja, a primeira coisa
que levamos desse experimento -
11:04 - 11:08é que os eletrônicos nas aulas
reduzem o aprendizado do estudante. -
11:09 - 11:12-[Kamal] As notas da média escolar
e da ACT também são importantes. -
11:12 - 11:14Por que é assim?
-
11:14 - 11:15Boa observação!
-
11:15 - 11:17Isso não é surpreendente.
-
11:17 - 11:20Esperamos que essas variáveis
estimem a performance na faculdade. -
11:20 - 11:22-[Kamal] Ah sim, é claro.
-
11:22 - 11:24Os que conseguiram
melhores notas antes -
11:24 - 11:26têm mais chance de conseguir
melhores notas neste curso. -
11:26 - 11:30Vocês também verão muitas outras
informações nessa tabela. -
11:30 - 11:35Os painéis restantes na tabela
mostram efeitos do uso de eletrônicos -
11:35 - 11:37em componentes do exame final,
-
11:37 - 11:40tais como as múltiplas
questões de escolha. -
11:40 - 11:43Esses resultados são mais consistentes
com efeito de uso de coputadores -
11:43 - 11:45nas notas médias.
-
11:45 - 11:48-[Kamal] E essas linhas
que não estão em inglês? -
11:48 - 11:51Essas linhas fornecem informação
estatística adicional. -
11:51 - 11:54R² é uma medida
de bondade de ajuste. -
11:55 - 11:56Isso não é tão importante,
-
11:56 - 11:58ainda que alguns leitores
queiram saber disso. -
11:59 - 12:03As outras linhas mostram testes
alternativos de significância estatística -
12:03 - 12:05que vocês podem ignonar por agora.
-
12:05 - 12:08-[Kamal] Meu Deus, essas tabelas
não são tão complicadas! -
12:08 - 12:09Muito obrigado.
-
12:09 - 12:12A próxima aula é sobre regressão.
-
12:12 - 12:13Vejo vocês lá!
-
12:16 - 12:17♪ [música] ♪
-
12:17 - 12:21Você está no caminho certo
para dominar a econometria. -
12:21 - 12:23Fixe o que aprendeu neste vídeo
-
12:23 - 12:25fazendo algumas questões práticas.
-
12:25 - 12:29Ou, caso esteja pronto,
clique no próximo vídeo. -
12:29 - 12:33Você também pode visitar
o site da MRU para mais cursos, -
12:33 - 12:35materias de professores e mais.
-
12:36 - 12:38Tradução: John Silva.
- Title:
- Como ler artigos de pesquisas econômicas: Ensaios Randomzados Controlados (ERCs)
- Description:
-
Este vídeo mostra como ler artigos de pesquisa econômica que usam ensaios clínicos randomizados (às vezes chamados de ensaios randomizados controlados ou ensaios clínicos randomizados ou ECRs).
Primeiro, aprenderemos como ler estatísticas descritivas e verificar o equilíbrio entre os grupos de controle e de tratamento. Em seguida, passaremos para a leitura dos resultados do estudo, incluindo uma explicação de por que a regressão é usada com ensaios clínicos randomizados.
Este vídeo é baseado na introdução de Josh Angrist aos testes aleatórios (link abaixo), que apresentava um estudo de pesquisa econômica da Economics of Education Review. Este artigo de pesquisa cobriu um teste randomizado conduzido em West Point que mediu o impacto da eletrônica da sala de aula na aprendizagem .
*** RECURSOS DO INSTRUTOR ***
Recursos para professores do ensino médio: https://mru.io/pat
Recursos do professor: https://mru.io/h1b
EconInbox: https://mru.io/vbd*** MAIS APRENDIZAGEM ***
Experimente nossas perguntas práticas: https://mru.io/xjr
Vídeo de introdução aos testes aleatórios: https://mru.io/nx9
Veja o curso completo: https://mru.io/rka
Receba atualizações quando lançarmos novos vídeos: https://mru.io/dif
Mais da Marginal Revolution University: https://mru.io/agp - Video Language:
- English
- Team:
- Marginal Revolution University
- Project:
- Mastering Econometrics
- Duration:
- 12:40