Return to Video

Como ler artigos de pesquisas econômicas: Ensaios Randomzados Controlados (ERCs)

  • 0:01 - 0:05
    -[Sensei] Em sua jornada
    para dominar a econometria,
  • 0:05 - 0:09
    o nosso gafanhoto Kamal
    fez um grande progresso,
  • 0:09 - 0:14
    aprimorando suas habilidades
    e ludibriando seus oponentes.
  • 0:14 - 0:17
    Lamentavelmente, hoje ele está abatido,
  • 0:17 - 0:20
    pois ainda precisa encarar um desafio.
  • 0:20 - 0:24
    Kamal ainda não consegue decifrar
    as mensagens das pesquisas acadêmicas --
  • 0:24 - 0:27
    periódicos como
    "The American Economic Review"
  • 0:27 - 0:29
    e "Econometrica".
  • 0:29 - 0:34
    Para ele, eles parecem escritos
    em uma espécie de idioma misterioso.
  • 0:34 - 0:35
    - [Kamal] Ué, mas que... ?
  • 0:37 - 0:40
    Esses textos são
    impenetráveis para o aprendiz,
  • 0:40 - 0:42
    mas Kamal pode decifrá-los com estudo.
  • 0:42 - 0:45
    Vamos aprender a lê-los juntos.
  • 0:53 - 0:55
    Vamos destrinchar o estudo da West Point,
  • 0:55 - 0:58
    publicado
    em "Economics of Education Review."
  • 0:59 - 1:02
    O artigo apresenta
    uma avaliação randomizada
  • 1:02 - 1:06
    do uso de equipamento eletrônicos
    para os alunos nas aulas 101 de economia.
  • 1:06 - 1:09
    Antes, uma breve revisão
    do modelo da pesquisa
  • 1:09 - 1:11
    - OK.
  • 1:12 - 1:14
    Mestres da econometria
    em West Point,
  • 1:14 - 1:17
    o colégio militar que treina
    os oficiais do Exército americano;
  • 1:17 - 1:20
    criaram um estudo randomizado
    para responder a questão.
  • 1:21 - 1:23
    Os cadetes foram
    aleatoriamente distribuídos
  • 1:23 - 1:27
    em turmas de Economia, cada uma
    com uma regra diferente.
  • 1:27 - 1:29
    Diferente da maioria das faculdades,
  • 1:29 - 1:32
    West Point proibe os eletrônicos
    na sala de aula.
  • 1:32 - 1:36
    Para o experimento dar certo,
    alguns alunos foram alocados
  • 1:36 - 1:39
    em turmas com a tradicional regra
    de proibir
  • 1:39 - 1:42
    laptops, tablets
    e CELULARES!
  • 1:42 - 1:43
    [eco]
  • 1:43 - 1:46
    Esse é o grupo de controle,
    ou grupo de comparação.
  • 1:46 - 1:49
    O outro grupo recebeu permissão
    para usar seus aparelhos.
  • 1:49 - 1:53
    Este é o grupo de tratamento,
    submetido à um ambiente diferente.
  • 1:53 - 1:56
    O tratamento neste caso
    é o uso livre
  • 1:56 - 1:58
    de laptopts ou tablets
    em sala de aula.
  • 1:59 - 2:02
    Toda questão causal
    tem um resultado claro --
  • 2:02 - 2:05
    as variáveis que esperamos influir
    definidas com o avanço do estudo.
  • 2:06 - 2:08
    Os resultados dos estudos
    na West Point
  • 2:08 - 2:11
    são as notas
    dos exames finais.
  • 2:11 - 2:14
    O estudo busca responder
    a seguinte questão:
  • 2:14 - 2:18
    Qual é o efeito do aprendizado
    de turmas com eletrônicos na aula
  • 2:18 - 2:20
    medidas pelas notas dos exames?
  • 2:21 - 2:24
    Artigos de economia em jornais
    geralmente começam com uma tabela
  • 2:24 - 2:26
    de estatísticas descritivas,
  • 2:26 - 2:29
    dando fatos chave
    sobre a amostra do estudo.
  • 2:29 - 2:32
    Meu Deus, lembro-me
    dessa tabela -- muito confusa!
  • 2:32 - 2:37
    As colunas de 1 a 3 relatam
    média e características.
  • 2:37 - 2:40
    Isso nos dá um senso
    do que estamos estudando.
  • 2:40 - 2:44
    Vamos começar com a coluna 1
    que descreve covariáveis
  • 2:44 - 2:45
    no grupo de controle.
  • 2:45 - 2:49
    As covariáveis são características
    dos grupos de controle e tratamento
  • 2:49 - 2:52
    medidas antes do iníco do experimento.
  • 2:52 - 2:58
    Por exemplo, vemos que o grupo de controle
    tem uma média de idade acima de 20.
  • 2:58 - 3:00
    Muitas dessas covariáveis
    são variáveis fictícias.
  • 3:01 - 3:06
    Uma variável fictícia apenas
    pode ter dois valores - 0 ou 1.
  • 3:06 - 3:10
    Por exemplo, o gênero do aluno
    é obtido por uma variável fictícia
  • 3:10 - 3:13
    que iguala 1 para as mulheres
    e 0 para os homens.
  • 3:13 - 3:17
    A média dessa variável
    é a proporção de mulheres.
  • 3:17 - 3:21
    Também vemos que 13%
    do grupo de controle é hispânico
  • 3:21 - 3:24
    e 19% têm precedentes
    em serviços militares.
  • 3:25 - 3:27
    As notas da tabela são chave.
  • 3:27 - 3:29
    Consulte-as
    enquanto analisa a tablea.
  • 3:29 - 3:34
    Essas notas explicam o que é mostrado
    em cada coluna e painel.
  • 3:39 - 3:42
    As notas nos mostra, por exemplo,
  • 3:42 - 3:45
    que desvios padrões
    são relatados entre parênteses.
  • 3:46 - 3:50
    Os desvios padrões nos mostra
    o quão difundidos são os dados.
  • 3:50 - 3:55
    Por exemplo, um desvio padrão
    de 0.52 nos mostra que a maioria
  • 3:55 - 3:59
    das médias de notas escolares
    do grupo de controle cai entre 2.35,
  • 3:59 - 4:03
    que é 0.52 abaixo da média
    das notas escolares de 2.87,
  • 4:03 - 4:08
    e 3.39, que é 0.52 sobre 2.87.
  • 4:09 - 4:12
    Um desvio padrão menor
    significaria que as médias
  • 4:12 - 4:15
    estavam mais agrupadas
    ao redor da média.
  • 4:15 - 4:18
    -[Kamal] Sim, mas elas não estão
    na maioria das variáveis.
  • 4:18 - 4:19
    -[Sensei] É isso aí.
  • 4:19 - 4:22
    Os mestres geralmente omitem
    os desvios padrões por fictícios,
  • 4:22 - 4:26
    porque a média da variável
    determina seu desvio padrão.
  • 4:28 - 4:30
    Este estudo compara
    dois grupos de tratamento
  • 4:30 - 4:32
    com o grupo de controle.
  • 4:32 - 4:36
    O primeiro teve livre acesso
    ao uso de laptops ou tablets.
  • 4:36 - 4:38
    O segundo tratamento
    foi mais restritivo,
  • 4:38 - 4:42
    permitindo apenas
    tablets sobre a mesa.
  • 4:42 - 4:45
    Os grupos de tratamento
    se parecem muito com o de controle.
  • 4:47 - 4:51
    Isso nos leva ao próximo elemento
    dessa tabela, as colunas 4 a 6
  • 4:51 - 4:55
    usam testes estatísticos
    para comparar as características
  • 4:55 - 4:58
    dos grupos de controle e tratamento
    antes do experimento.
  • 4:58 - 5:02
    Na coluna 4, os dois grupos
    de tratamento são combinados.
  • 5:02 - 5:05
    Vocês podem ver que a diferença
    em proporção feminina
  • 5:05 - 5:10
    entre os grupos de controle
    e tratamento é apenas 0.03.
  • 5:11 - 5:14
    A diferença
    não é estatisticamente significante --
  • 5:14 - 5:17
    é o tipo de diferença
    que podemos facilmente colocar
  • 5:17 - 5:21
    para causar resultados em nosso processo
    de seleção de amostra.
  • 5:21 - 5:22
    -[Kamal] Como saberemos isso?
  • 5:22 - 5:24
    Você se lembra da regra de ouro?
  • 5:24 - 5:27
    Estimativas estatísticas
    que excedem o erro padrão
  • 5:27 - 5:30
    por um múltiplo de 2
    em valor absoluto,
  • 5:30 - 5:34
    geralmente são chamadas
    de estatísticamente significantes.
  • 5:35 - 5:39
    O erro padrão é 0.03,
  • 5:39 - 5:41
    o mesmo da diferença
    de proporção feminina.
  • 5:42 - 5:46
    Então a proporção do primeiro
    para o segundo é apenas 1,
  • 5:46 - 5:49
    que, é claro, é menor que 2.
  • 5:49 - 5:51
    -[Kamal] Oh! Então nenhuma
    das diferenças dos grupos
  • 5:51 - 5:54
    da tabela são mais que o dobro
    de seus erros padrões.
  • 5:54 - 5:56
    Correto.
  • 5:56 - 5:59
    A divisão aleatória dos estudantes
    parece ter tido sucesso
  • 5:59 - 6:02
    na criação dos grupos
    que são de fato comparáveis.
  • 6:03 - 6:05
    Portanto, podemos ficar confiantes
  • 6:05 - 6:08
    de que nenhuma diferença posterior
    no sucesso das turmas
  • 6:08 - 6:11
    sejam o resultado
    de intervenções experimentais,
  • 6:11 - 6:15
    ao invés da reflexão
    de diferenças pré-existentes.
  • 6:15 - 6:17
    Ceteris Paribus alcançada!
  • 6:17 - 6:21
    -[Kamal] Legal. Espera ái,
    e a parte inferior,
  • 6:21 - 6:23
    os números com as estrelas?
  • 6:23 - 6:26
    Aquelas diferenças são mais
    do que o dobro do erro padrão.
  • 6:26 - 6:27
    Bem observado, Kamal!
  • 6:27 - 6:29
    A tabela tem muitos números.
  • 6:29 - 6:32
    Aqueles no painel B
    são importantes também.
  • 6:32 - 6:36
    Essse painel mede a proporção
    do uso de computadores
  • 6:36 - 6:39
    que os grupos de tratamento e controle
    de fato usaram em aula.
  • 6:40 - 6:43
    O grupo de tratamento
    pôde usar computadores.
  • 6:43 - 6:45
    Os pesquisadores devem mostrar
  • 6:45 - 6:47
    que os estudantes
    que usaram computadores
  • 6:47 - 6:49
    aproveitaram a oportunidade.
  • 6:50 - 6:53
    Se eles não aproveitaram,
    então não há tratamento.
  • 6:54 - 6:58
    felizmente, 81% daqueles
    no primeiro grupo de tratamento
  • 6:58 - 6:59
    usaram computadores;
  • 6:59 - 7:02
    comparados com nenhum
    do grupo de controle.
  • 7:02 - 7:05
    E muitos no segundo bloco
    do grupo de tratamento
  • 7:05 - 7:07
    também usaram computadores.
  • 7:07 - 7:10
    Essas diferenças no uso
    de computadores são grandes
  • 7:10 - 7:12
    e estatísticamente significantes.
  • 7:12 - 7:15
    Também podemos ver o tamanho
    da amostra em cada grupo.
  • 7:15 - 7:18
    -[Kamal] As estrelas
    são só decoração?
  • 7:18 - 7:22
    Alguns papéis acadêmicos usam
    as estrelas para indicar diferenças
  • 7:22 - 7:24
    que são estatísticamente significantes.
  • 7:24 - 7:27
    Isso é para chamar a sua atenção.
  • 7:27 - 7:32
    Aqui, 3 estrelas indicam que o resultado
    é estatísticamente diferente
  • 7:32 - 7:35
    de 0 com um valor-p menor que 1%.
  • 7:36 - 7:39
    Ou seja, a chance
    é menos que 1 em 100
  • 7:39 - 7:42
    de que esse resultado
    seja uma descoberta causal.
  • 7:42 - 7:43
    [aplauso]
  • 7:43 - 7:49
    2 estrelas indicam 1 em 20 ou 5%
    de chance de uma descoberta causal.
  • 7:49 - 7:52
    1 estrela mostra os resultados
    que vemos tão frequentemente
  • 7:52 - 7:56
    quanto 10% das vezes,
    meramente devido à causa.
  • 7:56 - 8:00
    Hoje, as estrelas são vistas
    como um pouco foras de moda.
  • 8:00 - 8:02
    Alguns jornais as omitem.
  • 8:02 - 8:04
    -[Kamal] E as últimas
    duas colunas?
  • 8:04 - 8:06
    Ao contrário da coluna 4,
    que combina
  • 8:06 - 8:10
    os grupos de controle e tratamento
    em um, essas duas últimas colunas
  • 8:10 - 8:12
    buscam as diferenças nos grupos
    separadamente
  • 8:12 - 8:15
    para cada grupo de tratamento.
  • 8:15 - 8:17
    Isso fornece uma análise
    mais detalhada do balanço.
  • 8:18 - 8:21
    E por agora, você também
    pode ignorar essa linha
  • 8:21 - 8:24
    que fornece outro teste
    de significância.
  • 8:25 - 8:29
    E agora chegamos ao ponto alto
    do artigo, a tabela 4.
  • 8:30 - 8:33
    Essa tabela mostra
    as estimativas de regressão
  • 8:33 - 8:37
    dos efeitos do uso de eletrônicos
    em medidas do aprendizado do estudante.
  • 8:37 - 8:40
    -[Kamal] Por que o estudo relata
    estimativa de regressão?
  • 8:40 - 8:43
    Está vendo,é por isso
    que ficamos perdidos.
  • 8:43 - 8:45
    A razão para gostarmos
    de ensaios randomizados
  • 8:45 - 8:47
    é porque os usamos
    para obter efeitos causais
  • 8:47 - 8:50
    simplesmente comparando os grupos
    de controle e tratamento.
  • 8:50 - 8:54
    Já que os grupos são equilibrados,
    não há necessidae de regressão.
  • 8:54 - 8:55
    Bem observado, Kamal.
  • 8:55 - 8:59
    Na prática, é comum relatar
    as estimativas de regressão
  • 8:59 - 9:01
    por duas razões.
  • 9:01 - 9:04
    Primeiro, evidência de equilíbrio
    apesar de tudo.
  • 9:04 - 9:07
    Uma abundância de precaução
    pode levar o analista
  • 9:07 - 9:10
    a admitir diferenças causais.
  • 9:10 - 9:14
    Segundo, as estimativas de regressão
    provavelmente são mais precisas --
  • 9:14 - 9:17
    isto é, elas têm menos
    padrões de erros
  • 9:17 - 9:19
    do que simples comparações
    de controle e tratamento.
  • 9:20 - 9:23
    A variável dependente neste estudo
  • 9:23 - 9:24
    é o resultado do interesse.
  • 9:25 - 9:26
    Já que a questão aqui
  • 9:26 - 9:29
    é como aulas com eletrônicos
    afetam o aprendizado,
  • 9:29 - 9:33
    um bom resultado é a nota
    do exame final de Economia.
  • 9:33 - 9:38
    Cada coluna mostra resultados
    de um modelo de regressão diferente.
  • 9:38 - 9:40
    Os modelos são distinguidos
    pelas variáveis de controle
  • 9:40 - 9:44
    ou pelas covariáveis incluídas,
    além do status do tratamento.
  • 9:45 - 9:48
    Estimativas sem covariáveis
    são comparações simples
  • 9:48 - 9:51
    de grupos de controle e tratamento.
  • 9:51 - 9:53
    -[Kamal] Eu achei que eles
    esqueceram de preencher.
  • 9:53 - 9:56
    A coluna 1 indica
    que o uso de eletrônicos
  • 9:56 - 10:01
    reduziu as notas dos exames finais
    por 0.28 deviações padrões.
  • 10:02 - 10:03
    Em nossa última aula,
  • 10:03 - 10:07
    O mestre Joshway explicou que usamos
    unidades de deviações padrões,
  • 10:07 - 10:11
    porque essas unidades são facilmente
    comparadas entre estudos.
  • 10:11 - 10:13
    A coluna 2 mostra resultados
  • 10:13 - 10:16
    de um modelo que adiciona
    controles demográficos.
  • 10:16 - 10:20
    Aqui, estamos comparando notas,
    mas lidando com fatores constantes
  • 10:20 - 10:21
    como idade e sexo.
  • 10:22 - 10:26
    A coluna 3 mostra resultados de um modelo
    que adicona média de nota escolar
  • 10:26 - 10:27
    junto com a lista de covariáveis.
  • 10:28 - 10:31
    A coluna 4 adicona notas
    do teste ACT.
  • 10:31 - 10:34
    Analistas geralmente mostram
    os resultados desse jeito,
  • 10:34 - 10:37
    começando com modelos que incluem
    poucas ou nenhuma covariável;
  • 10:37 - 10:40
    e então mostrando
    as estimativas de modelos
  • 10:40 - 10:44
    que adicionam mais e mais covariáveis
    conforme nos movemos pelas colunas.
  • 10:44 - 10:47
    O que você percebe
    olhando as colunas?
  • 10:47 - 10:50
    -[Kamal] Bom, o coeficiente
    do uso de computadores
  • 10:50 - 10:52
    sempre é um número bem negativo.
  • 10:52 - 10:53
    Exatamente!
  • 10:53 - 10:56
    Também podemos ver que os erros padrões
    são pequenos o bastante
  • 10:56 - 11:01
    para tornar esses resultados negativos
    estatísticamente significantes.
  • 11:01 - 11:04
    Ou seja, a primeira coisa
    que levamos desse experimento
  • 11:04 - 11:08
    é que os eletrônicos nas aulas
    reduzem o aprendizado do estudante.
  • 11:09 - 11:12
    -[Kamal] As notas da média escolar
    e da ACT também são importantes.
  • 11:12 - 11:14
    Por que é assim?
  • 11:14 - 11:15
    Boa observação!
  • 11:15 - 11:17
    Isso não é surpreendente.
  • 11:17 - 11:20
    Esperamos que essas variáveis
    estimem a performance na faculdade.
  • 11:20 - 11:22
    -[Kamal] Ah sim, é claro.
  • 11:22 - 11:24
    Os que conseguiram
    melhores notas antes
  • 11:24 - 11:26
    têm mais chance de conseguir
    melhores notas neste curso.
  • 11:26 - 11:30
    Vocês também verão muitas outras
    informações nessa tabela.
  • 11:30 - 11:35
    Os painéis restantes na tabela
    mostram efeitos do uso de eletrônicos
  • 11:35 - 11:37
    em componentes do exame final,
  • 11:37 - 11:40
    tais como as múltiplas
    questões de escolha.
  • 11:40 - 11:43
    Esses resultados são mais consistentes
    com efeito de uso de coputadores
  • 11:43 - 11:45
    nas notas médias.
  • 11:45 - 11:48
    -[Kamal] E essas linhas
    que não estão em inglês?
  • 11:48 - 11:51
    Essas linhas fornecem informação
    estatística adicional.
  • 11:51 - 11:54
    R² é uma medida
    de bondade de ajuste.
  • 11:55 - 11:56
    Isso não é tão importante,
  • 11:56 - 11:58
    ainda que alguns leitores
    queiram saber disso.
  • 11:59 - 12:03
    As outras linhas mostram testes
    alternativos de significância estatística
  • 12:03 - 12:05
    que vocês podem ignonar por agora.
  • 12:05 - 12:08
    -[Kamal] Meu Deus, essas tabelas
    não são tão complicadas!
  • 12:08 - 12:09
    Muito obrigado.
  • 12:09 - 12:12
    A próxima aula é sobre regressão.
  • 12:12 - 12:13
    Vejo vocês lá!
  • 12:16 - 12:17
    ♪ [música] ♪
  • 12:17 - 12:21
    Você está no caminho certo
    para dominar a econometria.
  • 12:21 - 12:23
    Fixe o que aprendeu neste vídeo
  • 12:23 - 12:25
    fazendo algumas questões práticas.
  • 12:25 - 12:29
    Ou, caso esteja pronto,
    clique no próximo vídeo.
  • 12:29 - 12:33
    Você também pode visitar
    o site da MRU para mais cursos,
  • 12:33 - 12:35
    materias de professores e mais.
  • 12:36 - 12:38
    Tradução: John Silva.
Title:
Como ler artigos de pesquisas econômicas: Ensaios Randomzados Controlados (ERCs)
Description:

Este vídeo mostra como ler artigos de pesquisa econômica que usam ensaios clínicos randomizados (às vezes chamados de ensaios randomizados controlados ou ensaios clínicos randomizados ou ECRs).

Primeiro, aprenderemos como ler estatísticas descritivas e verificar o equilíbrio entre os grupos de controle e de tratamento. Em seguida, passaremos para a leitura dos resultados do estudo, incluindo uma explicação de por que a regressão é usada com ensaios clínicos randomizados.

Este vídeo é baseado na introdução de Josh Angrist aos testes aleatórios (link abaixo), que apresentava um estudo de pesquisa econômica da Economics of Education Review. Este artigo de pesquisa cobriu um teste randomizado conduzido em West Point que mediu o impacto da eletrônica da sala de aula na aprendizagem .

*** RECURSOS DO INSTRUTOR ***
Recursos para professores do ensino médio: https://mru.io/pat
Recursos do professor: https://mru.io/h1b
EconInbox: https://mru.io/vbd

*** MAIS APRENDIZAGEM ***
Experimente nossas perguntas práticas: https://mru.io/xjr
Vídeo de introdução aos testes aleatórios: https://mru.io/nx9
Veja o curso completo: https://mru.io/rka
Receba atualizações quando lançarmos novos vídeos: https://mru.io/dif
Mais da Marginal Revolution University: https://mru.io/agp
more » « less
Video Language:
English
Team:
Marginal Revolution University
Project:
Mastering Econometrics
Duration:
12:40

Portuguese, Brazilian subtitles

Revisions

Our website uses cookies for analysis purposes.