Return to Video

Ensaios Randomizados: A Arma Ideal

  • 0:01 - 0:05
    O caminho para criar e gerar efeito
    é obscuro e perigoso.
  • 0:06 - 0:09
    Mas as armas
    da econometria são fortes.
  • 0:10 - 0:15
    Contemple a mais poderosa,
    a espada da atribuição aleatória,
  • 0:15 - 0:18
    que fere profundamente
    as questões causais.
  • 0:23 - 0:28
    -[Sensei] Começamos com nossa arma
    mais poderosa e mais cara --
  • 0:28 - 0:30
    ensaios randomizados.
  • 0:30 - 0:31
    -[aluno] Incrível.
  • 0:31 - 0:35
    Toda missão métrica começa
    com uma questão causal.
  • 0:35 - 0:38
    Questões claras levam
    à respostas claras.
  • 0:39 - 0:43
    As respostas mais claras
    vêm dos ensaios randomizados.
  • 0:44 - 0:48
    Vamos ver como e porque
    os ensaios randomizados fornecem
  • 0:48 - 0:51
    especialmente respostas
    convincentes às questões causais.
  • 0:52 - 0:56
    -[Josh] Como uma espada bem afiada,
    os ensaios randomizados cortam
  • 0:56 - 0:58
    profundamente um problema causal,
  • 0:58 - 1:01
    criando comparações
    justas e convincentes.
  • 1:01 - 1:04
    Porém, como qualquer
    arma bem afiada,
  • 1:04 - 1:07
    os ensaios randomizados são caros
    e não podem ser feitos rapidamente.
  • 1:08 - 1:12
    Os ensaios randomizados
    se originou nas pesquisas médicas,
  • 1:12 - 1:16
    onde foram chamados
    de ensaios clínicos randomizados ou ECRs.
  • 1:17 - 1:21
    A administração de comida e medicamento
    dos EUA exigem que produtores
  • 1:21 - 1:25
    garantam a segurança
    e a eficácia de novos medicamentos
  • 1:25 - 1:26
    ou de tratamentos médicos.
  • 1:27 - 1:30
    Eles fazem isso através
    de uma série de ECRs.
  • 1:30 - 1:35
    É por isso que os ensaios randomizados
    avaliam os efeitos de tratamentos.
  • 1:36 - 1:38
    Você pode ter contribuído
    com outro tipo
  • 1:38 - 1:40
    de ensaio randomizado --
  • 1:40 - 1:43
    Os testes A/B que empresas
    da Silicon Valley usam
  • 1:43 - 1:46
    para comparar
    estratégias de marketing.
  • 1:46 - 1:50
    A Amazon randomiza resultados
    de pesquisas em um fluxo constante
  • 1:50 - 1:52
    de testes escondidos.
  • 1:52 - 1:53
    -[aluno] Interessante.
  • 1:53 - 1:57
    Ensaios randomizados também
    são importantes em pesquisas educacionais.
  • 1:57 - 2:00
    Eles tem sido usados para responder
    uma questão causal importante
  • 2:00 - 2:02
    para meu coração de professor --
  • 2:02 - 2:05
    Os laptops e outros
    aparelhos eletrônicos
  • 2:05 - 2:07
    devem ser permitidos
    em sala de aula?
  • 2:07 - 2:10
    Muitos os veem em sala de aula
    como apoio ao aprendizado.
  • 2:10 - 2:14
    Mas outros, como eu, acham
    que eles são muito distrativos.
  • 2:14 - 2:15
    Quem está certo?
  • 2:22 - 2:24
    Mestes da métrica
    dando aula em West Point,
  • 2:24 - 2:27
    a faculdade militar que treina
    oficiais do exército americano,
  • 2:27 - 2:31
    criaram um ensaio randomizado
    para responder essa questão.
  • 2:31 - 2:33
    Esses mestres colocaram
    cadetes do West Point
  • 2:33 - 2:36
    em aulas de economia
    operando sob regras diferentes.
  • 2:37 - 2:39
    Diferente de muitas
    faculdades dos EUA,
  • 2:39 - 2:42
    o padrão na West Point
    é de não usar eletrônicos.
  • 2:43 - 2:46
    Para a proposta desse teste,
    alguns alunos foram colocados
  • 2:46 - 2:49
    em aulas tradicionais
    livres de tecnologia --
  • 2:49 - 2:52
    sem laptops, sem tablets,
    e SEM CELULARES!
  • 2:53 - 2:56
    Este é o grupo de controle,
    ou caso de linha de base.
  • 2:56 - 3:00
    O outro grupo pôde
    usar eletrônicos.
  • 3:00 - 3:03
    Este é o grupo de tratamento,
    submetido a um ambiente diferente.
  • 3:03 - 3:06
    O tratamento neste caso
    é o uso sem restrições
  • 3:06 - 3:08
    de laptops ou tablets em aula.
  • 3:09 - 3:12
    Toda questão causal
    tem um resultado claro --
  • 3:12 - 3:16
    as variáveis que esperamos influir,
    definidas com o avanço do estudo.
  • 3:16 - 3:19
    Os resultados dos estudos
    eletrônicos em West Point
  • 3:19 - 3:20
    são as notas dos exames finais.
  • 3:20 - 3:24
    O estudo busca responder
    a seguinte questão --
  • 3:24 - 3:28
    qual é o efeito causal do aprendizado
    em salas de aula com eletrônicos
  • 3:28 - 3:30
    medido pelas notas dos exames?
  • 3:30 - 3:33
    Estudantes de economia de W.P
    foram aleatoriamente atribuídos
  • 3:33 - 3:36
    à ambos tratamentos
    ou grupos de controles.
  • 3:36 - 3:40
    A atribuição aleatória cria
    comparações ceteris paribus,
  • 3:40 - 3:44
    nos permitindo elaborar conclusões
    comparando os grupos.
  • 3:45 - 3:49
    O poder de revelação da casualidade
    de um ensaio randomizado
  • 3:49 - 3:53
    vem de propriedades estatísticas
    chamade de lei dos grandes números.
  • 3:53 - 3:55
    Quando estatísticos
    e matemáticos descobrem
  • 3:55 - 3:57
    algo importante
    e confiavelmente verdadeiro
  • 3:57 - 4:01
    sobre o mundo natural,
    eles o chamam de lei.
  • 4:01 - 4:05
    A lei dos grandes números diz
    que quando os grupos randomizados
  • 4:05 - 4:08
    são grandes o suficiente, os alunos
    neles certamente são similares
  • 4:08 - 4:10
    em média, de todas as formas.
  • 4:11 - 4:14
    Isso significa que os grupos de alunos
    divididos aleatoriamente podem ter
  • 4:14 - 4:18
    base familiar similares,
    motivação e habilidade.
  • 4:19 - 4:22
    Sayônara viés de seleção,
    pelo menos na teoria.
  • 4:23 - 4:26
    Na prática, os grupos randomizados
    podem não ser grandes o bastante
  • 4:26 - 4:28
    para que a lei
    de grandes números funcione.
  • 4:29 - 4:32
    Ou os pesquisadores podem ter
    estragado a atribuição aleatória.
  • 4:32 - 4:35
    Em qualquer esforço técnico,
    até os mestres mais experientes
  • 4:35 - 4:37
    são avisados sobre possíveis vacilos.
  • 4:38 - 4:40
    Então verificamos o balanço,
  • 4:40 - 4:43
    comparando as variáveis
    do histórico dos alunos nos grupos
  • 4:43 - 4:45
    para ter certeza
    que eles de fato são similares.
  • 4:47 - 4:49
    Aqui está a verificação
    do balanço da West Point.
  • 4:50 - 4:52
    Essa tabela mostra duas colunas --
  • 4:52 - 4:55
    uma mostrando dados
    do grupo de controle
  • 4:55 - 4:57
    e a outra mostrando dados
    do grupo de tratamento.
  • 4:58 - 5:02
    As linhas mostram algumas das variáveis
    que esperamos estarem balanceadas --
  • 5:02 - 5:06
    sexo, idade, raça, e sua média de notas
    no ensino médio, entre outros.
  • 5:07 - 5:09
    A primeira linha indica
    qual porcentagem
  • 5:09 - 5:12
    de cada grupo é feminino.
  • 5:12 - 5:16
    É 17% no grupo de controle
    e 20% no grupo de tratamento.
  • 5:18 - 5:21
    Kamal, como está o balanço
    para a média de notas?
  • 5:22 - 5:25
    -[Kamal] O grupo de controle
    tem uma média de 2,87,
  • 5:25 - 5:29
    já o de tratamento tem
    uma média de 2,82. Bem próximo.
  • 5:30 - 5:34
    Felizmente, os dois grupos
    parecem ser similares em tudo.
  • 5:34 - 5:36
    Quão grande deve ser a amostra
  • 5:36 - 5:37
    para a lei
    de grandes números funcionar?
  • 5:38 - 5:39
    O estudo da West Point,
  • 5:39 - 5:43
    que involveu cerca de 250
    estudantes em cada grupo,
  • 5:43 - 5:45
    é provavelmente grande o bastante.
  • 5:45 - 5:48
    Não há regras definitvas aqui.
  • 5:48 - 5:51
    Em outro vídeo, vocês aprenderão
    como confirmar a hipótese
  • 5:51 - 5:55
    do grupo de balanço com testes
    estatísticos formais.
  • 5:55 - 5:56
    -[Aluno] Empolgante.
  • 6:00 - 6:02
    O coração da questão nessa tabela
  • 6:02 - 6:04
    é o efeito estimado do tratamento.
  • 6:05 - 6:07
    Lembrem-se que o tramento
    neste caso é a permissão
  • 6:07 - 6:09
    para usar eletrônicos na aula.
  • 6:10 - 6:14
    Os efeitos de tratamento compara médias
    entre os grupos de controle e tratamento.
  • 6:15 - 6:18
    O grupo com permissão
    para usar eletrônicos
  • 6:18 - 6:22
    teve uma média de nota no exame final
    de 0.28 deviações padrões
  • 6:22 - 6:24
    abaixo da nota dos estudantes
    no grupo de controle.
  • 6:26 - 6:28
    Quão grande é esse efeito?
  • 6:28 - 6:32
    Cientistas sociais medem notas
    em unidades de deviações padrões,
  • 6:32 - 6:35
    porque essas unidades são fáceis
    de serem comparadas entre estudos.
  • 6:35 - 6:39
    Sabemos por uma longa história
    de pesquisa de aprendizado em aula
  • 6:39 - 6:41
    que 0.28 é muito.
  • 6:41 - 6:46
    Uma queda de 0.28 é como
    pegar o estudante mediano da turma
  • 6:46 - 6:48
    e levá-lo ou levá-la
    para o terceiro escalão.
  • 6:49 - 6:52
    Como teremos certeza
    de que os resultados
  • 6:52 - 6:53
    são significativos?
  • 6:53 - 6:56
    Afinal, estamos buscando
    em uma única divisão aleatória
  • 6:56 - 6:58
    entre grupos
    de controle e tratamento.
  • 6:58 - 7:01
    Outras divisões aleatórias
    podem ter produzido algo diferente.
  • 7:01 - 7:04
    Então quantificamos
    a variância amostral
  • 7:04 - 7:06
    em estimativas
    de efeitos causais.
  • 7:06 - 7:08
    O que é variância amostral?
  • 7:09 - 7:11
    A variância amostral
    nos diz a probabilidade
  • 7:11 - 7:16
    da descoberta de uma estatística
    particular de ser um resultado causal,
  • 7:16 - 7:19
    mais além de uma indicação
    de uma relação subjacente.
  • 7:20 - 7:23
    A variância amostral
    é resumida por um número,
  • 7:23 - 7:27
    chamado de erro padrão
    do efeito de tratamento estimado.
  • 7:27 - 7:29
    -[sussurros] Não entendi.
    -Do que ele está falando...?
  • 7:29 - 7:33
    Não se preocupem -- falaremos mais sobre
    essa importante ideia mais tarde.
  • 7:33 - 7:34
    -[Aluno] Aí sim.
  • 7:34 - 7:36
    Apenas lembrem-se:
    quanto menor for o erro padrão,
  • 7:36 - 7:39
    mais conclusiva é a dscoberta.
  • 7:39 - 7:42
    Por outro lado,
    se o erro padrão for grande
  • 7:42 - 7:45
    em relação ao efeito
    que tentamos estimar,
  • 7:45 - 7:47
    há uma boa chance
    de encontrarmos algo diferente
  • 7:47 - 7:50
    se fôssemos refazer o experimento.
  • 7:50 - 7:54
    Podemos pensar nesse erro padrão
    como uma forma de medir
  • 7:54 - 7:57
    o quão podemos confiar
    no resultado que vemos.
  • 7:57 - 7:58
    -[Alunos] Ok.
  • 7:58 - 8:01
    Nesse estudo,
    o erro padrão relevante é 0.1.
  • 8:02 - 8:05
    Por enquanto já basta
    para aprender uma regra simples.
  • 8:05 - 8:07
    Quando um tratamento
    de efeito estimado
  • 8:07 - 8:09
    é mais que o dobro
    do erro padrão,
  • 8:09 - 8:12
    a chance deste resultado ser diferente
    de zero é porque a causa é baixa,
  • 8:12 - 8:14
    cerca de 1 em 20.
  • 8:15 - 8:18
    Por isso ser tão improvável,
    dizemos que as estimativas
  • 8:18 - 8:21
    que são 2 ou mais vezes maior
    que os padrões de erros associados
  • 8:21 - 8:24
    são estatisticamente significantes.
  • 8:24 - 8:28
    Camilla, o tratamento de efeito
    no estudo da West Point
  • 8:28 - 8:30
    é estatisticamente significante?
  • 8:31 - 8:36
    O erro padrão é 0.10
    e o efeito de tratamento é 0.28,
  • 8:36 - 8:40
    então 0.28 é mais que o dobro
    do que 0.10, então sim.
  • 8:40 - 8:42
    Correto.
  • 8:42 - 8:46
    A perda de aprendizado causada
    por eletrônicos usados na Econ 101
  • 8:46 - 8:50
    é então grande,
    e estatisticamente significante.
  • 8:50 - 8:51
    -[Aluno] Legal.
  • 8:57 - 9:00
    Ensaios randozimados geralmente
    fornecem as respostas mais claras
  • 9:00 - 9:01
    para as questões causais.
  • 9:01 - 9:05
    Quando essa arma está em nosso
    kit de ferramentas, a usamos.
  • 9:05 - 9:07
    A atribuição aleatória
    nos permite afirmar
  • 9:07 - 9:10
    que a ceteris foi de fato
    feita paribus.
  • 9:10 - 9:13
    Mas os ensaios randomizados
    são difíceis de organizar.
  • 9:13 - 9:15
    Eles podem ser caros e demorados,
  • 9:15 - 9:18
    e, em alguns casos,
    considerado antiético.
  • 9:18 - 9:21
    Então os mestres buscam
    por alternativas claras.
  • 9:21 - 9:25
    As alternativas tentam imitar
    o poder revelador da casualidade
  • 9:25 - 9:28
    de um ensaio randomizado,
    mas sem o tempo, a dificuldade,
  • 9:28 - 9:31
    e o custo de um experimento
    feito com uma proposta.
  • 9:31 - 9:35
    Essas ferramentas alternativas
    são aplicadas em cenários do mundo real
  • 9:35 - 9:37
    que imitam a atribuição aleatória.
  • 9:39 - 9:43
    Você está no caminho certo
    para dominar a econometria.
  • 9:43 - 9:44
    Fixe o aprendeu neste vídeo
  • 9:44 - 9:47
    fazendo algumas
    questões práticas.
  • 9:47 - 9:51
    Ou, caso esteja pronto,
    clique no próximo vídeo.
  • 9:51 - 9:54
    Visite também o site da MRU
  • 9:54 - 9:57
    para mais cursos,
    materiais de professores e mais.
  • 9:57 - 10:00
    Tradução: John Silva.
Tytuł:
Ensaios Randomizados: A Arma Ideal
Opis:

Josh Angrist do MIT - também conhecido como Mestre Joshway - nos apresenta nossa arma mais poderosa: ensaios randomizados!

Os ensaios clínicos randomizados se originaram na pesquisa médica, onde são chamados de "ensaios clínicos randomizados" ou "ECRs". É por isso que os ensaios randomizados medem os "efeitos do tratamento".

Josh cobre um estudo fascinante de West Point que busca responder a uma pergunta comum usando testes randomizados: Nossos dispositivos são mais distrativos do que úteis quando se trata de aprendizagem?

Neste vídeo, cobrimos o seguinte:
-Qual é a diferença entre os grupos de controle e de tratamento?
-Como "verificar o balanço"
-A Lei dos Grandes Números
-Efeitos de tratamento
- Erros padrão e significância estatística

*** RECURSOS DO INSTRUTOR ***
Recursos para professores do ensino médio: https://bit.ly/2RcCsta
Recursos do professor: https://bit.ly/2XgdHQG
EconInbox: https://bit.ly/2yzTjzz

*** MAIS APRENDIZAGEM ***
Experimente nossas perguntas práticas: https://bit.ly/2xVuvSg
Veja o curso completo: https://bit.ly/2Xc88CQ
Receba atualizações quando lançarmos novos vídeos: https://bit.ly/2VaLTdH
Mais da Marginal Revolution University: https://bit.ly/39QeWZo

more » « less
Video Language:
English
Team:
Marginal Revolution University
Projekt:
Mastering Econometrics
Duration:
10:01

Portuguese, Brazilian subtitles

Revisions