WEBVTT

00:00:01.069 --> 00:00:05.110
O caminho para criar e gerar efeito
é obscuro e perigoso.

00:00:06.022 --> 00:00:09.304
Mas as armas 
da econometria são fortes.

00:00:09.941 --> 00:00:14.824
Contemple a mais poderosa,
a espada da atribuição aleatória,

00:00:14.824 --> 00:00:18.108
que fere profundamente
as questões causais.

00:00:22.971 --> 00:00:27.737
-[Sensei] Começamos com nossa arma
mais poderosa e mais cara --

00:00:27.737 --> 00:00:29.558
ensaios randomizados.

00:00:29.558 --> 00:00:30.828
-[aluno] Incrível.

NOTE Paragraph

00:00:30.828 --> 00:00:34.839
Toda missão métrica começa
com uma questão causal.

00:00:34.893 --> 00:00:37.842
Questões claras levam
à respostas claras.

00:00:38.955 --> 00:00:42.709
As respostas mais claras
vêm dos ensaios randomizados.

00:00:43.623 --> 00:00:47.592
Vamos ver como e porque
os ensaios randomizados fornecem

00:00:47.712 --> 00:00:51.328
especialmente respostas
convincentes às questões causais.

00:00:52.012 --> 00:00:55.528
-[Josh] Como uma espada bem afiada,
os ensaios randomizados cortam

00:00:55.528 --> 00:00:57.805
profundamente um problema causal,

00:00:57.805 --> 00:01:00.912
criando comparações
justas e convincentes.

00:01:01.092 --> 00:01:03.921
Porém, como qualquer
arma bem afiada,

00:01:03.921 --> 00:01:07.285
os ensaios randomizados são caros
e não podem ser feitos rapidamente.

00:01:08.041 --> 00:01:11.555
Os ensaios randomizados
se originou nas pesquisas médicas,

00:01:11.555 --> 00:01:16.362
onde foram chamados
de ensaios clínicos randomizados ou ECRs.

00:01:17.245 --> 00:01:21.359
A administração de comida e medicamento
dos EUA exigem que produtores

00:01:21.359 --> 00:01:24.932
garantam a segurança
e a eficácia de novos medicamentos

00:01:24.932 --> 00:01:26.331
ou de tratamentos médicos.

00:01:26.981 --> 00:01:30.025
Eles fazem isso através
de uma série de ECRs.

00:01:30.440 --> 00:01:35.275
É por isso que os ensaios randomizados
avaliam os efeitos de tratamentos.

00:01:35.936 --> 00:01:38.269
Você pode ter contribuído
com outro tipo

00:01:38.269 --> 00:01:39.733
de ensaio randomizado --

00:01:39.733 --> 00:01:43.102
Os testes A/B que empresas
da Silicon Valley usam

00:01:43.102 --> 00:01:45.699
para comparar 
estratégias de marketing.

00:01:45.699 --> 00:01:50.480
A Amazon randomiza resultados
de pesquisas em um fluxo constante

00:01:50.480 --> 00:01:51.624
de testes escondidos.

00:01:51.624 --> 00:01:53.071
-[aluno] Interessante.

00:01:53.071 --> 00:01:56.553
Ensaios randomizados também
são importantes em pesquisas educacionais.

00:01:56.553 --> 00:01:59.679
Eles tem sido usados para responder
uma questão causal importante

00:01:59.679 --> 00:02:01.718
para meu coração de professor --

00:02:01.718 --> 00:02:04.519
Os laptops e outros
aparelhos eletrônicos

00:02:04.519 --> 00:02:06.584
devem ser permitidos
em sala de aula?

00:02:07.210 --> 00:02:09.883
Muitos os veem em sala de aula
como apoio ao aprendizado.

00:02:09.883 --> 00:02:13.833
Mas outros, como eu, acham
que eles são muito distrativos.

00:02:14.216 --> 00:02:15.433
Quem está certo?

00:02:21.543 --> 00:02:23.776
Mestes da métrica
dando aula em West Point,

00:02:23.776 --> 00:02:26.760
a faculdade militar que treina
oficiais do exército americano,

00:02:26.760 --> 00:02:30.734
criaram um ensaio randomizado
para responder essa questão.

00:02:30.734 --> 00:02:33.209
Esses mestres colocaram
cadetes do West Point

00:02:33.209 --> 00:02:36.426
em aulas de economia
operando sob regras diferentes.

00:02:37.207 --> 00:02:39.183
Diferente de muitas
faculdades dos EUA,

00:02:39.183 --> 00:02:42.034
o padrão na West Point
é de não usar eletrônicos.

00:02:42.735 --> 00:02:45.501
Para a proposta desse teste,
alguns alunos foram colocados

00:02:45.501 --> 00:02:48.851
em aulas tradicionais
livres de tecnologia --

00:02:48.851 --> 00:02:51.852
sem laptops, sem tablets,
e SEM CELULARES!

00:02:53.325 --> 00:02:55.909
Este é o grupo de controle,
ou caso de linha de base.

00:02:55.909 --> 00:02:59.506
O outro grupo pôde
usar eletrônicos.

00:02:59.506 --> 00:03:02.762
Este é o grupo de tratamento,
submetido a um ambiente diferente.

00:03:03.179 --> 00:03:05.962
O tratamento neste caso
é o uso sem restrições

00:03:05.962 --> 00:03:08.247
de laptops ou tablets em aula.

00:03:09.274 --> 00:03:11.763
Toda questão causal
tem um resultado claro --

00:03:11.763 --> 00:03:16.080
as variáveis que esperamos influir,
definidas com o avanço do estudo.

00:03:16.080 --> 00:03:18.546
Os resultados dos estudos
eletrônicos em West Point

00:03:18.546 --> 00:03:20.328
são as notas dos exames finais.

00:03:20.433 --> 00:03:23.650
O estudo busca responder
a seguinte questão --

00:03:23.650 --> 00:03:27.520
qual é o efeito causal do aprendizado
em salas de aula com eletrônicos

00:03:27.520 --> 00:03:29.654
medido pelas notas dos exames?

00:03:30.236 --> 00:03:33.154
Estudantes de economia de W.P
foram aleatoriamente atribuídos

00:03:33.154 --> 00:03:36.323
à ambos tratamentos
ou grupos de controles.

00:03:36.323 --> 00:03:39.987
A atribuição aleatória cria
comparações ceteris paribus,

00:03:39.987 --> 00:03:44.371
nos permitindo elaborar conclusões
comparando os grupos.

00:03:44.682 --> 00:03:49.017
O poder de revelação da casualidade
de um ensaio randomizado

00:03:49.017 --> 00:03:52.677
vem de propriedades estatísticas
chamade de lei dos grandes números.

00:03:52.677 --> 00:03:55.045
Quando estatísticos
e matemáticos descobrem

00:03:55.045 --> 00:03:57.478
algo importante
e confiavelmente verdadeiro

00:03:57.478 --> 00:04:00.761
sobre o mundo natural,
eles o chamam de lei.

00:04:01.498 --> 00:04:04.529
A lei dos grandes números diz
que quando os grupos randomizados

00:04:04.529 --> 00:04:07.962
são grandes o suficiente, os alunos
neles certamente são similares

00:04:07.962 --> 00:04:10.012
em média, de todas as formas.

00:04:10.626 --> 00:04:14.162
Isso significa que os grupos de alunos
divididos aleatoriamente podem ter

00:04:14.162 --> 00:04:17.862
base familiar similares,
motivação e habilidade.

00:04:18.748 --> 00:04:22.444
Sayônara viés de seleção,
pelo menos na teoria.

00:04:22.862 --> 00:04:26.044
Na prática, os grupos randomizados
podem não ser grandes o bastante

00:04:26.044 --> 00:04:28.478
para que a lei
de grandes números funcione.

00:04:28.711 --> 00:04:31.995
Ou os pesquisadores podem ter
estragado a atribuição aleatória.

00:04:32.312 --> 00:04:35.245
Em qualquer esforço técnico,
até os mestres mais experientes

00:04:35.245 --> 00:04:37.478
são avisados sobre possíveis vacilos.

00:04:37.989 --> 00:04:39.774
Então verificamos o balanço,

00:04:39.774 --> 00:04:42.740
comparando as variáveis
do histórico dos alunos nos grupos

00:04:42.740 --> 00:04:45.006
para ter certeza
que eles de fato são similares.

NOTE Paragraph

00:04:46.588 --> 00:04:49.004
Aqui está a verificação
do balanço da West Point.

00:04:49.627 --> 00:04:51.932
Essa tabela mostra duas colunas --

00:04:51.932 --> 00:04:54.688
uma mostrando dados
do grupo de controle

00:04:54.688 --> 00:04:57.021
e a outra mostrando dados
do grupo de tratamento.

00:04:57.825 --> 00:05:01.759
As linhas mostram algumas das variáveis
que esperamos estarem balanceadas --

00:05:01.759 --> 00:05:06.255
sexo, idade, raça, e sua média de notas
no ensino médio, entre outros.

00:05:07.232 --> 00:05:09.271
A primeira linha indica
qual porcentagem

00:05:09.271 --> 00:05:11.687
de cada grupo é feminino.

00:05:11.687 --> 00:05:16.387
É 17% no grupo de controle
e 20% no grupo de tratamento.

00:05:17.962 --> 00:05:21.194
Kamal, como está o balanço
para a média de notas?

00:05:21.731 --> 00:05:25.028
-[Kamal] O grupo de controle
tem uma média de 2,87,

00:05:25.028 --> 00:05:29.381
já o de tratamento tem
uma média de 2,82. Bem próximo.

00:05:29.615 --> 00:05:34.031
Felizmente, os dois grupos
parecem ser similares em tudo.

00:05:34.031 --> 00:05:35.566
Quão grande deve ser a amostra

00:05:35.566 --> 00:05:37.499
para a lei
de grandes números funcionar?

00:05:37.743 --> 00:05:39.102
O estudo da West Point,

00:05:39.102 --> 00:05:42.680
que involveu cerca de 250
estudantes em cada grupo,

00:05:42.680 --> 00:05:44.999
é provavelmente grande o bastante.

00:05:44.999 --> 00:05:47.809
Não há regras definitvas aqui.

00:05:47.809 --> 00:05:51.266
Em outro vídeo, vocês aprenderão
como confirmar a hipótese

00:05:51.266 --> 00:05:54.633
do grupo de balanço com testes
estatísticos formais.

00:05:54.633 --> 00:05:55.850
-[Aluno] Empolgante.

00:06:00.220 --> 00:06:01.987
O coração da questão nessa tabela

00:06:02.022 --> 00:06:04.222
é o efeito estimado do tratamento.

00:06:04.505 --> 00:06:07.324
Lembrem-se que o tramento
neste caso é a permissão

00:06:07.324 --> 00:06:09.323
para usar eletrônicos na aula.

00:06:09.571 --> 00:06:13.638
Os efeitos de tratamento compara médias
entre os grupos de controle e tratamento.

00:06:15.103 --> 00:06:17.746
O grupo com permissão
para usar eletrônicos

00:06:17.746 --> 00:06:21.756
teve uma média de nota no exame final
de 0.28 deviações padrões

00:06:21.756 --> 00:06:24.455
abaixo da nota dos estudantes
no grupo de controle.

00:06:26.026 --> 00:06:27.982
Quão grande é esse efeito?

00:06:28.275 --> 00:06:31.643
Cientistas sociais medem notas 
em unidades de deviações padrões,

00:06:31.643 --> 00:06:34.875
porque essas unidades são fáceis
de serem comparadas entre estudos.

00:06:35.143 --> 00:06:38.642
Sabemos por uma longa história
de pesquisa de aprendizado em aula

00:06:38.642 --> 00:06:40.760
que 0.28 é muito.

00:06:41.025 --> 00:06:45.515
Uma queda de 0.28 é como
pegar o estudante mediano da turma

00:06:45.515 --> 00:06:48.426
e levá-lo ou levá-la
para o terceiro escalão.

00:06:49.338 --> 00:06:51.524
Como teremos certeza 
de que os resultados

00:06:51.524 --> 00:06:52.893
são significativos?

00:06:52.893 --> 00:06:55.709
Afinal, estamos buscando
em uma única divisão aleatória

00:06:55.709 --> 00:06:57.607
entre grupos
de controle e tratamento.

00:06:57.607 --> 00:07:00.711
Outras divisões aleatórias
podem ter produzido algo diferente.

00:07:00.711 --> 00:07:03.774
Então quantificamos
a variância amostral

00:07:03.774 --> 00:07:05.974
em estimativas
de efeitos causais.

00:07:06.276 --> 00:07:08.028
O que é variância amostral?

00:07:08.781 --> 00:07:10.858
A variância amostral
nos diz a probabilidade

00:07:10.858 --> 00:07:15.554
da descoberta de uma estatística
particular de ser um resultado causal,

00:07:15.554 --> 00:07:18.858
mais além de uma indicação
de uma relação subjacente.

00:07:19.725 --> 00:07:23.282
A variância amostral 
é resumida por um número,

00:07:23.282 --> 00:07:26.746
chamado de erro padrão
do efeito de tratamento estimado.

NOTE Paragraph

00:07:26.816 --> 00:07:29.338
-[sussurros] Não entendi.
-Do que ele está falando...?

00:07:29.338 --> 00:07:32.989
Não se preocupem -- falaremos mais sobre
essa importante ideia mais tarde.

00:07:32.989 --> 00:07:34.023
-[Aluno] Aí sim.

00:07:34.023 --> 00:07:36.498
Apenas lembrem-se:
quanto menor for o erro padrão,

00:07:36.498 --> 00:07:38.747
mais conclusiva é a dscoberta.

00:07:38.963 --> 00:07:42.180
Por outro lado,
se o erro padrão for grande

00:07:42.180 --> 00:07:44.568
em relação ao efeito
que tentamos estimar,

00:07:44.568 --> 00:07:47.435
há uma boa chance
de encontrarmos algo diferente

00:07:47.435 --> 00:07:49.991
se fôssemos refazer o experimento.

00:07:50.333 --> 00:07:54.284
Podemos pensar nesse erro padrão
como uma forma de medir

00:07:54.284 --> 00:07:56.574
o quão podemos confiar
no resultado que vemos.

00:07:56.574 --> 00:07:57.631
-[Alunos] Ok.

00:07:57.631 --> 00:08:01.147
Nesse estudo, 
o erro padrão relevante é 0.1.

00:08:01.768 --> 00:08:04.654
Por enquanto já basta 
para aprender uma regra simples.

00:08:04.759 --> 00:08:06.748
Quando um tratamento
de efeito estimado

00:08:06.753 --> 00:08:08.586
é mais que o dobro
do erro padrão,

00:08:08.586 --> 00:08:12.103
a chance deste resultado ser diferente
de zero é porque a causa é baixa,

00:08:12.103 --> 00:08:13.975
cerca de 1 em 20.

00:08:14.855 --> 00:08:18.290
Por isso ser tão improvável,
dizemos que as estimativas

00:08:18.290 --> 00:08:21.302
que são 2 ou mais vezes maior
que os padrões de erros associados

00:08:21.302 --> 00:08:23.522
são estatisticamente significantes.

00:08:24.431 --> 00:08:28.149
Camilla, o tratamento de efeito
no estudo da West Point

00:08:28.149 --> 00:08:29.859
é estatisticamente significante?

00:08:30.728 --> 00:08:35.934
O erro padrão é 0.10
e o efeito de tratamento é 0.28,

00:08:35.934 --> 00:08:40.359
então 0.28 é mais que o dobro
do que 0.10, então sim.

00:08:40.445 --> 00:08:41.613
Correto.

00:08:41.613 --> 00:08:45.959
A perda de aprendizado causada
por eletrônicos usados na Econ 101

00:08:45.959 --> 00:08:50.093
é então grande,
e estatisticamente significante.

00:08:50.093 --> 00:08:51.249
-[Aluno] Legal.

00:08:56.775 --> 00:08:59.987
Ensaios randozimados geralmente
fornecem as respostas mais claras

00:08:59.987 --> 00:09:01.407
para as questões causais.

00:09:01.407 --> 00:09:04.532
Quando essa arma está em nosso
kit de ferramentas, a usamos.

00:09:05.204 --> 00:09:07.435
A atribuição aleatória
nos permite afirmar

00:09:07.435 --> 00:09:09.567
que a ceteris foi de fato
feita paribus.

00:09:10.114 --> 00:09:12.633
Mas os ensaios randomizados
são difíceis de organizar.

00:09:12.633 --> 00:09:15.084
Eles podem ser caros e demorados,

00:09:15.084 --> 00:09:18.000
e, em alguns casos,
considerado antiético.

00:09:18.404 --> 00:09:21.420
Então os mestres buscam
por alternativas claras.

00:09:21.420 --> 00:09:25.170
As alternativas tentam imitar
o poder revelador da casualidade

00:09:25.170 --> 00:09:28.404
de um ensaio randomizado,
mas sem o tempo, a dificuldade,

00:09:28.404 --> 00:09:31.370
e o custo de um experimento
feito com uma proposta.

00:09:31.461 --> 00:09:34.794
Essas ferramentas alternativas
são aplicadas em cenários do mundo real

00:09:34.794 --> 00:09:37.016
que imitam a atribuição aleatória.

00:09:39.016 --> 00:09:42.556
Você está no caminho certo
para dominar a econometria.

00:09:42.556 --> 00:09:44.451
Fixe o aprendeu neste vídeo

00:09:44.451 --> 00:09:47.387
fazendo algumas
questões práticas.

00:09:47.387 --> 00:09:50.870
Ou, caso esteja pronto,
clique no próximo vídeo.

00:09:50.870 --> 00:09:53.517
Visite também o site da MRU

00:09:53.517 --> 00:09:56.591
para mais cursos,
materiais de professores e mais.

00:09:56.871 --> 00:09:59.571
Tradução: John Silva.