1
00:00:01,069 --> 00:00:05,110
O caminho para criar e gerar efeito
é obscuro e perigoso.

2
00:00:06,022 --> 00:00:09,304
Mas as armas 
da econometria são fortes.

3
00:00:09,941 --> 00:00:14,824
Contemple a mais poderosa,
a espada da atribuição aleatória,

4
00:00:14,824 --> 00:00:18,108
que fere profundamente
as questões causais.

5
00:00:22,971 --> 00:00:27,737
-[Sensei] Começamos com nossa arma
mais poderosa e mais cara --

6
00:00:27,737 --> 00:00:29,558
ensaios randomizados.

7
00:00:29,558 --> 00:00:30,828
-[aluno] Incrível.

8
00:00:30,828 --> 00:00:34,839
Toda missão métrica começa
com uma questão causal.

9
00:00:34,893 --> 00:00:37,842
Questões claras levam
à respostas claras.

10
00:00:38,955 --> 00:00:42,709
As respostas mais claras
vêm dos ensaios randomizados.

11
00:00:43,623 --> 00:00:47,592
Vamos ver como e porque
os ensaios randomizados fornecem

12
00:00:47,712 --> 00:00:51,328
especialmente respostas
convincentes às questões causais.

13
00:00:52,012 --> 00:00:55,528
-[Josh] Como uma espada bem afiada,
os ensaios randomizados cortam

14
00:00:55,528 --> 00:00:57,805
profundamente um problema causal,

15
00:00:57,805 --> 00:01:00,912
criando comparações
justas e convincentes.

16
00:01:01,092 --> 00:01:03,921
Porém, como qualquer
arma bem afiada,

17
00:01:03,921 --> 00:01:07,285
os ensaios randomizados são caros
e não podem ser feitos rapidamente.

18
00:01:08,041 --> 00:01:11,555
Os ensaios randomizados
se originou nas pesquisas médicas,

19
00:01:11,555 --> 00:01:16,362
onde foram chamados
de ensaios clínicos randomizados ou ECRs.

20
00:01:17,245 --> 00:01:21,359
A administração de comida e medicamento
dos EUA exigem que produtores

21
00:01:21,359 --> 00:01:24,932
garantam a segurança
e a eficácia de novos medicamentos

22
00:01:24,932 --> 00:01:26,331
ou de tratamentos médicos.

23
00:01:26,981 --> 00:01:30,025
Eles fazem isso através
de uma série de ECRs.

24
00:01:30,440 --> 00:01:35,275
É por isso que os ensaios randomizados
avaliam os efeitos de tratamentos.

25
00:01:35,936 --> 00:01:38,269
Você pode ter contribuído
com outro tipo

26
00:01:38,269 --> 00:01:39,733
de ensaio randomizado --

27
00:01:39,733 --> 00:01:43,102
Os testes A/B que empresas
da Silicon Valley usam

28
00:01:43,102 --> 00:01:45,699
para comparar 
estratégias de marketing.

29
00:01:45,699 --> 00:01:50,480
A Amazon randomiza resultados
de pesquisas em um fluxo constante

30
00:01:50,480 --> 00:01:51,624
de testes escondidos.

31
00:01:51,624 --> 00:01:53,071
-[aluno] Interessante.

32
00:01:53,071 --> 00:01:56,553
Ensaios randomizados também
são importantes em pesquisas educacionais.

33
00:01:56,553 --> 00:01:59,679
Eles tem sido usados para responder
uma questão causal importante

34
00:01:59,679 --> 00:02:01,718
para meu coração de professor --

35
00:02:01,718 --> 00:02:04,519
Os laptops e outros
aparelhos eletrônicos

36
00:02:04,519 --> 00:02:06,584
devem ser permitidos
em sala de aula?

37
00:02:07,210 --> 00:02:09,883
Muitos os veem em sala de aula
como apoio ao aprendizado.

38
00:02:09,883 --> 00:02:13,833
Mas outros, como eu, acham
que eles são muito distrativos.

39
00:02:14,216 --> 00:02:15,433
Quem está certo?

40
00:02:21,543 --> 00:02:23,776
Mestes da métrica
dando aula em West Point,

41
00:02:23,776 --> 00:02:26,760
a faculdade militar que treina
oficiais do exército americano,

42
00:02:26,760 --> 00:02:30,734
criaram um ensaio randomizado
para responder essa questão.

43
00:02:30,734 --> 00:02:33,209
Esses mestres colocaram
cadetes do West Point

44
00:02:33,209 --> 00:02:36,426
em aulas de economia
operando sob regras diferentes.

45
00:02:37,207 --> 00:02:39,183
Diferente de muitas
faculdades dos EUA,

46
00:02:39,183 --> 00:02:42,034
o padrão na West Point
é de não usar eletrônicos.

47
00:02:42,735 --> 00:02:45,501
Para a proposta desse teste,
alguns alunos foram colocados

48
00:02:45,501 --> 00:02:48,851
em aulas tradicionais
livres de tecnologia --

49
00:02:48,851 --> 00:02:51,852
sem laptops, sem tablets,
e SEM CELULARES!

50
00:02:53,325 --> 00:02:55,909
Este é o grupo de controle,
ou caso de linha de base.

51
00:02:55,909 --> 00:02:59,506
O outro grupo pôde
usar eletrônicos.

52
00:02:59,506 --> 00:03:02,762
Este é o grupo de tratamento,
submetido a um ambiente diferente.

53
00:03:03,179 --> 00:03:05,962
O tratamento neste caso
é o uso sem restrições

54
00:03:05,962 --> 00:03:08,247
de laptops ou tablets em aula.

55
00:03:09,274 --> 00:03:11,763
Toda questão causal
tem um resultado claro --

56
00:03:11,763 --> 00:03:16,080
as variáveis que esperamos influir,
definidas com o avanço do estudo.

57
00:03:16,080 --> 00:03:18,546
Os resultados dos estudos
eletrônicos em West Point

58
00:03:18,546 --> 00:03:20,328
são as notas dos exames finais.

59
00:03:20,433 --> 00:03:23,650
O estudo busca responder
a seguinte questão --

60
00:03:23,650 --> 00:03:27,520
qual é o efeito causal do aprendizado
em salas de aula com eletrônicos

61
00:03:27,520 --> 00:03:29,654
medido pelas notas dos exames?

62
00:03:30,236 --> 00:03:33,154
Estudantes de economia de W.P
foram aleatoriamente atribuídos

63
00:03:33,154 --> 00:03:36,323
à ambos tratamentos
ou grupos de controles.

64
00:03:36,323 --> 00:03:39,987
A atribuição aleatória cria
comparações ceteris paribus,

65
00:03:39,987 --> 00:03:44,371
nos permitindo elaborar conclusões
comparando os grupos.

66
00:03:44,682 --> 00:03:49,017
O poder de revelação da casualidade
de um ensaio randomizado

67
00:03:49,017 --> 00:03:52,677
vem de propriedades estatísticas
chamade de lei dos grandes números.

68
00:03:52,677 --> 00:03:55,045
Quando estatísticos
e matemáticos descobrem

69
00:03:55,045 --> 00:03:57,478
algo importante
e confiavelmente verdadeiro

70
00:03:57,478 --> 00:04:00,761
sobre o mundo natural,
eles o chamam de lei.

71
00:04:01,498 --> 00:04:04,529
A lei dos grandes números diz
que quando os grupos randomizados

72
00:04:04,529 --> 00:04:07,962
são grandes o suficiente, os alunos
neles certamente são similares

73
00:04:07,962 --> 00:04:10,012
em média, de todas as formas.

74
00:04:10,626 --> 00:04:14,162
Isso significa que os grupos de alunos
divididos aleatoriamente podem ter

75
00:04:14,162 --> 00:04:17,862
base familiar similares,
motivação e habilidade.

76
00:04:18,748 --> 00:04:22,444
Sayônara viés de seleção,
pelo menos na teoria.

77
00:04:22,862 --> 00:04:26,044
Na prática, os grupos randomizados
podem não ser grandes o bastante

78
00:04:26,044 --> 00:04:28,478
para que a lei
de grandes números funcione.

79
00:04:28,711 --> 00:04:31,995
Ou os pesquisadores podem ter
estragado a atribuição aleatória.

80
00:04:32,312 --> 00:04:35,245
Em qualquer esforço técnico,
até os mestres mais experientes

81
00:04:35,245 --> 00:04:37,478
são avisados sobre possíveis vacilos.

82
00:04:37,989 --> 00:04:39,774
Então verificamos o balanço,

83
00:04:39,774 --> 00:04:42,740
comparando as variáveis
do histórico dos alunos nos grupos

84
00:04:42,740 --> 00:04:45,006
para ter certeza
que eles de fato são similares.

85
00:04:46,588 --> 00:04:49,004
Aqui está a verificação
do balanço da West Point.

86
00:04:49,627 --> 00:04:51,932
Essa tabela mostra duas colunas --

87
00:04:51,932 --> 00:04:54,688
uma mostrando dados
do grupo de controle

88
00:04:54,688 --> 00:04:57,021
e a outra mostrando dados
do grupo de tratamento.

89
00:04:57,825 --> 00:05:01,759
As linhas mostram algumas das variáveis
que esperamos estarem balanceadas --

90
00:05:01,759 --> 00:05:06,255
sexo, idade, raça, e sua média de notas
no ensino médio, entre outros.

91
00:05:07,232 --> 00:05:09,271
A primeira linha indica
qual porcentagem

92
00:05:09,271 --> 00:05:11,687
de cada grupo é feminino.

93
00:05:11,687 --> 00:05:16,387
É 17% no grupo de controle
e 20% no grupo de tratamento.

94
00:05:17,962 --> 00:05:21,194
Kamal, como está o balanço
para a média de notas?

95
00:05:21,731 --> 00:05:25,028
-[Kamal] O grupo de controle
tem uma média de 2,87,

96
00:05:25,028 --> 00:05:29,381
já o de tratamento tem
uma média de 2,82. Bem próximo.

97
00:05:29,615 --> 00:05:34,031
Felizmente, os dois grupos
parecem ser similares em tudo.

98
00:05:34,031 --> 00:05:35,566
Quão grande deve ser a amostra

99
00:05:35,566 --> 00:05:37,499
para a lei
de grandes números funcionar?

100
00:05:37,743 --> 00:05:39,102
O estudo da West Point,

101
00:05:39,102 --> 00:05:42,680
que involveu cerca de 250
estudantes em cada grupo,

102
00:05:42,680 --> 00:05:44,999
é provavelmente grande o bastante.

103
00:05:44,999 --> 00:05:47,809
Não há regras definitvas aqui.

104
00:05:47,809 --> 00:05:51,266
Em outro vídeo, vocês aprenderão
como confirmar a hipótese

105
00:05:51,266 --> 00:05:54,633
do grupo de balanço com testes
estatísticos formais.

106
00:05:54,633 --> 00:05:55,850
-[Aluno] Empolgante.

107
00:06:00,220 --> 00:06:01,987
O coração da questão nessa tabela

108
00:06:02,022 --> 00:06:04,222
é o efeito estimado do tratamento.

109
00:06:04,505 --> 00:06:07,324
Lembrem-se que o tramento
neste caso é a permissão

110
00:06:07,324 --> 00:06:09,323
para usar eletrônicos na aula.

111
00:06:09,571 --> 00:06:13,638
Os efeitos de tratamento compara médias
entre os grupos de controle e tratamento.

112
00:06:15,103 --> 00:06:17,746
O grupo com permissão
para usar eletrônicos

113
00:06:17,746 --> 00:06:21,756
teve uma média de nota no exame final
de 0.28 deviações padrões

114
00:06:21,756 --> 00:06:24,455
abaixo da nota dos estudantes
no grupo de controle.

115
00:06:26,026 --> 00:06:27,982
Quão grande é esse efeito?

116
00:06:28,275 --> 00:06:31,643
Cientistas sociais medem notas 
em unidades de deviações padrões,

117
00:06:31,643 --> 00:06:34,875
porque essas unidades são fáceis
de serem comparadas entre estudos.

118
00:06:35,143 --> 00:06:38,642
Sabemos por uma longa história
de pesquisa de aprendizado em aula

119
00:06:38,642 --> 00:06:40,760
que 0.28 é muito.

120
00:06:41,025 --> 00:06:45,515
Uma queda de 0.28 é como
pegar o estudante mediano da turma

121
00:06:45,515 --> 00:06:48,426
e levá-lo ou levá-la
para o terceiro escalão.

122
00:06:49,338 --> 00:06:51,524
Como teremos certeza 
de que os resultados

123
00:06:51,524 --> 00:06:52,893
são significativos?

124
00:06:52,893 --> 00:06:55,709
Afinal, estamos buscando
em uma única divisão aleatória

125
00:06:55,709 --> 00:06:57,607
entre grupos
de controle e tratamento.

126
00:06:57,607 --> 00:07:00,711
Outras divisões aleatórias
podem ter produzido algo diferente.

127
00:07:00,711 --> 00:07:03,774
Então quantificamos
a variância amostral

128
00:07:03,774 --> 00:07:05,974
em estimativas
de efeitos causais.

129
00:07:06,276 --> 00:07:08,028
O que é variância amostral?

130
00:07:08,781 --> 00:07:10,858
A variância amostral
nos diz a probabilidade

131
00:07:10,858 --> 00:07:15,554
da descoberta de uma estatística
particular de ser um resultado causal,

132
00:07:15,554 --> 00:07:18,858
mais além de uma indicação
de uma relação subjacente.

133
00:07:19,725 --> 00:07:23,282
A variância amostral 
é resumida por um número,

134
00:07:23,282 --> 00:07:26,746
chamado de erro padrão
do efeito de tratamento estimado.

135
00:07:26,816 --> 00:07:29,338
-[sussurros] Não entendi.
-Do que ele está falando...?

136
00:07:29,338 --> 00:07:32,989
Não se preocupem -- falaremos mais sobre
essa importante ideia mais tarde.

137
00:07:32,989 --> 00:07:34,023
-[Aluno] Aí sim.

138
00:07:34,023 --> 00:07:36,498
Apenas lembrem-se:
quanto menor for o erro padrão,

139
00:07:36,498 --> 00:07:38,747
mais conclusiva é a dscoberta.

140
00:07:38,963 --> 00:07:42,180
Por outro lado,
se o erro padrão for grande

141
00:07:42,180 --> 00:07:44,568
em relação ao efeito
que tentamos estimar,

142
00:07:44,568 --> 00:07:47,435
há uma boa chance
de encontrarmos algo diferente

143
00:07:47,435 --> 00:07:49,991
se fôssemos refazer o experimento.

144
00:07:50,333 --> 00:07:54,284
Podemos pensar nesse erro padrão
como uma forma de medir

145
00:07:54,284 --> 00:07:56,574
o quão podemos confiar
no resultado que vemos.

146
00:07:56,574 --> 00:07:57,631
-[Alunos] Ok.

147
00:07:57,631 --> 00:08:01,147
Nesse estudo, 
o erro padrão relevante é 0.1.

148
00:08:01,768 --> 00:08:04,654
Por enquanto já basta 
para aprender uma regra simples.

149
00:08:04,759 --> 00:08:06,748
Quando um tratamento
de efeito estimado

150
00:08:06,753 --> 00:08:08,586
é mais que o dobro
do erro padrão,

151
00:08:08,586 --> 00:08:12,103
a chance deste resultado ser diferente
de zero é porque a causa é baixa,

152
00:08:12,103 --> 00:08:13,975
cerca de 1 em 20.

153
00:08:14,855 --> 00:08:18,290
Por isso ser tão improvável,
dizemos que as estimativas

154
00:08:18,290 --> 00:08:21,302
que são 2 ou mais vezes maior
que os padrões de erros associados

155
00:08:21,302 --> 00:08:23,522
são estatisticamente significantes.

156
00:08:24,431 --> 00:08:28,149
Camilla, o tratamento de efeito
no estudo da West Point

157
00:08:28,149 --> 00:08:29,859
é estatisticamente significante?

158
00:08:30,728 --> 00:08:35,934
O erro padrão é 0.10
e o efeito de tratamento é 0.28,

159
00:08:35,934 --> 00:08:40,359
então 0.28 é mais que o dobro
do que 0.10, então sim.

160
00:08:40,445 --> 00:08:41,613
Correto.

161
00:08:41,613 --> 00:08:45,959
A perda de aprendizado causada
por eletrônicos usados na Econ 101

162
00:08:45,959 --> 00:08:50,093
é então grande,
e estatisticamente significante.

163
00:08:50,093 --> 00:08:51,249
-[Aluno] Legal.

164
00:08:56,775 --> 00:08:59,987
Ensaios randozimados geralmente
fornecem as respostas mais claras

165
00:08:59,987 --> 00:09:01,407
para as questões causais.

166
00:09:01,407 --> 00:09:04,532
Quando essa arma está em nosso
kit de ferramentas, a usamos.

167
00:09:05,204 --> 00:09:07,435
A atribuição aleatória
nos permite afirmar

168
00:09:07,435 --> 00:09:09,567
que a ceteris foi de fato
feita paribus.

169
00:09:10,114 --> 00:09:12,633
Mas os ensaios randomizados
são difíceis de organizar.

170
00:09:12,633 --> 00:09:15,084
Eles podem ser caros e demorados,

171
00:09:15,084 --> 00:09:18,000
e, em alguns casos,
considerado antiético.

172
00:09:18,404 --> 00:09:21,420
Então os mestres buscam
por alternativas claras.

173
00:09:21,420 --> 00:09:25,170
As alternativas tentam imitar
o poder revelador da casualidade

174
00:09:25,170 --> 00:09:28,404
de um ensaio randomizado,
mas sem o tempo, a dificuldade,

175
00:09:28,404 --> 00:09:31,370
e o custo de um experimento
feito com uma proposta.

176
00:09:31,461 --> 00:09:34,794
Essas ferramentas alternativas
são aplicadas em cenários do mundo real

177
00:09:34,794 --> 00:09:37,016
que imitam a atribuição aleatória.

178
00:09:39,016 --> 00:09:42,556
Você está no caminho certo
para dominar a econometria.

179
00:09:42,556 --> 00:09:44,451
Fixe o aprendeu neste vídeo

180
00:09:44,451 --> 00:09:47,387
fazendo algumas
questões práticas.

181
00:09:47,387 --> 00:09:50,870
Ou, caso esteja pronto,
clique no próximo vídeo.

182
00:09:50,870 --> 00:09:53,517
Visite também o site da MRU

183
00:09:53,517 --> 00:09:56,591
para mais cursos,
materiais de professores e mais.

184
00:09:56,871 --> 00:09:59,571
Tradução: John Silva.