0:00:01.069,0:00:05.110
O caminho para criar e gerar efeito[br]é obscuro e perigoso.

0:00:06.022,0:00:09.304
Mas as armas [br]da econometria são fortes.

0:00:09.941,0:00:14.824
Contemple a mais poderosa,[br]a espada da atribuição aleatória,

0:00:14.824,0:00:18.108
que fere profundamente[br]as questões causais.

0:00:22.971,0:00:27.737
-[Sensei] Começamos com nossa arma[br]mais poderosa e mais cara --

0:00:27.737,0:00:29.558
ensaios randomizados.

0:00:29.558,0:00:30.828
-[aluno] Incrível.

0:00:30.828,0:00:34.839
Toda missão métrica começa[br]com uma questão causal.

0:00:34.893,0:00:37.842
Questões claras levam[br]à respostas claras.

0:00:38.955,0:00:42.709
As respostas mais claras[br]vêm dos ensaios randomizados.

0:00:43.623,0:00:47.592
Vamos ver como e porque[br]os ensaios randomizados fornecem

0:00:47.712,0:00:51.328
especialmente respostas[br]convincentes às questões causais.

0:00:52.012,0:00:55.528
-[Josh] Como uma espada bem afiada,[br]os ensaios randomizados cortam

0:00:55.528,0:00:57.805
profundamente um problema causal,

0:00:57.805,0:01:00.912
criando comparações[br]justas e convincentes.

0:01:01.092,0:01:03.921
Porém, como qualquer[br]arma bem afiada,

0:01:03.921,0:01:07.285
os ensaios randomizados são caros[br]e não podem ser feitos rapidamente.

0:01:08.041,0:01:11.555
Os ensaios randomizados[br]se originou nas pesquisas médicas,

0:01:11.555,0:01:16.362
onde foram chamados[br]de ensaios clínicos randomizados ou ECRs.

0:01:17.245,0:01:21.359
A administração de comida e medicamento[br]dos EUA exigem que produtores

0:01:21.359,0:01:24.932
garantam a segurança[br]e a eficácia de novos medicamentos

0:01:24.932,0:01:26.331
ou de tratamentos médicos.

0:01:26.981,0:01:30.025
Eles fazem isso através[br]de uma série de ECRs.

0:01:30.440,0:01:35.275
É por isso que os ensaios randomizados[br]avaliam os efeitos de tratamentos.

0:01:35.936,0:01:38.269
Você pode ter contribuído[br]com outro tipo

0:01:38.269,0:01:39.733
de ensaio randomizado --

0:01:39.733,0:01:43.102
Os testes A/B que empresas[br]da Silicon Valley usam

0:01:43.102,0:01:45.699
para comparar [br]estratégias de marketing.

0:01:45.699,0:01:50.480
A Amazon randomiza resultados[br]de pesquisas em um fluxo constante

0:01:50.480,0:01:51.624
de testes escondidos.

0:01:51.624,0:01:53.071
-[aluno] Interessante.

0:01:53.071,0:01:56.553
Ensaios randomizados também[br]são importantes em pesquisas educacionais.

0:01:56.553,0:01:59.679
Eles tem sido usados para responder[br]uma questão causal importante

0:01:59.679,0:02:01.718
para meu coração de professor --

0:02:01.718,0:02:04.519
Os laptops e outros[br]aparelhos eletrônicos

0:02:04.519,0:02:06.584
devem ser permitidos[br]em sala de aula?

0:02:07.210,0:02:09.883
Muitos os veem em sala de aula[br]como apoio ao aprendizado.

0:02:09.883,0:02:13.833
Mas outros, como eu, acham[br]que eles são muito distrativos.

0:02:14.216,0:02:15.433
Quem está certo?

0:02:21.543,0:02:23.776
Mestes da métrica[br]dando aula em West Point,

0:02:23.776,0:02:26.760
a faculdade militar que treina[br]oficiais do exército americano,

0:02:26.760,0:02:30.734
criaram um ensaio randomizado[br]para responder essa questão.

0:02:30.734,0:02:33.209
Esses mestres colocaram[br]cadetes do West Point

0:02:33.209,0:02:36.426
em aulas de economia[br]operando sob regras diferentes.

0:02:37.207,0:02:39.183
Diferente de muitas[br]faculdades dos EUA,

0:02:39.183,0:02:42.034
o padrão na West Point[br]é de não usar eletrônicos.

0:02:42.735,0:02:45.501
Para a proposta desse teste,[br]alguns alunos foram colocados

0:02:45.501,0:02:48.851
em aulas tradicionais[br]livres de tecnologia --

0:02:48.851,0:02:51.852
sem laptops, sem tablets,[br]e SEM CELULARES!

0:02:53.325,0:02:55.909
Este é o grupo de controle,[br]ou caso de linha de base.

0:02:55.909,0:02:59.506
O outro grupo pôde[br]usar eletrônicos.

0:02:59.506,0:03:02.762
Este é o grupo de tratamento,[br]submetido a um ambiente diferente.

0:03:03.179,0:03:05.962
O tratamento neste caso[br]é o uso sem restrições

0:03:05.962,0:03:08.247
de laptops ou tablets em aula.

0:03:09.274,0:03:11.763
Toda questão causal[br]tem um resultado claro --

0:03:11.763,0:03:16.080
as variáveis que esperamos influir,[br]definidas com o avanço do estudo.

0:03:16.080,0:03:18.546
Os resultados dos estudos[br]eletrônicos em West Point

0:03:18.546,0:03:20.328
são as notas dos exames finais.

0:03:20.433,0:03:23.650
O estudo busca responder[br]a seguinte questão --

0:03:23.650,0:03:27.520
qual é o efeito causal do aprendizado[br]em salas de aula com eletrônicos

0:03:27.520,0:03:29.654
medido pelas notas dos exames?

0:03:30.236,0:03:33.154
Estudantes de economia de W.P[br]foram aleatoriamente atribuídos

0:03:33.154,0:03:36.323
à ambos tratamentos[br]ou grupos de controles.

0:03:36.323,0:03:39.987
A atribuição aleatória cria[br]comparações ceteris paribus,

0:03:39.987,0:03:44.371
nos permitindo elaborar conclusões[br]comparando os grupos.

0:03:44.682,0:03:49.017
O poder de revelação da casualidade[br]de um ensaio randomizado

0:03:49.017,0:03:52.677
vem de propriedades estatísticas[br]chamade de lei dos grandes números.

0:03:52.677,0:03:55.045
Quando estatísticos[br]e matemáticos descobrem

0:03:55.045,0:03:57.478
algo importante[br]e confiavelmente verdadeiro

0:03:57.478,0:04:00.761
sobre o mundo natural,[br]eles o chamam de lei.

0:04:01.498,0:04:04.529
A lei dos grandes números diz[br]que quando os grupos randomizados

0:04:04.529,0:04:07.962
são grandes o suficiente, os alunos[br]neles certamente são similares

0:04:07.962,0:04:10.012
em média, de todas as formas.

0:04:10.626,0:04:14.162
Isso significa que os grupos de alunos[br]divididos aleatoriamente podem ter

0:04:14.162,0:04:17.862
base familiar similares,[br]motivação e habilidade.

0:04:18.748,0:04:22.444
Sayônara viés de seleção,[br]pelo menos na teoria.

0:04:22.862,0:04:26.044
Na prática, os grupos randomizados[br]podem não ser grandes o bastante

0:04:26.044,0:04:28.478
para que a lei[br]de grandes números funcione.

0:04:28.711,0:04:31.995
Ou os pesquisadores podem ter[br]estragado a atribuição aleatória.

0:04:32.312,0:04:35.245
Em qualquer esforço técnico,[br]até os mestres mais experientes

0:04:35.245,0:04:37.478
são avisados sobre possíveis vacilos.

0:04:37.989,0:04:39.774
Então verificamos o balanço,

0:04:39.774,0:04:42.740
comparando as variáveis[br]do histórico dos alunos nos grupos

0:04:42.740,0:04:45.006
para ter certeza[br]que eles de fato são similares.

0:04:46.588,0:04:49.004
Aqui está a verificação[br]do balanço da West Point.

0:04:49.627,0:04:51.932
Essa tabela mostra duas colunas --

0:04:51.932,0:04:54.688
uma mostrando dados[br]do grupo de controle

0:04:54.688,0:04:57.021
e a outra mostrando dados[br]do grupo de tratamento.

0:04:57.825,0:05:01.759
As linhas mostram algumas das variáveis[br]que esperamos estarem balanceadas --

0:05:01.759,0:05:06.255
sexo, idade, raça, e sua média de notas[br]no ensino médio, entre outros.

0:05:07.232,0:05:09.271
A primeira linha indica[br]qual porcentagem

0:05:09.271,0:05:11.687
de cada grupo é feminino.

0:05:11.687,0:05:16.387
É 17% no grupo de controle[br]e 20% no grupo de tratamento.

0:05:17.962,0:05:21.194
Kamal, como está o balanço[br]para a média de notas?

0:05:21.731,0:05:25.028
-[Kamal] O grupo de controle[br]tem uma média de 2,87,

0:05:25.028,0:05:29.381
já o de tratamento tem[br]uma média de 2,82. Bem próximo.

0:05:29.615,0:05:34.031
Felizmente, os dois grupos[br]parecem ser similares em tudo.

0:05:34.031,0:05:35.566
Quão grande deve ser a amostra

0:05:35.566,0:05:37.499
para a lei[br]de grandes números funcionar?

0:05:37.743,0:05:39.102
O estudo da West Point,

0:05:39.102,0:05:42.680
que involveu cerca de 250[br]estudantes em cada grupo,

0:05:42.680,0:05:44.999
é provavelmente grande o bastante.

0:05:44.999,0:05:47.809
Não há regras definitvas aqui.

0:05:47.809,0:05:51.266
Em outro vídeo, vocês aprenderão[br]como confirmar a hipótese

0:05:51.266,0:05:54.633
do grupo de balanço com testes[br]estatísticos formais.

0:05:54.633,0:05:55.850
-[Aluno] Empolgante.

0:06:00.220,0:06:01.987
O coração da questão nessa tabela

0:06:02.022,0:06:04.222
é o efeito estimado do tratamento.

0:06:04.505,0:06:07.324
Lembrem-se que o tramento[br]neste caso é a permissão

0:06:07.324,0:06:09.323
para usar eletrônicos na aula.

0:06:09.571,0:06:13.638
Os efeitos de tratamento compara médias[br]entre os grupos de controle e tratamento.

0:06:15.103,0:06:17.746
O grupo com permissão[br]para usar eletrônicos

0:06:17.746,0:06:21.756
teve uma média de nota no exame final[br]de 0.28 deviações padrões

0:06:21.756,0:06:24.455
abaixo da nota dos estudantes[br]no grupo de controle.

0:06:26.026,0:06:27.982
Quão grande é esse efeito?

0:06:28.275,0:06:31.643
Cientistas sociais medem notas [br]em unidades de deviações padrões,

0:06:31.643,0:06:34.875
porque essas unidades são fáceis[br]de serem comparadas entre estudos.

0:06:35.143,0:06:38.642
Sabemos por uma longa história[br]de pesquisa de aprendizado em aula

0:06:38.642,0:06:40.760
que 0.28 é muito.

0:06:41.025,0:06:45.515
Uma queda de 0.28 é como[br]pegar o estudante mediano da turma

0:06:45.515,0:06:48.426
e levá-lo ou levá-la[br]para o terceiro escalão.

0:06:49.338,0:06:51.524
Como teremos certeza [br]de que os resultados

0:06:51.524,0:06:52.893
são significativos?

0:06:52.893,0:06:55.709
Afinal, estamos buscando[br]em uma única divisão aleatória

0:06:55.709,0:06:57.607
entre grupos[br]de controle e tratamento.

0:06:57.607,0:07:00.711
Outras divisões aleatórias[br]podem ter produzido algo diferente.

0:07:00.711,0:07:03.774
Então quantificamos[br]a variância amostral

0:07:03.774,0:07:05.974
em estimativas[br]de efeitos causais.

0:07:06.276,0:07:08.028
O que é variância amostral?

0:07:08.781,0:07:10.858
A variância amostral[br]nos diz a probabilidade

0:07:10.858,0:07:15.554
da descoberta de uma estatística[br]particular de ser um resultado causal,

0:07:15.554,0:07:18.858
mais além de uma indicação[br]de uma relação subjacente.

0:07:19.725,0:07:23.282
A variância amostral [br]é resumida por um número,

0:07:23.282,0:07:26.746
chamado de erro padrão[br]do efeito de tratamento estimado.

0:07:26.816,0:07:29.338
-[sussurros] Não entendi.[br]-Do que ele está falando...?

0:07:29.338,0:07:32.989
Não se preocupem -- falaremos mais sobre[br]essa importante ideia mais tarde.

0:07:32.989,0:07:34.023
-[Aluno] Aí sim.

0:07:34.023,0:07:36.498
Apenas lembrem-se:[br]quanto menor for o erro padrão,

0:07:36.498,0:07:38.747
mais conclusiva é a dscoberta.

0:07:38.963,0:07:42.180
Por outro lado,[br]se o erro padrão for grande

0:07:42.180,0:07:44.568
em relação ao efeito[br]que tentamos estimar,

0:07:44.568,0:07:47.435
há uma boa chance[br]de encontrarmos algo diferente

0:07:47.435,0:07:49.991
se fôssemos refazer o experimento.

0:07:50.333,0:07:54.284
Podemos pensar nesse erro padrão[br]como uma forma de medir

0:07:54.284,0:07:56.574
o quão podemos confiar[br]no resultado que vemos.

0:07:56.574,0:07:57.631
-[Alunos] Ok.

0:07:57.631,0:08:01.147
Nesse estudo, [br]o erro padrão relevante é 0.1.

0:08:01.768,0:08:04.654
Por enquanto já basta [br]para aprender uma regra simples.

0:08:04.759,0:08:06.748
Quando um tratamento[br]de efeito estimado

0:08:06.753,0:08:08.586
é mais que o dobro[br]do erro padrão,

0:08:08.586,0:08:12.103
a chance deste resultado ser diferente[br]de zero é porque a causa é baixa,

0:08:12.103,0:08:13.975
cerca de 1 em 20.

0:08:14.855,0:08:18.290
Por isso ser tão improvável,[br]dizemos que as estimativas

0:08:18.290,0:08:21.302
que são 2 ou mais vezes maior[br]que os padrões de erros associados

0:08:21.302,0:08:23.522
são estatisticamente significantes.

0:08:24.431,0:08:28.149
Camilla, o tratamento de efeito[br]no estudo da West Point

0:08:28.149,0:08:29.859
é estatisticamente significante?

0:08:30.728,0:08:35.934
O erro padrão é 0.10[br]e o efeito de tratamento é 0.28,

0:08:35.934,0:08:40.359
então 0.28 é mais que o dobro[br]do que 0.10, então sim.

0:08:40.445,0:08:41.613
Correto.

0:08:41.613,0:08:45.959
A perda de aprendizado causada[br]por eletrônicos usados na Econ 101

0:08:45.959,0:08:50.093
é então grande,[br]e estatisticamente significante.

0:08:50.093,0:08:51.249
-[Aluno] Legal.

0:08:56.775,0:08:59.987
Ensaios randozimados geralmente[br]fornecem as respostas mais claras

0:08:59.987,0:09:01.407
para as questões causais.

0:09:01.407,0:09:04.532
Quando essa arma está em nosso[br]kit de ferramentas, a usamos.

0:09:05.204,0:09:07.435
A atribuição aleatória[br]nos permite afirmar

0:09:07.435,0:09:09.567
que a ceteris foi de fato[br]feita paribus.

0:09:10.114,0:09:12.633
Mas os ensaios randomizados[br]são difíceis de organizar.

0:09:12.633,0:09:15.084
Eles podem ser caros e demorados,

0:09:15.084,0:09:18.000
e, em alguns casos,[br]considerado antiético.

0:09:18.404,0:09:21.420
Então os mestres buscam[br]por alternativas claras.

0:09:21.420,0:09:25.170
As alternativas tentam imitar[br]o poder revelador da casualidade

0:09:25.170,0:09:28.404
de um ensaio randomizado,[br]mas sem o tempo, a dificuldade,

0:09:28.404,0:09:31.370
e o custo de um experimento[br]feito com uma proposta.

0:09:31.461,0:09:34.794
Essas ferramentas alternativas[br]são aplicadas em cenários do mundo real

0:09:34.794,0:09:37.016
que imitam a atribuição aleatória.

0:09:39.016,0:09:42.556
Você está no caminho certo[br]para dominar a econometria.

0:09:42.556,0:09:44.451
Fixe o aprendeu neste vídeo

0:09:44.451,0:09:47.387
fazendo algumas[br]questões práticas.

0:09:47.387,0:09:50.870
Ou, caso esteja pronto,[br]clique no próximo vídeo.

0:09:50.870,0:09:53.517
Visite também o site da MRU

0:09:53.517,0:09:56.591
para mais cursos,[br]materiais de professores e mais.

0:09:56.871,0:09:59.571
Tradução: John Silva.