如何阅读经济学研究论文：随机对照试验（RCTs）

- [讲解员] 在掌握计量经济学的道路上

小徒弟Kamal也取得了巨大的进步

他充分发挥了自己的能力
战胜了他的敌人

可惜今天，他情绪低落

因为有一项挑战尚未解决：

Kamal还无法解读
学术研究期刊的论文

比如《美国经济评论》

和《计量经济学》等期刊

在他看来，这些似乎是用
晦涩难懂的外语写的

- [Kamal] 怎么回事...？

-[讲解员] 对于新手Kamal来说
它们是模糊不清的

但可以通过学习来解析

让我们一起来阅读，学习

随机对照试验

让我们深入研究

发表在《教育经济学评论》上的
西点军校的研究

此论文讲述了
对“经济学101”的学生

是否使用电子设备进行了随机评估

首先，快速回顾其研究设计

- 好的

- [Josh] 在西点军校-
一所专门培训美国陆军军官的学院

计量学大师们

设计了一项随机试验
以回答这个问题

按照不同的规则

这些大师随机分配学员
到经济学的不同班级

与大多数美国大学不同

西点军校本来的规定是
不许使用电子设备

为了这个实验
一些学生获得了特许

不在这种传统、无电子产品的班里：

没有笔记本电脑，没有平板电脑
没有手机！

这是对照组，或基准

另一组被允许使用电子产品

这就是实验组
受制于一个变化了的环境

在此，实验组可以在课堂上

无限制地使用笔记本电脑
或平板电脑

每一个因果问题
都有一个明确的结果

我们在研究之前就已定义
希望影响的变量

在西点军校
使用电子产品的结果

是看期末考试的分数

该研究的目的是为回答以下问题：

用考试分数来衡量
在课堂使用电子设备

与学习的因果关系是什么？

- 经济学期刊文章
通常以描述性统计表格开头

列出研究样本的关键因素

- 我的天啊，我记得这个表
太令人困惑了！

- [讲解员] 第一列到第三列报告平均特征

这样就能知道我们的研究对象

让我们从第一列开始

它描述了对照组的协变量

协变量是在实验开始之前测量的

对照组和实验组的特征

例如，我们看到对照组的平均年龄
略高于20岁

许多协变量都是虚拟变量

虚拟变量只能有两个值 --
0或1

例如，学生性别是虚拟变量

女性等于1，男性等于0

该变量的平均值为女性比例

我们还发现，对照组中
有13%是西班牙裔

19%服过兵役

表中的注释是关键

请在阅览表时参考这些

这些注释解释了
每列和每个面板中的内容

例如，这些注释告诉我们

标准偏差用括号注明

标准差告诉我们数据的离散情况

例如，0.52的标准差告诉我们

大多数对照组的GPA
落在2.35

也就是比2.87的平均GPA低0.52

和3.39之间
也就是比2.87高0.52

较低的标准偏差味着GPA

更紧密地聚集在平均值周围

-[Kamal] 是啊，但大多数变量
都没有标准偏差

-没错

大师们通常都会忽略
虚拟变量的标准偏差

因为变量的平均值
决定了其标准偏差

本研究将两个实验组

与对照组进行比较

第一组可以随便使用
笔记本电脑和平板电脑

第二个实验组的限制性强些

只允许将平板电脑
放在桌子上使用

实验组看起来与对照组很接近

这将带我们到该表的下一个特征
第四列到第六列

使用统计测试来比较实验前

实验组和对照组的特征

在第四栏中，两个实验组被合并了

可以看到实验组和对照组的

女性比例差异仅为0.03

这种差异在统计学上并不显著

在样本选择过程中

我们可以很容易地
将其归结为偶然结果

- 那我们怎么知道？

- [讲解员] 记得经验法则吗？

绝对值超出标准误差两倍的统计估计

通常在统计学上是有显著性的

标准误差为0.03

与女性比例差异相同

因此，后者与前者的比率仅为1

这当然小于2

- [Kamal] 哦！所以
表中的实验/对照差异

均不超过其标准误差的两倍

-[讲解员] 正确

随机划分的学生似乎成功地

创建了确实具有可比性的群体

因此，我们可以确信

课堂成绩随后的任何差异

都是实验干预的结果

而不是先前存在的差异的反映

做到了“其他条件不变”！

- [Kamal] 酷，等等

底部有星号的数字呢？

这些差异是标准误差的两倍以上

-[讲解员] 好眼力，Kamal！

该表中有许多数字

面板B中的也很重要

它们测量实验组和对照组的学生

在课堂上使用电脑的程度

这组的实验是允许电脑的使用

研究人员必须证明

被允许使用电脑的学生

利用了这个机会

如果他们没有使用，那就没有实验了

幸运的是，第一实验组中

81%的人使用了电脑

而对照组中没有人使用电脑

第二个平板电脑实验组的许多人

也使用了电脑

电脑的使用方面差异很大

而且具有统计显著性

我们还可以看到每组的样本量

- [Kamal] 星号是装饰吗？

-[讲解员]有些学术论文用星号来表示

在统计学上有显著性的差异

这可以引起人们的注意

这里，三个星号表示结果在统计上

p值偏离零假设的概率小于1%

换句话说，这个结果纯粹是偶然的

概率不到1/100

两个星号表示偶然发现的机率
为1/20或5%

一个星号代表
10%我们看到的结果

仅归因于偶然

如今，星号被视为有点过时

有些期刊把它们省略了

-[Kamal]那最后两列呢？

-[讲解员] 与将两个实验组
合并为一的第四列不同

后两列分别查看每个实验组的
实验/对照差异

这提供了更详细的平衡分析

另外，就目前而言
你可以忽略此行

它将用于另一项显著性
测试

现在我们来看看这篇文章的精华：
表四

此表报告电子设备的使用

对学生学习成绩影响的回归估计

-[Kamal] 为什么这项研究
报告回归估计？

这就是我不明白的原因

我以为
我们喜欢随机试验的一个原因是

只需比较实验组和对照组

就可以获得因果关系

由于这些组是平衡的
没有必要使用回归

-[讲解员] 说得好，Kamal

实际上，出于两个原因

报告回归估计是惯例

首先，尽管有证据表明
二者之间存在平衡

但如果过于谨慎
分析师可能会考虑到

二者之间的偶然性差异

其次，回归估计可能更为精确

也就是说，与简单的实验对照比较相比

它们具有更低的标准误差

本研究中的因变量

是我们感兴趣的结果

既然眼前的问题是

课堂电子设备如何影响学习

一个适合的结果
就是经济学期末考试的分数

每列报告不同回归模型的结果

除了实验组之外

模型还通过控制变量
或协变量进行区分

没有协变量的估计

是对实验组和对照组的简单比较

-[Kamal] 我还以为他们忘了填写呢

-[讲解员]第一列显示，电子设备的使用

使期末考试分数减少0.28标准差

在我们的上一课中

Joshway大师解释说
我们使用标准差单位

因为这些单位在不同的研究中很容易比较

第二列报告了

添加人口统计控制的模型的结果

在这里，我们比较测试分数
但持有不变的因素

如年龄和性别

第三列报告了

将GPA添加到协变量列表中的
模型的结果

第四列增加了ACT分数

分析师经常以这种方式报告结果

首先是包含很少或没有协变量的模型

然后逐列报告

添加越来越多协变量的模型估计值

逐列观察，你注意到了什么？

-[Kamal] 使用电脑的相关系数

总是一个相当大的负数

- [讲解员] 没错！

我们还可以看到，标准误差小到

足以使这些负面结果具有统计显著性

换句话说，这个实验的主要收获是

使用电子设备影响了学生的学习

- [Kamal] GPA和ACT的分数
也很显著

原因何在？

-[讲解员]观察的很好！

这并不奇怪

我们期望这些变量
能预测在大学里的表现

-[Kamal] 哦，没错

之前取得很好成绩的孩子

更有可能在这门课程中
取得较好的成绩

-[讲解员] 你还会注意到这表中的
许多其他信息

表中的其余面板报告了电子设备的使用

对期末考试组成部分的影响

如选择题

这些结果大多与电脑的使用

对总体得分的影响一致

-[Kamal] 那行不是英文的行呢？

-[讲解员] 它们提供了其他统计信息

r 平方是拟合优度的度量

尽管有些读者可能想知道

但这并不太重要

其他行报告具有统计显著性的替代测试

你目前也可以忽略

-[Kamal] 哦，我的天
这些表没有那么难嘛！

非常感谢您

-[讲解员] 接下来是要讲的是回归

再见！

♪ [音乐] ♪

你正在掌握计量经济学的路上

为确保自己能够记住这个视频里的内容

请回答一些快速的练习题

或者，如果你已准备好
请点按以观看下一个视频

你还可以查看MRU的网站

那里有更多课程、教师资源等