1
00:00:00,975 --> 00:00:02,571
算法无处不在。

2
00:00:04,111 --> 00:00:07,236
他们把成功者和失败者区分开来。

3
00:00:08,019 --> 00:00:10,283
成功者得到工作

4
00:00:10,283 --> 00:00:12,034
或是一个很好的信用卡优惠计划。

5
00:00:12,034 --> 00:00:14,725
失败者甚至连面试机会都没有，

6
00:00:15,590 --> 00:00:17,367
或者要为保险付更多的钱。

7
00:00:18,197 --> 00:00:21,746
我们被不理解的秘密公式打分，

8
00:00:22,675 --> 00:00:25,892
却并没有上诉的渠道。

9
00:00:27,240 --> 00:00:28,550
这引出了一个问题：

10
00:00:28,550 --> 00:00:31,473
如果算法是错误的怎么办？

11
00:00:33,100 --> 00:00:34,550
构建一个算法需要两个要素：

12
00:00:34,550 --> 00:00:37,019
需要数据，如过去发生的事情，

13
00:00:37,019 --> 00:00:38,434
和成功的定义，

14
00:00:38,434 --> 00:00:41,195
你正在寻找的，通常希望得到的东西。

15
00:00:41,195 --> 00:00:46,276
你可以通过观察，理解来训练算法。

16
00:00:46,276 --> 00:00:49,729
这种算法能找出与成功相关的因素。

17
00:00:49,729 --> 00:00:52,202
什么情况意味着成功？

18
00:00:52,881 --> 00:00:54,673
其实，每个人都使用算法。

19
00:00:54,673 --> 00:00:57,259
他们只是没有把它们写成书面代码。

20
00:00:57,259 --> 00:00:58,227
举个例子。

21
00:00:58,227 --> 00:01:02,117
我每天都用一种算法来
为我的家人做饭。

22
00:01:02,121 --> 00:01:03,597
我使用的数据

23
00:01:04,394 --> 00:01:05,937
就是我厨房里的原料，

24
00:01:05,937 --> 00:01:07,614
我拥有的时间，

25
00:01:07,614 --> 00:01:08,741
我的热情，

26
00:01:08,741 --> 00:01:10,614
然后我整理了这些数据。

27
00:01:10,614 --> 00:01:14,889
我不把那种小包拉面算作食物。

28
00:01:14,889 --> 00:01:16,772
（笑声）

29
00:01:16,772 --> 00:01:18,625
我对成功的定义是：

30
00:01:18,625 --> 00:01:21,314
如果我的孩子们肯吃蔬菜，
这顿饭就是成功的。

31
00:01:22,181 --> 00:01:24,815
这和我最小的儿子
负责做饭时的情况有所不同。

32
00:01:24,815 --> 00:01:27,847
他说，如果他能吃很多
Nutella巧克力榛子酱就是成功。

33
00:01:29,179 --> 00:01:31,415
但我可以选择成功。

34
00:01:31,415 --> 00:01:34,036
我负责。我的意见就很重要。

35
00:01:34,036 --> 00:01:36,829
这就是算法的第一个规则。

36
00:01:36,829 --> 00:01:40,039
算法是嵌入在代码中的观点。

37
00:01:41,562 --> 00:01:45,225
这和你认为大多数人对
算法的看法是不同的。

38
00:01:45,225 --> 00:01:49,753
他们认为算法是客观、真实和科学的。

39
00:01:50,387 --> 00:01:52,086
那是一种营销技巧。

40
00:01:53,269 --> 00:01:55,414
这也是一种用算法来

41
00:01:55,414 --> 00:01:58,576
恐吓你的营销手段，

42
00:01:58,576 --> 00:02:02,247
为了让你信任和恐惧算法

43
00:02:02,247 --> 00:02:04,299
因为你信任并害怕数学。

44
00:02:05,567 --> 00:02:10,397
当我们盲目信任大数据时，
很多人都可能犯错。

45
00:02:11,684 --> 00:02:15,067
这是凯丽·索尔斯。
她是布鲁克林的一名高中校长。

46
00:02:15,067 --> 00:02:17,697
2011年，她告诉我，
她学校的老师们正在被一个复杂

47
00:02:17,697 --> 00:02:20,428
并且隐秘的算法进行打分，

48
00:02:20,428 --> 00:02:21,931
这个算法被称为“增值模型"。

49
00:02:22,505 --> 00:02:24,851
我告诉她，“先弄清楚这个
公式是什么，然后给我看看。

50
00:02:24,851 --> 00:02:26,862
我来给你解释一下。”

51
00:02:26,862 --> 00:02:28,811
她说，“我寻求过这个公式，

52
00:02:28,811 --> 00:02:31,867
但是教育部的负责人告诉我这是数学，

53
00:02:31,867 --> 00:02:33,693
给我我也看不懂。”

54
00:02:35,266 --> 00:02:36,624
更糟的还在后面。

55
00:02:36,624 --> 00:02:40,168
纽约邮报提出了“信息自由法”的要求，

56
00:02:40,168 --> 00:02:43,155
来得到所有老师的名字与他们的分数，

57
00:02:43,155 --> 00:02:45,947
并且他们以羞辱教师的方式
发表了这些数据。

58
00:02:47,084 --> 00:02:50,974
当我试图用同样的方法来获取公式，
源代码的时候，

59
00:02:50,974 --> 00:02:53,057
我被告知我没有权力这么做。

60
00:02:53,057 --> 00:02:54,201
我被拒绝了。

61
00:02:54,201 --> 00:02:55,419
后来我发现，

62
00:02:55,419 --> 00:02:58,475
纽约市压根儿没有人能接触到这个公式。

63
00:02:58,475 --> 00:02:59,794
没有人能看懂。

64
00:03:01,929 --> 00:03:05,177
然后，一个非常聪明的人参与了，
加里·鲁宾斯坦。

65
00:03:05,177 --> 00:03:08,818
他从纽约邮报的数据中
找到了665名教师，

66
00:03:08,822 --> 00:03:10,682
实际上他们有两个分数。

67
00:03:10,682 --> 00:03:12,603
如果他们同时教七年级与八年级的数学，

68
00:03:12,603 --> 00:03:15,050
就会得到两个评分。

69
00:03:15,050 --> 00:03:16,598
他决定把这些数据绘成图表。

70
00:03:16,598 --> 00:03:18,635
每个点代表一个教师。

71
00:03:19,104 --> 00:03:21,513
（笑声）

72
00:03:21,513 --> 00:03:23,048
那是什么？

73
00:03:23,052 --> 00:03:24,353
（笑声）

74
00:03:24,353 --> 00:03:27,669
它永远不应该被用于个人评估。

75
00:03:27,669 --> 00:03:29,779
它几乎是一个随机数生成器。

76
00:03:29,779 --> 00:03:32,659
（掌声）

77
00:03:32,659 --> 00:03:33,405
但它确实被使用了。

78
00:03:33,405 --> 00:03:34,669
这是莎拉·维索斯基。

79
00:03:34,669 --> 00:03:37,224
她连同另外205名教师被解雇了，

80
00:03:37,224 --> 00:03:40,020
都是来自华盛顿特区的学区，

81
00:03:40,020 --> 00:03:42,937
尽管她的校长还有学生的

82
00:03:42,937 --> 00:03:44,375
父母都非常推荐她。

83
00:03:45,390 --> 00:03:46,972
我知道你们很多人在想什么，

84
00:03:46,972 --> 00:03:49,573
尤其是这里的数据科学家，
人工智能专家。

85
00:03:49,573 --> 00:03:54,183
你在想，“我可永远不会做出
这样前后矛盾的算法。”

86
00:03:54,853 --> 00:03:56,420
但是算法可能会出错，

87
00:03:56,420 --> 00:04:01,158
即使有良好的意图，
也会产生毁灭性的影响。

88
00:04:02,531 --> 00:04:04,920
每个人都能看到一架设计的

89
00:04:04,920 --> 00:04:06,949
很糟糕的飞机会坠毁在地，

90
00:04:06,949 --> 00:04:08,809
而一个设计糟糕的算法

91
00:04:10,245 --> 00:04:14,110
可以持续很长一段时间，
并无声地造成破坏。

92
00:04:15,748 --> 00:04:17,348
这是罗杰·艾尔斯。

93
00:04:17,348 --> 00:04:19,342
（笑声）

94
00:04:20,524 --> 00:04:22,912
他在1996年创办了福克斯新闻。

95
00:04:23,436 --> 00:04:25,867
公司有超过20多名女性曾抱怨过性骚扰。

96
00:04:25,867 --> 00:04:29,276
她们说她们不被允许在
福克斯新闻有所成就。

97
00:04:29,276 --> 00:04:31,814
他去年被赶下台，但我们最近看到

98
00:04:31,814 --> 00:04:34,514
问题依然存在。

99
00:04:35,514 --> 00:04:37,048
这引出了一个问题：

100
00:04:37,048 --> 00:04:39,962
福克斯新闻应该做些什么改变？

101
00:04:41,245 --> 00:04:44,280
如果他们用机器学习算法

102
00:04:44,280 --> 00:04:45,858
取代传统的招聘流程呢？

103
00:04:45,858 --> 00:04:47,473
听起来不错，对吧？

104
00:04:47,473 --> 00:04:48,827
想想看。

105
00:04:48,827 --> 00:04:51,040
数据，这些数据到底是什么？

106
00:04:51,040 --> 00:04:56,011
福克斯新闻在过去21年的申请函
是一个合理的选择。

107
00:04:56,011 --> 00:04:57,523
很合理。

108
00:04:57,523 --> 00:04:59,495
那么成功的定义呢？

109
00:04:59,821 --> 00:05:01,255
合理的选择将是，

110
00:05:01,255 --> 00:05:02,947
谁在福克斯新闻取得了成功？

111
00:05:02,947 --> 00:05:06,555
我猜的是，比如在那里呆了四年，

112
00:05:06,555 --> 00:05:08,329
至少得到过一次晋升的人。

113
00:05:08,816 --> 00:05:10,417
听起来很合理。

114
00:05:10,417 --> 00:05:12,619
然后这个算法将会被训练。

115
00:05:12,619 --> 00:05:16,656
它会被训练去向人们
学习是什么造就了成功，

116
00:05:17,219 --> 00:05:21,537
什么样的申请函在过去拥有

117
00:05:21,537 --> 00:05:22,855
这种成功的定义。

118
00:05:24,200 --> 00:05:25,809
现在想想如果我们把它

119
00:05:25,809 --> 00:05:28,554
应用到目前的申请者中会发生什么。

120
00:05:29,039 --> 00:05:30,748
它会过滤掉女性，

121
00:05:31,663 --> 00:05:35,593
因为她们看起来不像
在过去取得成功的人。

122
00:05:39,752 --> 00:05:42,119
算法不会让事情变得公平，

123
00:05:42,119 --> 00:05:44,767
如果你只是轻率地，
盲目地应用算法。

124
00:05:44,767 --> 00:05:46,247
它们不会让事情变得公平。

125
00:05:46,247 --> 00:05:48,695
它们只是重复我们过去的做法，

126
00:05:48,695 --> 00:05:49,672
我们的规律。

127
00:05:49,672 --> 00:05:51,835
它们使现状自动化。

128
00:05:52,718 --> 00:05:55,107
如果我们有一个
完美的世界那就太好了，

129
00:05:55,905 --> 00:05:57,171
但是我们没有。

130
00:05:57,171 --> 00:06:01,343
我还要补充一点，
大多数公司都没有令人尴尬的诉讼，

131
00:06:02,446 --> 00:06:05,068
但是这些公司的数据科学家

132
00:06:05,068 --> 00:06:07,227
被告知要跟随数据，

133
00:06:07,227 --> 00:06:09,414
关注它的准确性。

134
00:06:10,273 --> 00:06:11,424
想想这意味着什么。

135
00:06:11,424 --> 00:06:15,715
因为我们都有偏见，
这意味着他们可以编纂性别歧视

136
00:06:15,715 --> 00:06:17,565
或者任何其他的偏见。

137
00:06:19,488 --> 00:06:20,923
思维实验，

138
00:06:20,923 --> 00:06:22,442
因为我喜欢它们：

139
00:06:23,574 --> 00:06:26,549
一个完全隔离的社会——

140
00:06:28,247 --> 00:06:31,585
种族隔离存在于所有的城镇，
所有的社区，

141
00:06:31,585 --> 00:06:34,400
我们把警察只送到少数族裔的社区

142
00:06:34,400 --> 00:06:35,853
去寻找犯罪。

143
00:06:36,451 --> 00:06:38,670
逮捕数据将会是十分有偏见的。

144
00:06:39,851 --> 00:06:42,440
除此之外，我们还会寻找数据科学家

145
00:06:42,440 --> 00:06:46,611
并付钱给他们来预测
下一起犯罪会发生在哪里？

146
00:06:47,275 --> 00:06:48,762
少数族裔的社区。

147
00:06:49,285 --> 00:06:52,410
或者预测下一个罪犯会是谁？

148
00:06:52,888 --> 00:06:54,283
少数族裔。

149
00:06:55,949 --> 00:06:59,284
这些数据科学家们
会吹嘘他们的模型有多好，

150
00:06:59,284 --> 00:07:00,841
多精确，

151
00:07:00,841 --> 00:07:02,134
当然他们是对的。

152
00:07:03,951 --> 00:07:08,586
不过现实并没有那么极端，
但我们确实在许多城市里

153
00:07:08,586 --> 00:07:09,877
有严重的种族隔离，

154
00:07:09,877 --> 00:07:11,824
并且我们有大量的证据表明

155
00:07:11,824 --> 00:07:14,506
警察和司法系统的数据存有偏见。

156
00:07:15,632 --> 00:07:18,471
而且我们确实预测过热点，

157
00:07:18,471 --> 00:07:20,001
那些犯罪会发生的地方。

158
00:07:20,401 --> 00:07:24,287
我们确实会预测个人犯罪，

159
00:07:24,287 --> 00:07:26,061
个人的犯罪行为。

160
00:07:26,972 --> 00:07:30,595
新闻机构“人民 (ProPublica)”最近调查了，

161
00:07:30,595 --> 00:07:32,443
其中一个称为

162
00:07:32,443 --> 00:07:33,420
“累犯风险”的算法。

163
00:07:33,420 --> 00:07:37,388
并在佛罗里达州的
宣判期间被法官采用。

164
00:07:38,411 --> 00:07:41,996
伯纳德，左边的那个黑人，
10分中得了满分。

165
00:07:43,179 --> 00:07:45,160
在右边的迪伦，
10分中得了3分。

166
00:07:45,160 --> 00:07:47,711
10分代表高风险。
3分代表低风险。

167
00:07:48,598 --> 00:07:50,903
他们都因为持有毒品
而被带进了监狱。

168
00:07:50,903 --> 00:07:52,201
他们都有犯罪记录，

169
00:07:52,201 --> 00:07:54,985
但是迪伦有一个重罪

170
00:07:54,985 --> 00:07:56,191
但伯纳德没有。

171
00:07:57,818 --> 00:08:00,804
这很重要，因为你的分数越高，

172
00:08:00,804 --> 00:08:04,381
你被判长期服刑的可能性就越大。

173
00:08:06,294 --> 00:08:07,588
到底发生了什么？

174
00:08:08,526 --> 00:08:09,858
数据洗钱。

175
00:08:10,930 --> 00:08:15,367
这是一个技术人员
把丑陋真相隐藏在

176
00:08:15,367 --> 00:08:17,082
算法黑盒子中的过程，

177
00:08:17,082 --> 00:08:18,516
并称之为客观；

178
00:08:19,320 --> 00:08:20,888
称之为精英模式。

179
00:08:23,118 --> 00:08:25,383
当它们是秘密的，
重要的并具有破坏性的，

180
00:08:25,383 --> 00:08:28,034
我为这些算法创造了一个术语：

181
00:08:28,038 --> 00:08:30,087
“杀伤性数学武器”。

182
00:08:30,087 --> 00:08:31,655
（笑声）

183
00:08:31,655 --> 00:08:34,723
（鼓掌）

184
00:08:34,723 --> 00:08:37,081
它们无处不在，也不是一个错误。

185
00:08:37,695 --> 00:08:41,342
这些是私有公司为了私人目的

186
00:08:41,342 --> 00:08:42,834
建立的私有算法。

187
00:08:43,214 --> 00:08:46,458
甚至是我谈到的老师
与公共警察使用的（算法），

188
00:08:46,458 --> 00:08:48,341
也都是由私人公司所打造的，

189
00:08:48,341 --> 00:08:50,646
然后卖给政府机构。

190
00:08:50,646 --> 00:08:52,227
他们称之为“秘密配方（来源）”——

191
00:08:52,227 --> 00:08:54,665
这就是他们不能告诉我们的原因。

192
00:08:54,665 --> 00:08:56,869
这也是私人权力。

193
00:08:57,924 --> 00:09:02,619
他们利用神秘莫测的权威来获利。

194
00:09:05,114 --> 00:09:07,858
你可能会想，既然所有这些都是私有的

195
00:09:07,858 --> 00:09:08,970
而且会有竞争，

196
00:09:08,970 --> 00:09:11,500
也许自由市场会解决这个问题。

197
00:09:11,500 --> 00:09:12,623
然而并不会。

198
00:09:12,623 --> 00:09:15,977
在不公平的情况下，
有很多钱可以赚。

199
00:09:17,127 --> 00:09:20,496
而且，我们不是经济理性的代理人。

200
00:09:21,031 --> 00:09:22,323
我们都是有偏见的。

201
00:09:22,960 --> 00:09:26,307
我们都是固执的种族主义者，
虽然我们希望我们不是，

202
00:09:26,307 --> 00:09:28,380
虽然我们甚至没有意识到。

203
00:09:29,352 --> 00:09:32,443
总的来说，我们知道这一点，

204
00:09:32,443 --> 00:09:35,487
因为社会学家会一直通过这些实验

205
00:09:35,487 --> 00:09:37,130
来证明这一点，

206
00:09:37,130 --> 00:09:39,962
他们发送了大量的工作申请，

207
00:09:39,962 --> 00:09:42,503
都是有同样资格的候选人，
有些用白人人名，

208
00:09:42,503 --> 00:09:44,213
有些用黑人人名，

209
00:09:44,213 --> 00:09:46,931
然而结果总是令人失望的。

210
00:09:47,510 --> 00:09:49,151
所以我们是有偏见的，

211
00:09:49,151 --> 00:09:52,764
我们还通过选择收集到的数据

212
00:09:52,764 --> 00:09:54,600
来把偏见注入到算法中，

213
00:09:54,600 --> 00:09:57,267
就像我不选择去想拉面一样——

214
00:09:57,267 --> 00:09:58,990
我自认为这无关紧要。

215
00:09:58,990 --> 00:10:04,744
但是，通过信任那些
在过去的实践中获得的数据

216
00:10:04,744 --> 00:10:06,762
以及通过选择成功的定义，

217
00:10:06,762 --> 00:10:10,733
我们怎么能指望算法
会是毫无瑕疵的呢？

218
00:10:10,733 --> 00:10:13,119
我们不能。我们必须检查。

219
00:10:14,165 --> 00:10:15,794
我们必须检查它们是否公平。

220
00:10:15,794 --> 00:10:18,593
好消息是，我们可以做到这一点。

221
00:10:18,593 --> 00:10:21,959
算法是可以被审问的，


222
00:10:21,959 --> 00:10:24,073
而且每次都能告诉我们真相。

223
00:10:24,073 --> 00:10:26,580
然后我们可以修复它们。
我们可以让他们变得更好。

224
00:10:26,580 --> 00:10:28,979
我把它叫做算法审计，

225
00:10:28,979 --> 00:10:30,692
接下来我会为你们解释。

226
00:10:30,692 --> 00:10:32,882
首先，数据的完整性检查。

227
00:10:34,132 --> 00:10:36,789
对于刚才提到过的累犯风险算法，

228
00:10:37,582 --> 00:10:41,185
数据的完整性检查将意味着
我们不得不接受这个事实，

229
00:10:41,185 --> 00:10:44,679
在美国，白人和黑人
吸毒的比例是一样的，

230
00:10:44,679 --> 00:10:47,244
但是黑人更有可能被逮捕——

231
00:10:47,244 --> 00:10:50,422
取决于区域，可能性是白人的4到5倍。

232
00:10:51,317 --> 00:10:54,173
这种偏见在其他犯罪类别中
是什么样子的，

233
00:10:54,173 --> 00:10:55,618
我们又该如何解释呢？

234
00:10:56,162 --> 00:10:59,195
其次，我们应该考虑成功的定义，

235
00:10:59,195 --> 00:11:00,610
审计它。

236
00:11:00,610 --> 00:11:03,192
还记得我们谈论的雇佣算法吗？

237
00:11:03,192 --> 00:11:06,595
那个呆了四年的人，
然后被提升了一次？

238
00:11:06,595 --> 00:11:07,884
这的确是一个成功的员工，

239
00:11:07,884 --> 00:11:11,467
但这也是一名受到公司文化支持的员工。

240
00:11:12,089 --> 00:11:13,755
也就是说，
这可能会有很大的偏差。

241
00:11:13,755 --> 00:11:15,928
我们需要把这两件事分开。

242
00:11:15,928 --> 00:11:18,548
我们应该去看一下乐团盲选试奏，

243
00:11:18,548 --> 00:11:19,494
举个例子。

244
00:11:19,494 --> 00:11:22,554
这就是人们在幕后选拔乐手的地方。

245
00:11:22,946 --> 00:11:24,377
我想要考虑的是

246
00:11:24,377 --> 00:11:28,342
倾听的人已经
决定了什么是重要的，

247
00:11:28,342 --> 00:11:30,141
同时他们已经决定了
什么是不重要的，

248
00:11:30,141 --> 00:11:32,454
他们也不会因此而分心。

249
00:11:32,961 --> 00:11:35,730
当乐团盲选开始时，

250
00:11:35,730 --> 00:11:39,178
在管弦乐队中，
女性的数量上升了5倍。

251
00:11:40,253 --> 00:11:42,268
其次，我们必须考虑准确性。

252
00:11:43,233 --> 00:11:46,967
这就是针对教师的增值模型
立刻失效的地方。

253
00:11:47,578 --> 00:11:49,740
当然，没有一个算法是完美的，

254
00:11:50,620 --> 00:11:54,225
所以我们要考虑每一个算法的误差。

255
00:11:54,836 --> 00:11:59,195
出现错误的频率有多高，
让这个模型失败的对象是谁？

256
00:11:59,850 --> 00:12:01,568
失败的代价是什么？

257
00:12:02,434 --> 00:12:04,641
最后，我们必须考虑

258
00:12:05,973 --> 00:12:08,159
这个算法的长期效果，

259
00:12:08,866 --> 00:12:11,073
与正在产生的反馈循环。

260
00:12:11,586 --> 00:12:12,826
这听起来很抽象，

261
00:12:12,826 --> 00:12:15,510
但是想象一下
如果脸书的工程师们之前考虑过，

262
00:12:16,270 --> 00:12:21,125
并决定只向我们展示
我们朋友所发布的东西。

263
00:12:21,761 --> 00:12:24,995
我还有两条建议，
一条是给数据科学家的。

264
00:12:25,450 --> 00:12:28,859
数据科学家们：我们不应该
成为真相的仲裁者。

265
00:12:29,520 --> 00:12:33,313
我们应该成为大社会中
所发生的道德讨论的

266
00:12:33,313 --> 00:12:34,621
翻译者。

267
00:12:35,579 --> 00:12:37,752
（掌声）

268
00:12:37,752 --> 00:12:39,292
然后剩下的人，

269
00:12:40,011 --> 00:12:41,191
非数据科学家们：

270
00:12:41,191 --> 00:12:42,929
这不是一个数学测试。

271
00:12:43,632 --> 00:12:44,980
这是一场政治斗争。

272
00:12:46,587 --> 00:12:50,494
我们应该要求我们的
算法霸主承担问责。

273
00:12:52,118 --> 00:12:53,647
（掌声）

274
00:12:53,647 --> 00:12:57,886
盲目信仰大数据的时代必须结束。

275
00:12:57,886 --> 00:12:59,077
非常感谢。

276
00:12:59,077 --> 00:13:04,384
（掌声）