WEBVTT

00:00:00.975 --> 00:00:02.571
算法无处不在。

00:00:04.111 --> 00:00:07.236
他们把成功者和失败者区分开来。

00:00:08.019 --> 00:00:10.283
成功者得到工作

00:00:10.283 --> 00:00:12.034
或是一个很好的信用卡优惠计划。

00:00:12.034 --> 00:00:14.725
失败者甚至连面试机会都没有，

00:00:15.590 --> 00:00:17.367
或者要为保险付更多的钱。

00:00:18.197 --> 00:00:21.746
我们被不理解的秘密公式打分，

00:00:22.675 --> 00:00:25.892
却并没有上诉的渠道。

00:00:27.240 --> 00:00:28.550
这引出了一个问题：

00:00:28.550 --> 00:00:31.473
如果算法是错误的怎么办？

NOTE Paragraph

00:00:33.100 --> 00:00:34.550
构建一个算法需要两个要素：

00:00:34.550 --> 00:00:37.019
需要数据，如过去发生的事情，

00:00:37.019 --> 00:00:38.434
和成功的定义，

00:00:38.434 --> 00:00:41.195
你正在寻找的，通常希望得到的东西。

00:00:41.195 --> 00:00:46.276
你可以通过观察，理解来训练算法。

00:00:46.276 --> 00:00:49.729
这种算法能找出与成功相关的因素。

00:00:49.729 --> 00:00:52.202
什么情况意味着成功？

NOTE Paragraph

00:00:52.881 --> 00:00:54.673
其实，每个人都使用算法。

00:00:54.673 --> 00:00:57.259
他们只是没有把它们写成书面代码。

00:00:57.259 --> 00:00:58.227
举个例子。

00:00:58.227 --> 00:01:02.117
我每天都用一种算法来
为我的家人做饭。

00:01:02.121 --> 00:01:03.597
我使用的数据

00:01:04.394 --> 00:01:05.937
就是我厨房里的原料，

00:01:05.937 --> 00:01:07.614
我拥有的时间，

00:01:07.614 --> 00:01:08.741
我的热情，

00:01:08.741 --> 00:01:10.614
然后我整理了这些数据。

00:01:10.614 --> 00:01:14.889
我不把那种小包拉面算作食物。

NOTE Paragraph

00:01:14.889 --> 00:01:16.772
（笑声）

NOTE Paragraph

00:01:16.772 --> 00:01:18.625
我对成功的定义是：

00:01:18.625 --> 00:01:21.314
如果我的孩子们肯吃蔬菜，
这顿饭就是成功的。

00:01:22.181 --> 00:01:24.815
这和我最小的儿子
负责做饭时的情况有所不同。

00:01:24.815 --> 00:01:27.847
他说，如果他能吃很多
Nutella巧克力榛子酱就是成功。

00:01:29.179 --> 00:01:31.415
但我可以选择成功。

00:01:31.415 --> 00:01:34.036
我负责。我的意见就很重要。

00:01:34.036 --> 00:01:36.829
这就是算法的第一个规则。

NOTE Paragraph

00:01:36.829 --> 00:01:40.039
算法是嵌入在代码中的观点。

00:01:41.562 --> 00:01:45.225
这和你认为大多数人对
算法的看法是不同的。

00:01:45.225 --> 00:01:49.753
他们认为算法是客观、真实和科学的。

00:01:50.387 --> 00:01:52.086
那是一种营销技巧。

00:01:53.269 --> 00:01:55.414
这也是一种用算法来

00:01:55.414 --> 00:01:58.576
恐吓你的营销手段，

00:01:58.576 --> 00:02:02.247
为了让你信任和恐惧算法

00:02:02.247 --> 00:02:04.299
因为你信任并害怕数学。

00:02:05.567 --> 00:02:10.397
当我们盲目信任大数据时，
很多人都可能犯错。

NOTE Paragraph

00:02:11.684 --> 00:02:15.067
这是凯丽·索尔斯。
她是布鲁克林的一名高中校长。

00:02:15.067 --> 00:02:17.697
2011年，她告诉我，
她学校的老师们正在被一个复杂

00:02:17.697 --> 00:02:20.428
并且隐秘的算法进行打分，

00:02:20.428 --> 00:02:21.931
这个算法被称为“增值模型"。

00:02:22.505 --> 00:02:24.851
我告诉她，“先弄清楚这个
公式是什么，然后给我看看。

00:02:24.851 --> 00:02:26.862
我来给你解释一下。”

00:02:26.862 --> 00:02:28.811
她说，“我寻求过这个公式，

00:02:28.811 --> 00:02:31.867
但是教育部的负责人告诉我这是数学，

00:02:31.867 --> 00:02:33.693
给我我也看不懂。”

NOTE Paragraph

00:02:35.266 --> 00:02:36.624
更糟的还在后面。

00:02:36.624 --> 00:02:40.168
纽约邮报提出了“信息自由法”的要求，

00:02:40.168 --> 00:02:43.155
来得到所有老师的名字与他们的分数，

00:02:43.155 --> 00:02:45.947
并且他们以羞辱教师的方式
发表了这些数据。

00:02:47.084 --> 00:02:50.974
当我试图用同样的方法来获取公式，
源代码的时候，

00:02:50.974 --> 00:02:53.057
我被告知我没有权力这么做。

00:02:53.057 --> 00:02:54.201
我被拒绝了。

00:02:54.201 --> 00:02:55.419
后来我发现，

00:02:55.419 --> 00:02:58.475
纽约市压根儿没有人能接触到这个公式。

00:02:58.475 --> 00:02:59.794
没有人能看懂。

00:03:01.929 --> 00:03:05.177
然后，一个非常聪明的人参与了，
加里·鲁宾斯坦。

00:03:05.177 --> 00:03:08.818
他从纽约邮报的数据中
找到了665名教师，

00:03:08.822 --> 00:03:10.682
实际上他们有两个分数。

00:03:10.682 --> 00:03:12.603
如果他们同时教七年级与八年级的数学，

00:03:12.603 --> 00:03:15.050
就会得到两个评分。

00:03:15.050 --> 00:03:16.598
他决定把这些数据绘成图表。

00:03:16.598 --> 00:03:18.635
每个点代表一个教师。

NOTE Paragraph

00:03:19.104 --> 00:03:21.513
（笑声）

NOTE Paragraph

00:03:21.513 --> 00:03:23.048
那是什么？

NOTE Paragraph

00:03:23.052 --> 00:03:24.353
（笑声）

NOTE Paragraph

00:03:24.353 --> 00:03:27.669
它永远不应该被用于个人评估。

00:03:27.669 --> 00:03:29.779
它几乎是一个随机数生成器。

NOTE Paragraph

00:03:29.779 --> 00:03:32.659
（掌声）

NOTE Paragraph

00:03:32.659 --> 00:03:33.405
但它确实被使用了。

00:03:33.405 --> 00:03:34.669
这是莎拉·维索斯基。

00:03:34.669 --> 00:03:37.224
她连同另外205名教师被解雇了，

00:03:37.224 --> 00:03:40.020
都是来自华盛顿特区的学区，

00:03:40.020 --> 00:03:42.937
尽管她的校长还有学生的

00:03:42.937 --> 00:03:44.375
父母都非常推荐她。

NOTE Paragraph

00:03:45.390 --> 00:03:46.972
我知道你们很多人在想什么，

00:03:46.972 --> 00:03:49.573
尤其是这里的数据科学家，
人工智能专家。

00:03:49.573 --> 00:03:54.183
你在想，“我可永远不会做出
这样前后矛盾的算法。”

00:03:54.853 --> 00:03:56.420
但是算法可能会出错，

00:03:56.420 --> 00:04:01.158
即使有良好的意图，
也会产生毁灭性的影响。

00:04:02.531 --> 00:04:04.920
每个人都能看到一架设计的

00:04:04.920 --> 00:04:06.949
很糟糕的飞机会坠毁在地，

00:04:06.949 --> 00:04:08.809
而一个设计糟糕的算法

00:04:10.245 --> 00:04:14.110
可以持续很长一段时间，
并无声地造成破坏。

NOTE Paragraph

00:04:15.748 --> 00:04:17.348
这是罗杰·艾尔斯。

NOTE Paragraph

00:04:17.348 --> 00:04:19.342
（笑声）

NOTE Paragraph

00:04:20.524 --> 00:04:22.912
他在1996年创办了福克斯新闻。

00:04:23.436 --> 00:04:25.867
公司有超过20多名女性曾抱怨过性骚扰。

00:04:25.867 --> 00:04:29.276
她们说她们不被允许在
福克斯新闻有所成就。

00:04:29.276 --> 00:04:31.814
他去年被赶下台，但我们最近看到

00:04:31.814 --> 00:04:34.514
问题依然存在。

00:04:35.514 --> 00:04:37.048
这引出了一个问题：

00:04:37.048 --> 00:04:39.962
福克斯新闻应该做些什么改变？

NOTE Paragraph

00:04:41.245 --> 00:04:44.280
如果他们用机器学习算法

00:04:44.280 --> 00:04:45.858
取代传统的招聘流程呢？

00:04:45.858 --> 00:04:47.473
听起来不错，对吧？

00:04:47.473 --> 00:04:48.827
想想看。

00:04:48.827 --> 00:04:51.040
数据，这些数据到底是什么？

00:04:51.040 --> 00:04:56.011
福克斯新闻在过去21年的申请函
是一个合理的选择。

00:04:56.011 --> 00:04:57.523
很合理。

00:04:57.523 --> 00:04:59.495
那么成功的定义呢？

00:04:59.821 --> 00:05:01.255
合理的选择将是，

00:05:01.255 --> 00:05:02.947
谁在福克斯新闻取得了成功？

00:05:02.947 --> 00:05:06.555
我猜的是，比如在那里呆了四年，

00:05:06.555 --> 00:05:08.329
至少得到过一次晋升的人。

00:05:08.816 --> 00:05:10.417
听起来很合理。

00:05:10.417 --> 00:05:12.619
然后这个算法将会被训练。

00:05:12.619 --> 00:05:16.656
它会被训练去向人们
学习是什么造就了成功，

00:05:17.219 --> 00:05:21.537
什么样的申请函在过去拥有

00:05:21.537 --> 00:05:22.855
这种成功的定义。

00:05:24.200 --> 00:05:25.809
现在想想如果我们把它

00:05:25.809 --> 00:05:28.554
应用到目前的申请者中会发生什么。

00:05:29.039 --> 00:05:30.748
它会过滤掉女性，

00:05:31.663 --> 00:05:35.593
因为她们看起来不像
在过去取得成功的人。

NOTE Paragraph

00:05:39.752 --> 00:05:42.119
算法不会让事情变得公平，

00:05:42.119 --> 00:05:44.767
如果你只是轻率地，
盲目地应用算法。

00:05:44.767 --> 00:05:46.247
它们不会让事情变得公平。

00:05:46.247 --> 00:05:48.695
它们只是重复我们过去的做法，

00:05:48.695 --> 00:05:49.672
我们的规律。

00:05:49.672 --> 00:05:51.835
它们使现状自动化。

00:05:52.718 --> 00:05:55.107
如果我们有一个
完美的世界那就太好了，

00:05:55.905 --> 00:05:57.171
但是我们没有。

00:05:57.171 --> 00:06:01.343
我还要补充一点，
大多数公司都没有令人尴尬的诉讼，

00:06:02.446 --> 00:06:05.068
但是这些公司的数据科学家

00:06:05.068 --> 00:06:07.227
被告知要跟随数据，

00:06:07.227 --> 00:06:09.414
关注它的准确性。

00:06:10.273 --> 00:06:11.424
想想这意味着什么。

00:06:11.424 --> 00:06:15.715
因为我们都有偏见，
这意味着他们可以编纂性别歧视

00:06:15.715 --> 00:06:17.565
或者任何其他的偏见。

NOTE Paragraph

00:06:19.488 --> 00:06:20.923
思维实验，

00:06:20.923 --> 00:06:22.442
因为我喜欢它们：

00:06:23.574 --> 00:06:26.549
一个完全隔离的社会——

00:06:28.247 --> 00:06:31.585
种族隔离存在于所有的城镇，
所有的社区，

00:06:31.585 --> 00:06:34.400
我们把警察只送到少数族裔的社区

00:06:34.400 --> 00:06:35.853
去寻找犯罪。

00:06:36.451 --> 00:06:38.670
逮捕数据将会是十分有偏见的。

00:06:39.851 --> 00:06:42.440
除此之外，我们还会寻找数据科学家

00:06:42.440 --> 00:06:46.611
并付钱给他们来预测
下一起犯罪会发生在哪里？

00:06:47.275 --> 00:06:48.762
少数族裔的社区。

00:06:49.285 --> 00:06:52.410
或者预测下一个罪犯会是谁？

00:06:52.888 --> 00:06:54.283
少数族裔。

00:06:55.949 --> 00:06:59.284
这些数据科学家们
会吹嘘他们的模型有多好，

00:06:59.284 --> 00:07:00.841
多精确，

00:07:00.841 --> 00:07:02.134
当然他们是对的。

NOTE Paragraph

00:07:03.951 --> 00:07:08.586
不过现实并没有那么极端，
但我们确实在许多城市里

00:07:08.586 --> 00:07:09.877
有严重的种族隔离，

00:07:09.877 --> 00:07:11.824
并且我们有大量的证据表明

00:07:11.824 --> 00:07:14.506
警察和司法系统的数据存有偏见。

00:07:15.632 --> 00:07:18.471
而且我们确实预测过热点，

00:07:18.471 --> 00:07:20.001
那些犯罪会发生的地方。

00:07:20.401 --> 00:07:24.287
我们确实会预测个人犯罪，

00:07:24.287 --> 00:07:26.061
个人的犯罪行为。

00:07:26.972 --> 00:07:30.595
新闻机构“人民 (ProPublica)”最近调查了，

00:07:30.595 --> 00:07:32.443
其中一个称为

00:07:32.443 --> 00:07:33.420
“累犯风险”的算法。

00:07:33.420 --> 00:07:37.388
并在佛罗里达州的
宣判期间被法官采用。

00:07:38.411 --> 00:07:41.996
伯纳德，左边的那个黑人，
10分中得了满分。

00:07:43.179 --> 00:07:45.160
在右边的迪伦，
10分中得了3分。

00:07:45.160 --> 00:07:47.711
10分代表高风险。
3分代表低风险。

00:07:48.598 --> 00:07:50.903
他们都因为持有毒品
而被带进了监狱。

00:07:50.903 --> 00:07:52.201
他们都有犯罪记录，

00:07:52.201 --> 00:07:54.985
但是迪伦有一个重罪

00:07:54.985 --> 00:07:56.191
但伯纳德没有。

00:07:57.818 --> 00:08:00.804
这很重要，因为你的分数越高，

00:08:00.804 --> 00:08:04.381
你被判长期服刑的可能性就越大。

NOTE Paragraph

00:08:06.294 --> 00:08:07.588
到底发生了什么？

00:08:08.526 --> 00:08:09.858
数据洗钱。

00:08:10.930 --> 00:08:15.367
这是一个技术人员
把丑陋真相隐藏在

00:08:15.367 --> 00:08:17.082
算法黑盒子中的过程，

00:08:17.082 --> 00:08:18.516
并称之为客观；

00:08:19.320 --> 00:08:20.888
称之为精英模式。

00:08:23.118 --> 00:08:25.383
当它们是秘密的，
重要的并具有破坏性的，

00:08:25.383 --> 00:08:28.034
我为这些算法创造了一个术语：

00:08:28.038 --> 00:08:30.087
“杀伤性数学武器”。

NOTE Paragraph

00:08:30.087 --> 00:08:31.655
（笑声）

NOTE Paragraph

00:08:31.655 --> 00:08:34.723
（鼓掌）

NOTE Paragraph

00:08:34.723 --> 00:08:37.081
它们无处不在，也不是一个错误。

00:08:37.695 --> 00:08:41.342
这些是私有公司为了私人目的

00:08:41.342 --> 00:08:42.834
建立的私有算法。

00:08:43.214 --> 00:08:46.458
甚至是我谈到的老师
与公共警察使用的（算法），

00:08:46.458 --> 00:08:48.341
也都是由私人公司所打造的，

00:08:48.341 --> 00:08:50.646
然后卖给政府机构。

00:08:50.646 --> 00:08:52.227
他们称之为“秘密配方（来源）”——

00:08:52.227 --> 00:08:54.665
这就是他们不能告诉我们的原因。

00:08:54.665 --> 00:08:56.869
这也是私人权力。

00:08:57.924 --> 00:09:02.619
他们利用神秘莫测的权威来获利。

00:09:05.114 --> 00:09:07.858
你可能会想，既然所有这些都是私有的

00:09:07.858 --> 00:09:08.970
而且会有竞争，

00:09:08.970 --> 00:09:11.500
也许自由市场会解决这个问题。

00:09:11.500 --> 00:09:12.623
然而并不会。

00:09:12.623 --> 00:09:15.977
在不公平的情况下，
有很多钱可以赚。

NOTE Paragraph

00:09:17.127 --> 00:09:20.496
而且，我们不是经济理性的代理人。

00:09:21.031 --> 00:09:22.323
我们都是有偏见的。

00:09:22.960 --> 00:09:26.307
我们都是固执的种族主义者，
虽然我们希望我们不是，

00:09:26.307 --> 00:09:28.380
虽然我们甚至没有意识到。

00:09:29.352 --> 00:09:32.443
总的来说，我们知道这一点，

00:09:32.443 --> 00:09:35.487
因为社会学家会一直通过这些实验

00:09:35.487 --> 00:09:37.130
来证明这一点，

00:09:37.130 --> 00:09:39.962
他们发送了大量的工作申请，

00:09:39.962 --> 00:09:42.503
都是有同样资格的候选人，
有些用白人人名，

00:09:42.503 --> 00:09:44.213
有些用黑人人名，

00:09:44.213 --> 00:09:46.931
然而结果总是令人失望的。

NOTE Paragraph

00:09:47.510 --> 00:09:49.151
所以我们是有偏见的，

00:09:49.151 --> 00:09:52.764
我们还通过选择收集到的数据

00:09:52.764 --> 00:09:54.600
来把偏见注入到算法中，

00:09:54.600 --> 00:09:57.267
就像我不选择去想拉面一样——

00:09:57.267 --> 00:09:58.990
我自认为这无关紧要。

00:09:58.990 --> 00:10:04.744
但是，通过信任那些
在过去的实践中获得的数据

00:10:04.744 --> 00:10:06.762
以及通过选择成功的定义，

00:10:06.762 --> 00:10:10.733
我们怎么能指望算法
会是毫无瑕疵的呢？

00:10:10.733 --> 00:10:13.119
我们不能。我们必须检查。

00:10:14.165 --> 00:10:15.794
我们必须检查它们是否公平。

NOTE Paragraph

00:10:15.794 --> 00:10:18.593
好消息是，我们可以做到这一点。

00:10:18.593 --> 00:10:21.959
算法是可以被审问的，


00:10:21.959 --> 00:10:24.073
而且每次都能告诉我们真相。

00:10:24.073 --> 00:10:26.580
然后我们可以修复它们。
我们可以让他们变得更好。

00:10:26.580 --> 00:10:28.979
我把它叫做算法审计，

00:10:28.979 --> 00:10:30.692
接下来我会为你们解释。

NOTE Paragraph

00:10:30.692 --> 00:10:32.882
首先，数据的完整性检查。

00:10:34.132 --> 00:10:36.789
对于刚才提到过的累犯风险算法，

00:10:37.582 --> 00:10:41.185
数据的完整性检查将意味着
我们不得不接受这个事实，

00:10:41.185 --> 00:10:44.679
在美国，白人和黑人
吸毒的比例是一样的，

00:10:44.679 --> 00:10:47.244
但是黑人更有可能被逮捕——

00:10:47.244 --> 00:10:50.422
取决于区域，可能性是白人的4到5倍。

00:10:51.317 --> 00:10:54.173
这种偏见在其他犯罪类别中
是什么样子的，

00:10:54.173 --> 00:10:55.618
我们又该如何解释呢？

NOTE Paragraph

00:10:56.162 --> 00:10:59.195
其次，我们应该考虑成功的定义，

00:10:59.195 --> 00:11:00.610
审计它。

00:11:00.610 --> 00:11:03.192
还记得我们谈论的雇佣算法吗？

00:11:03.192 --> 00:11:06.595
那个呆了四年的人，
然后被提升了一次？

00:11:06.595 --> 00:11:07.884
这的确是一个成功的员工，

00:11:07.884 --> 00:11:11.467
但这也是一名受到公司文化支持的员工。

00:11:12.089 --> 00:11:13.755
也就是说，
这可能会有很大的偏差。

00:11:13.755 --> 00:11:15.928
我们需要把这两件事分开。

00:11:15.928 --> 00:11:18.548
我们应该去看一下乐团盲选试奏，

00:11:18.548 --> 00:11:19.494
举个例子。

00:11:19.494 --> 00:11:22.554
这就是人们在幕后选拔乐手的地方。

00:11:22.946 --> 00:11:24.377
我想要考虑的是

00:11:24.377 --> 00:11:28.342
倾听的人已经
决定了什么是重要的，

00:11:28.342 --> 00:11:30.141
同时他们已经决定了
什么是不重要的，

00:11:30.141 --> 00:11:32.454
他们也不会因此而分心。

00:11:32.961 --> 00:11:35.730
当乐团盲选开始时，

00:11:35.730 --> 00:11:39.178
在管弦乐队中，
女性的数量上升了5倍。

NOTE Paragraph

00:11:40.253 --> 00:11:42.268
其次，我们必须考虑准确性。

00:11:43.233 --> 00:11:46.967
这就是针对教师的增值模型
立刻失效的地方。

00:11:47.578 --> 00:11:49.740
当然，没有一个算法是完美的，

00:11:50.620 --> 00:11:54.225
所以我们要考虑每一个算法的误差。

00:11:54.836 --> 00:11:59.195
出现错误的频率有多高，
让这个模型失败的对象是谁？

00:11:59.850 --> 00:12:01.568
失败的代价是什么？

NOTE Paragraph

00:12:02.434 --> 00:12:04.641
最后，我们必须考虑

00:12:05.973 --> 00:12:08.159
这个算法的长期效果，

00:12:08.866 --> 00:12:11.073
与正在产生的反馈循环。

00:12:11.586 --> 00:12:12.826
这听起来很抽象，

00:12:12.826 --> 00:12:15.510
但是想象一下
如果脸书的工程师们之前考虑过，

00:12:16.270 --> 00:12:21.125
并决定只向我们展示
我们朋友所发布的东西。

NOTE Paragraph

00:12:21.761 --> 00:12:24.995
我还有两条建议，
一条是给数据科学家的。

00:12:25.450 --> 00:12:28.859
数据科学家们：我们不应该
成为真相的仲裁者。

00:12:29.520 --> 00:12:33.313
我们应该成为大社会中
所发生的道德讨论的

00:12:33.313 --> 00:12:34.621
翻译者。

NOTE Paragraph

00:12:35.579 --> 00:12:37.752
（掌声）

NOTE Paragraph

00:12:37.752 --> 00:12:39.292
然后剩下的人，

00:12:40.011 --> 00:12:41.191
非数据科学家们：

00:12:41.191 --> 00:12:42.929
这不是一个数学测试。

00:12:43.632 --> 00:12:44.980
这是一场政治斗争。

00:12:46.587 --> 00:12:50.494
我们应该要求我们的
算法霸主承担问责。

NOTE Paragraph

00:12:52.118 --> 00:12:53.647
（掌声）

NOTE Paragraph

00:12:53.647 --> 00:12:57.886
盲目信仰大数据的时代必须结束。

NOTE Paragraph

00:12:57.886 --> 00:12:59.077
非常感谢。

NOTE Paragraph

00:12:59.077 --> 00:13:04.384
（掌声）