0:00:00.975,0:00:02.571
算法无处不在。

0:00:04.111,0:00:07.236
他们把成功者和失败者区分开来。

0:00:08.019,0:00:10.283
成功者得到工作

0:00:10.283,0:00:12.034
或是一个很好的信用卡优惠计划。

0:00:12.034,0:00:14.725
失败者甚至连面试机会都没有，

0:00:15.590,0:00:17.367
或者要为保险付更多的钱。

0:00:18.197,0:00:21.746
我们被不理解的秘密公式打分，

0:00:22.675,0:00:25.892
却并没有上诉的渠道。

0:00:27.240,0:00:28.550
这引出了一个问题：

0:00:28.550,0:00:31.473
如果算法是错误的怎么办？

0:00:33.100,0:00:34.550
构建一个算法需要两个要素：

0:00:34.550,0:00:37.019
需要数据，如过去发生的事情，

0:00:37.019,0:00:38.434
和成功的定义，

0:00:38.434,0:00:41.195
你正在寻找的，通常希望得到的东西。

0:00:41.195,0:00:46.276
你可以通过观察，理解来训练算法。

0:00:46.276,0:00:49.729
这种算法能找出与成功相关的因素。

0:00:49.729,0:00:52.202
什么情况意味着成功？

0:00:52.881,0:00:54.673
其实，每个人都使用算法。

0:00:54.673,0:00:57.259
他们只是没有把它们写成书面代码。

0:00:57.259,0:00:58.227
举个例子。

0:00:58.227,0:01:02.117
我每天都用一种算法来[br]为我的家人做饭。

0:01:02.121,0:01:03.597
我使用的数据

0:01:04.394,0:01:05.937
就是我厨房里的原料，

0:01:05.937,0:01:07.614
我拥有的时间，

0:01:07.614,0:01:08.741
我的热情，

0:01:08.741,0:01:10.614
然后我整理了这些数据。

0:01:10.614,0:01:14.889
我不把那种小包拉面算作食物。

0:01:14.889,0:01:16.772
（笑声）

0:01:16.772,0:01:18.625
我对成功的定义是：

0:01:18.625,0:01:21.314
如果我的孩子们肯吃蔬菜，[br]这顿饭就是成功的。

0:01:22.181,0:01:24.815
这和我最小的儿子[br]负责做饭时的情况有所不同。

0:01:24.815,0:01:27.847
他说，如果他能吃很多[br]Nutella巧克力榛子酱就是成功。

0:01:29.179,0:01:31.415
但我可以选择成功。

0:01:31.415,0:01:34.036
我负责。我的意见就很重要。

0:01:34.036,0:01:36.829
这就是算法的第一个规则。

0:01:36.829,0:01:40.039
算法是嵌入在代码中的观点。

0:01:41.562,0:01:45.225
这和你认为大多数人对[br]算法的看法是不同的。

0:01:45.225,0:01:49.753
他们认为算法是客观、真实和科学的。

0:01:50.387,0:01:52.086
那是一种营销技巧。

0:01:53.269,0:01:55.414
这也是一种用算法来

0:01:55.414,0:01:58.576
恐吓你的营销手段，

0:01:58.576,0:02:02.247
为了让你信任和恐惧算法

0:02:02.247,0:02:04.299
因为你信任并害怕数学。

0:02:05.567,0:02:10.397
当我们盲目信任大数据时，[br]很多人都可能犯错。

0:02:11.684,0:02:15.067
这是凯丽·索尔斯。[br]她是布鲁克林的一名高中校长。

0:02:15.067,0:02:17.697
2011年，她告诉我，[br]她学校的老师们正在被一个复杂

0:02:17.697,0:02:20.428
并且隐秘的算法进行打分，

0:02:20.428,0:02:21.931
这个算法被称为“增值模型"。

0:02:22.505,0:02:24.851
我告诉她，“先弄清楚这个[br]公式是什么，然后给我看看。

0:02:24.851,0:02:26.862
我来给你解释一下。”

0:02:26.862,0:02:28.811
她说，“我寻求过这个公式，

0:02:28.811,0:02:31.867
但是教育部的负责人告诉我这是数学，

0:02:31.867,0:02:33.693
给我我也看不懂。”

0:02:35.266,0:02:36.624
更糟的还在后面。

0:02:36.624,0:02:40.168
纽约邮报提出了“信息自由法”的要求，

0:02:40.168,0:02:43.155
来得到所有老师的名字与他们的分数，

0:02:43.155,0:02:45.947
并且他们以羞辱教师的方式[br]发表了这些数据。

0:02:47.084,0:02:50.974
当我试图用同样的方法来获取公式，[br]源代码的时候，

0:02:50.974,0:02:53.057
我被告知我没有权力这么做。

0:02:53.057,0:02:54.201
我被拒绝了。

0:02:54.201,0:02:55.419
后来我发现，

0:02:55.419,0:02:58.475
纽约市压根儿没有人能接触到这个公式。

0:02:58.475,0:02:59.794
没有人能看懂。

0:03:01.929,0:03:05.177
然后，一个非常聪明的人参与了，[br]加里·鲁宾斯坦。

0:03:05.177,0:03:08.818
他从纽约邮报的数据中[br]找到了665名教师，

0:03:08.822,0:03:10.682
实际上他们有两个分数。

0:03:10.682,0:03:12.603
如果他们同时教七年级与八年级的数学，

0:03:12.603,0:03:15.050
就会得到两个评分。

0:03:15.050,0:03:16.598
他决定把这些数据绘成图表。

0:03:16.598,0:03:18.635
每个点代表一个教师。

0:03:19.104,0:03:21.513
（笑声）

0:03:21.513,0:03:23.048
那是什么？

0:03:23.052,0:03:24.353
（笑声）

0:03:24.353,0:03:27.669
它永远不应该被用于个人评估。

0:03:27.669,0:03:29.779
它几乎是一个随机数生成器。

0:03:29.779,0:03:32.659
（掌声）

0:03:32.659,0:03:33.405
但它确实被使用了。

0:03:33.405,0:03:34.669
这是莎拉·维索斯基。

0:03:34.669,0:03:37.224
她连同另外205名教师被解雇了，

0:03:37.224,0:03:40.020
都是来自华盛顿特区的学区，

0:03:40.020,0:03:42.937
尽管她的校长还有学生的

0:03:42.937,0:03:44.375
父母都非常推荐她。

0:03:45.390,0:03:46.972
我知道你们很多人在想什么，

0:03:46.972,0:03:49.573
尤其是这里的数据科学家，[br]人工智能专家。

0:03:49.573,0:03:54.183
你在想，“我可永远不会做出[br]这样前后矛盾的算法。”

0:03:54.853,0:03:56.420
但是算法可能会出错，

0:03:56.420,0:04:01.158
即使有良好的意图，[br]也会产生毁灭性的影响。

0:04:02.531,0:04:04.920
每个人都能看到一架设计的

0:04:04.920,0:04:06.949
很糟糕的飞机会坠毁在地，

0:04:06.949,0:04:08.809
而一个设计糟糕的算法

0:04:10.245,0:04:14.110
可以持续很长一段时间，[br]并无声地造成破坏。

0:04:15.748,0:04:17.348
这是罗杰·艾尔斯。

0:04:17.348,0:04:19.342
（笑声）

0:04:20.524,0:04:22.912
他在1996年创办了福克斯新闻。

0:04:23.436,0:04:25.867
公司有超过20多名女性曾抱怨过性骚扰。

0:04:25.867,0:04:29.276
她们说她们不被允许在[br]福克斯新闻有所成就。

0:04:29.276,0:04:31.814
他去年被赶下台，但我们最近看到

0:04:31.814,0:04:34.514
问题依然存在。

0:04:35.514,0:04:37.048
这引出了一个问题：

0:04:37.048,0:04:39.962
福克斯新闻应该做些什么改变？

0:04:41.245,0:04:44.280
如果他们用机器学习算法

0:04:44.280,0:04:45.858
取代传统的招聘流程呢？

0:04:45.858,0:04:47.473
听起来不错，对吧？

0:04:47.473,0:04:48.827
想想看。

0:04:48.827,0:04:51.040
数据，这些数据到底是什么？

0:04:51.040,0:04:56.011
福克斯新闻在过去21年的申请函[br]是一个合理的选择。

0:04:56.011,0:04:57.523
很合理。

0:04:57.523,0:04:59.495
那么成功的定义呢？

0:04:59.821,0:05:01.255
合理的选择将是，

0:05:01.255,0:05:02.947
谁在福克斯新闻取得了成功？

0:05:02.947,0:05:06.555
我猜的是，比如在那里呆了四年，

0:05:06.555,0:05:08.329
至少得到过一次晋升的人。

0:05:08.816,0:05:10.417
听起来很合理。

0:05:10.417,0:05:12.619
然后这个算法将会被训练。

0:05:12.619,0:05:16.656
它会被训练去向人们[br]学习是什么造就了成功，

0:05:17.219,0:05:21.537
什么样的申请函在过去拥有

0:05:21.537,0:05:22.855
这种成功的定义。

0:05:24.200,0:05:25.809
现在想想如果我们把它

0:05:25.809,0:05:28.554
应用到目前的申请者中会发生什么。

0:05:29.039,0:05:30.748
它会过滤掉女性，

0:05:31.663,0:05:35.593
因为她们看起来不像[br]在过去取得成功的人。

0:05:39.752,0:05:42.119
算法不会让事情变得公平，

0:05:42.119,0:05:44.767
如果你只是轻率地，[br]盲目地应用算法。

0:05:44.767,0:05:46.247
它们不会让事情变得公平。

0:05:46.247,0:05:48.695
它们只是重复我们过去的做法，

0:05:48.695,0:05:49.672
我们的规律。

0:05:49.672,0:05:51.835
它们使现状自动化。

0:05:52.718,0:05:55.107
如果我们有一个[br]完美的世界那就太好了，

0:05:55.905,0:05:57.171
但是我们没有。

0:05:57.171,0:06:01.343
我还要补充一点，[br]大多数公司都没有令人尴尬的诉讼，

0:06:02.446,0:06:05.068
但是这些公司的数据科学家

0:06:05.068,0:06:07.227
被告知要跟随数据，

0:06:07.227,0:06:09.414
关注它的准确性。

0:06:10.273,0:06:11.424
想想这意味着什么。

0:06:11.424,0:06:15.715
因为我们都有偏见，[br]这意味着他们可以编纂性别歧视

0:06:15.715,0:06:17.565
或者任何其他的偏见。

0:06:19.488,0:06:20.923
思维实验，

0:06:20.923,0:06:22.442
因为我喜欢它们：

0:06:23.574,0:06:26.549
一个完全隔离的社会——

0:06:28.247,0:06:31.585
种族隔离存在于所有的城镇，[br]所有的社区，

0:06:31.585,0:06:34.400
我们把警察只送到少数族裔的社区

0:06:34.400,0:06:35.853
去寻找犯罪。

0:06:36.451,0:06:38.670
逮捕数据将会是十分有偏见的。

0:06:39.851,0:06:42.440
除此之外，我们还会寻找数据科学家

0:06:42.440,0:06:46.611
并付钱给他们来预测[br]下一起犯罪会发生在哪里？

0:06:47.275,0:06:48.762
少数族裔的社区。

0:06:49.285,0:06:52.410
或者预测下一个罪犯会是谁？

0:06:52.888,0:06:54.283
少数族裔。

0:06:55.949,0:06:59.284
这些数据科学家们[br]会吹嘘他们的模型有多好，

0:06:59.284,0:07:00.841
多精确，

0:07:00.841,0:07:02.134
当然他们是对的。

0:07:03.951,0:07:08.586
不过现实并没有那么极端，[br]但我们确实在许多城市里

0:07:08.586,0:07:09.877
有严重的种族隔离，

0:07:09.877,0:07:11.824
并且我们有大量的证据表明

0:07:11.824,0:07:14.506
警察和司法系统的数据存有偏见。

0:07:15.632,0:07:18.471
而且我们确实预测过热点，

0:07:18.471,0:07:20.001
那些犯罪会发生的地方。

0:07:20.401,0:07:24.287
我们确实会预测个人犯罪，

0:07:24.287,0:07:26.061
个人的犯罪行为。

0:07:26.972,0:07:30.595
新闻机构“人民 (ProPublica)”最近调查了，

0:07:30.595,0:07:32.443
其中一个称为

0:07:32.443,0:07:33.420
“累犯风险”的算法。

0:07:33.420,0:07:37.388
并在佛罗里达州的[br]宣判期间被法官采用。

0:07:38.411,0:07:41.996
伯纳德，左边的那个黑人，[br]10分中得了满分。

0:07:43.179,0:07:45.160
在右边的迪伦，[br]10分中得了3分。

0:07:45.160,0:07:47.711
10分代表高风险。[br]3分代表低风险。

0:07:48.598,0:07:50.903
他们都因为持有毒品[br]而被带进了监狱。

0:07:50.903,0:07:52.201
他们都有犯罪记录，

0:07:52.201,0:07:54.985
但是迪伦有一个重罪

0:07:54.985,0:07:56.191
但伯纳德没有。

0:07:57.818,0:08:00.804
这很重要，因为你的分数越高，

0:08:00.804,0:08:04.381
你被判长期服刑的可能性就越大。

0:08:06.294,0:08:07.588
到底发生了什么？

0:08:08.526,0:08:09.858
数据洗钱。

0:08:10.930,0:08:15.367
这是一个技术人员[br]把丑陋真相隐藏在

0:08:15.367,0:08:17.082
算法黑盒子中的过程，

0:08:17.082,0:08:18.516
并称之为客观；

0:08:19.320,0:08:20.888
称之为精英模式。

0:08:23.118,0:08:25.383
当它们是秘密的，[br]重要的并具有破坏性的，

0:08:25.383,0:08:28.034
我为这些算法创造了一个术语：

0:08:28.038,0:08:30.087
“杀伤性数学武器”。

0:08:30.087,0:08:31.655
（笑声）

0:08:31.655,0:08:34.723
（鼓掌）

0:08:34.723,0:08:37.081
它们无处不在，也不是一个错误。

0:08:37.695,0:08:41.342
这些是私有公司为了私人目的

0:08:41.342,0:08:42.834
建立的私有算法。

0:08:43.214,0:08:46.458
甚至是我谈到的老师[br]与公共警察使用的（算法），

0:08:46.458,0:08:48.341
也都是由私人公司所打造的，

0:08:48.341,0:08:50.646
然后卖给政府机构。

0:08:50.646,0:08:52.227
他们称之为“秘密配方（来源）”——

0:08:52.227,0:08:54.665
这就是他们不能告诉我们的原因。

0:08:54.665,0:08:56.869
这也是私人权力。

0:08:57.924,0:09:02.619
他们利用神秘莫测的权威来获利。

0:09:05.114,0:09:07.858
你可能会想，既然所有这些都是私有的

0:09:07.858,0:09:08.970
而且会有竞争，

0:09:08.970,0:09:11.500
也许自由市场会解决这个问题。

0:09:11.500,0:09:12.623
然而并不会。

0:09:12.623,0:09:15.977
在不公平的情况下，[br]有很多钱可以赚。

0:09:17.127,0:09:20.496
而且，我们不是经济理性的代理人。

0:09:21.031,0:09:22.323
我们都是有偏见的。

0:09:22.960,0:09:26.307
我们都是固执的种族主义者，[br]虽然我们希望我们不是，

0:09:26.307,0:09:28.380
虽然我们甚至没有意识到。

0:09:29.352,0:09:32.443
总的来说，我们知道这一点，

0:09:32.443,0:09:35.487
因为社会学家会一直通过这些实验

0:09:35.487,0:09:37.130
来证明这一点，

0:09:37.130,0:09:39.962
他们发送了大量的工作申请，

0:09:39.962,0:09:42.503
都是有同样资格的候选人，[br]有些用白人人名，

0:09:42.503,0:09:44.213
有些用黑人人名，

0:09:44.213,0:09:46.931
然而结果总是令人失望的。

0:09:47.510,0:09:49.151
所以我们是有偏见的，

0:09:49.151,0:09:52.764
我们还通过选择收集到的数据

0:09:52.764,0:09:54.600
来把偏见注入到算法中，

0:09:54.600,0:09:57.267
就像我不选择去想拉面一样——

0:09:57.267,0:09:58.990
我自认为这无关紧要。

0:09:58.990,0:10:04.744
但是，通过信任那些[br]在过去的实践中获得的数据

0:10:04.744,0:10:06.762
以及通过选择成功的定义，

0:10:06.762,0:10:10.733
我们怎么能指望算法[br]会是毫无瑕疵的呢？

0:10:10.733,0:10:13.119
我们不能。我们必须检查。

0:10:14.165,0:10:15.794
我们必须检查它们是否公平。

0:10:15.794,0:10:18.593
好消息是，我们可以做到这一点。

0:10:18.593,0:10:21.959
算法是可以被审问的，[br]

0:10:21.959,0:10:24.073
而且每次都能告诉我们真相。

0:10:24.073,0:10:26.580
然后我们可以修复它们。[br]我们可以让他们变得更好。

0:10:26.580,0:10:28.979
我把它叫做算法审计，

0:10:28.979,0:10:30.692
接下来我会为你们解释。

0:10:30.692,0:10:32.882
首先，数据的完整性检查。

0:10:34.132,0:10:36.789
对于刚才提到过的累犯风险算法，

0:10:37.582,0:10:41.185
数据的完整性检查将意味着[br]我们不得不接受这个事实，

0:10:41.185,0:10:44.679
在美国，白人和黑人[br]吸毒的比例是一样的，

0:10:44.679,0:10:47.244
但是黑人更有可能被逮捕——

0:10:47.244,0:10:50.422
取决于区域，可能性是白人的4到5倍。

0:10:51.317,0:10:54.173
这种偏见在其他犯罪类别中[br]是什么样子的，

0:10:54.173,0:10:55.618
我们又该如何解释呢？

0:10:56.162,0:10:59.195
其次，我们应该考虑成功的定义，

0:10:59.195,0:11:00.610
审计它。

0:11:00.610,0:11:03.192
还记得我们谈论的雇佣算法吗？

0:11:03.192,0:11:06.595
那个呆了四年的人，[br]然后被提升了一次？

0:11:06.595,0:11:07.884
这的确是一个成功的员工，

0:11:07.884,0:11:11.467
但这也是一名受到公司文化支持的员工。

0:11:12.089,0:11:13.755
也就是说，[br]这可能会有很大的偏差。

0:11:13.755,0:11:15.928
我们需要把这两件事分开。

0:11:15.928,0:11:18.548
我们应该去看一下乐团盲选试奏，

0:11:18.548,0:11:19.494
举个例子。

0:11:19.494,0:11:22.554
这就是人们在幕后选拔乐手的地方。

0:11:22.946,0:11:24.377
我想要考虑的是

0:11:24.377,0:11:28.342
倾听的人已经[br]决定了什么是重要的，

0:11:28.342,0:11:30.141
同时他们已经决定了[br]什么是不重要的，

0:11:30.141,0:11:32.454
他们也不会因此而分心。

0:11:32.961,0:11:35.730
当乐团盲选开始时，

0:11:35.730,0:11:39.178
在管弦乐队中，[br]女性的数量上升了5倍。

0:11:40.253,0:11:42.268
其次，我们必须考虑准确性。

0:11:43.233,0:11:46.967
这就是针对教师的增值模型[br]立刻失效的地方。

0:11:47.578,0:11:49.740
当然，没有一个算法是完美的，

0:11:50.620,0:11:54.225
所以我们要考虑每一个算法的误差。

0:11:54.836,0:11:59.195
出现错误的频率有多高，[br]让这个模型失败的对象是谁？

0:11:59.850,0:12:01.568
失败的代价是什么？

0:12:02.434,0:12:04.641
最后，我们必须考虑

0:12:05.973,0:12:08.159
这个算法的长期效果，

0:12:08.866,0:12:11.073
与正在产生的反馈循环。

0:12:11.586,0:12:12.826
这听起来很抽象，

0:12:12.826,0:12:15.510
但是想象一下[br]如果脸书的工程师们之前考虑过，

0:12:16.270,0:12:21.125
并决定只向我们展示[br]我们朋友所发布的东西。

0:12:21.761,0:12:24.995
我还有两条建议，[br]一条是给数据科学家的。

0:12:25.450,0:12:28.859
数据科学家们：我们不应该[br]成为真相的仲裁者。

0:12:29.520,0:12:33.313
我们应该成为大社会中[br]所发生的道德讨论的

0:12:33.313,0:12:34.621
翻译者。

0:12:35.579,0:12:37.752
（掌声）

0:12:37.752,0:12:39.292
然后剩下的人，

0:12:40.011,0:12:41.191
非数据科学家们：

0:12:41.191,0:12:42.929
这不是一个数学测试。

0:12:43.632,0:12:44.980
这是一场政治斗争。

0:12:46.587,0:12:50.494
我们应该要求我们的[br]算法霸主承担问责。

0:12:52.118,0:12:53.647
（掌声）

0:12:53.647,0:12:57.886
盲目信仰大数据的时代必须结束。

0:12:57.886,0:12:59.077
非常感谢。

0:12:59.077,0:13:04.384
（掌声）