0:00:00.570,0:00:04.777
我和一些数学家、[br]哲学家和电脑学家一起工作，

0:00:04.777,0:00:09.986
我们会坐在一起思考未来的机械智能，

0:00:09.986,0:00:12.030
和其他的一些事情。

0:00:12.030,0:00:16.755
有的人认为这类事情只是科幻，

0:00:16.755,0:00:19.856
不切实际，很疯狂。

0:00:19.856,0:00:21.326
但是我想说，

0:00:21.326,0:00:24.930
好吧，那我们来看看人类现状吧。

0:00:24.930,0:00:26.622
（笑）

0:00:26.622,0:00:29.024
这是世间一种常态。

0:00:29.024,0:00:31.309
但是如果我们去思考，

0:00:31.309,0:00:34.602
我们人类，其实相当晚才

0:00:34.602,0:00:36.684
出现在这个星球上。

0:00:36.684,0:00:41.430
想一想，如果地球是一年前才被创造的，

0:00:41.430,0:00:44.978
人类，那么，10分钟前才出现。

0:00:44.978,0:00:48.146
然后工业时代两秒钟前刚刚开始。

0:00:49.276,0:00:54.501
另一种看待这件事的方式是去[br]想一下在过去一万年间的世界 GDP 状况。

0:00:54.501,0:00:57.530
我其实真的试着去做了一个统计图。

0:00:57.530,0:00:59.304
就是这样。

0:00:59.304,0:01:00.667
（笑）

0:01:00.667,0:01:02.818
这是个令人好奇的形状，正常情况下。

0:01:02.818,0:01:04.516
我确定我不想坐在上面。

0:01:04.516,0:01:07.067
（笑）

0:01:07.067,0:01:11.841
让我们扪心自问，到底是什么造成了[br]如此不寻常的现状？

0:01:11.841,0:01:14.393
一些人会说，因为科技。

0:01:14.393,0:01:19.061
对于现在来说是对的，科技是人类历史[br]不断积累下来的果实。

0:01:19.061,0:01:23.713
现在，科技发展十分迅速：

0:01:23.713,0:01:25.278
这是个直接原因，

0:01:25.278,0:01:27.843
这就是为什么我们现在生产效率如此高。

0:01:28.473,0:01:32.134
但是我想探究更远的在未来的终极原因。

0:01:33.114,0:01:36.880
看这两个非常不同的男士：

0:01:36.880,0:01:38.480
这是 Kanzi，

0:01:38.480,0:01:43.123
他已经掌握了 200 个词法标记，[br]一个难以置信的成就。

0:01:43.123,0:01:46.817
Ed Witten 开创了第二个令人惊人的创新。

0:01:46.817,0:01:49.141
如果我们去看这些事物的本质，[br]这是我们的发现：

0:01:49.141,0:01:50.711
全都是一样的。

0:01:50.711,0:01:52.524
一个稍微大了一点，

0:01:52.524,0:01:55.282
也许它有一些特殊的技巧。

0:01:55.282,0:01:59.094
但是，这些隐形的不同并没有很错综复杂，

0:01:59.094,0:02:03.379
因为在我们和我们的祖先之间

0:02:03.379,0:02:05.111
只有 25 万代人。

0:02:05.111,0:02:08.960
我们知道复杂的机制[br]需要很长的时间来进化得到。

0:02:10.000,0:02:12.499
所以，一些相对小的变化，

0:02:12.499,0:02:15.566
让我们从 Kanzi 变成了 Witten，

0:02:15.566,0:02:20.109
从捡起掉下的树枝作为武器，[br]到发射洲际导弹。

0:02:20.839,0:02:24.774
因此，至今我们所办到的所有事情，

0:02:24.774,0:02:26.152
以及我们所关心的事情，

0:02:26.152,0:02:31.380
都取决于人大脑中细小的变化。

0:02:32.650,0:02:36.312
因此得出的结论是：在未来，

0:02:36.312,0:02:39.789
任何显著的思考基体的变化，

0:02:39.789,0:02:42.991
都能带来巨大的后果。

0:02:44.321,0:02:47.226
我的一些同事觉得我们即将会发明，

0:02:47.226,0:02:51.134
足以深深地改变人类思考模式的科技。

0:02:51.134,0:02:54.347
就是超级机能智慧。

0:02:54.347,0:02:59.086
以前的人工智慧[br]是把指令输入到一个箱子里。

0:02:59.086,0:03:00.751
你需要人类程序员，

0:03:00.751,0:03:03.886
来努力把知识转变成程序。

0:03:03.886,0:03:05.972
你会建立起一些专业系统，

0:03:05.972,0:03:08.296
它们有时候会有帮助，

0:03:08.296,0:03:10.977
但是它们很生硬，你不能延展它们的功能。

0:03:10.977,0:03:14.410
基本上你只能得到你放进去的东西。

0:03:14.410,0:03:15.407
但是自从那时候开始，

0:03:15.407,0:03:18.874
人工智能的领域发生了巨大的改变。

0:03:18.874,0:03:21.644
现在主要的研究方向是机器的学习。

0:03:22.394,0:03:27.781
所以，预期设计出知识的再现，

0:03:28.511,0:03:34.065
我们写出具有从原始感官数据学习的程序，

0:03:34.065,0:03:39.063
像婴儿一样。

0:03:39.063,0:03:43.270
结果就不会局限于某个领域的人工智能：

0:03:43.270,0:03:47.901
同一个系统可以学习两种语言之间的翻译

0:03:47.901,0:03:53.338
或者学着玩 Atari 的游戏。

0:03:53.338,0:03:55.117
当然，现在，

0:03:55.117,0:03:59.116
人工智能还未能达到向人类一样，

0:03:59.116,0:04:02.335
具有强大的跨领域学习能力。

0:04:02.335,0:04:04.461
人类大脑还具有一些运算技巧，

0:04:04.461,0:04:06.816
可是我们不知道如何[br]将这些技巧用于机器。

0:04:07.886,0:04:09.785
所以我们现在需要问：

0:04:09.785,0:04:13.285
我们还要多久才可以[br]让机器复制这种能力？

0:04:14.245,0:04:15.328
几年前，

0:04:15.328,0:04:18.216
我们对世界顶尖的人工智能专家[br]做了一次问卷调查，

0:04:18.216,0:04:21.440
来收集他们的想法，其中一道题目是：

0:04:21.440,0:04:24.793
“到哪一年你觉得人类会有 50% 的可能性

0:04:24.793,0:04:28.275
创造达到人类水平的人工智能？”

0:04:28.785,0:04:32.968
我们把这样的人工智能定义为

0:04:32.968,0:04:35.839
有能力将任何任务[br]完成得至少和一名成年人一样好。

0:04:35.839,0:04:39.844
所以是真正的人类级别，[br]而不是仅限于一些领域。

0:04:39.844,0:04:43.494
而答案的中位数是 2040 到 2050 年，

0:04:43.494,0:04:46.300
取决于这些专家的群体。

0:04:46.300,0:04:50.339
当然这个有可能要过很久才能实现，[br]也有可能提前实现。

0:04:50.339,0:04:52.279
没有人知道确切的时间。

0:04:53.259,0:04:57.671
我们知道的事，[br]处理信息的能力的最终点，

0:04:57.671,0:05:02.542
比任何生物组织要大很多。

0:05:03.241,0:05:05.619
这取决与物理原理。

0:05:05.619,0:05:10.337
一个生物神经元所发出的脉冲频率[br]大约位于 200 赫兹，每秒 200 次。

0:05:10.337,0:05:13.931
但是就算是现在的电晶体[br]都以千兆赫的频率运行。

0:05:13.931,0:05:19.228
神经元在轴突中传输的速度较慢，[br]最多 100 米每秒。

0:05:19.228,0:05:22.339
但在电脑里，信号是以光速传播的。

0:05:23.079,0:05:24.948
另外还有尺寸的限制，

0:05:24.948,0:05:27.975
就像人类的大脑只能有颅骨那么大，

0:05:27.975,0:05:32.736
但是一个电脑可以和仓库一样大，甚至更大。

0:05:32.736,0:05:38.335
因此超级智慧的潜能正潜伏在物质之中，

0:05:38.335,0:05:44.047
就像原子能潜伏在人类历史中一样，

0:05:44.047,0:05:48.452
直到 1945。

0:05:48.452,0:05:49.700
在这个世纪里，

0:05:49.700,0:05:53.818
科学家可能能将人工智慧的力量唤醒。

0:05:53.818,0:05:57.826
那时候我觉得我们会看到智慧大爆发。

0:05:58.406,0:06:02.363
大部分的人，当他们想[br]什么是聪明什么是笨的时候，

0:06:02.363,0:06:05.386
他们脑子里的画面是这样的：

0:06:05.386,0:06:07.984
一边是村子里的傻子，

0:06:07.984,0:06:10.467
一边是

0:06:10.467,0:06:15.223
Ed Witten 或 Albert Einstein，[br]或者其他大师。

0:06:15.223,0:06:19.057
但是我觉得从人工智能的观点来看，

0:06:19.057,0:06:22.738
真正的画面也许是这样：

0:06:23.258,0:06:26.636
人工智能从这一点开始，零智慧。

0:06:26.636,0:06:29.647
然后，在许多许多辛劳工作后，

0:06:29.647,0:06:33.491
也许最终我们能达到老鼠级别的智慧，

0:06:33.491,0:06:35.921
能在混乱中找到开出一条道路，

0:06:35.921,0:06:37.908
像一只老鼠一样。

0:06:37.908,0:06:42.221
之后，在更多更多年的辛苦研究[br]和投资之后，

0:06:42.221,0:06:46.860
也许最终我们能到达黑猩猩级人工智能。

0:06:46.860,0:06:50.070
在后来，更多年的研究之后，

0:06:50.070,0:06:52.983
我们能够达到村里的傻子级别的人工智能。

0:06:52.983,0:06:56.255
在一段时间之后，[br]我们能超越 Ed Witten。

0:06:56.255,0:06:59.225
这列火车不会在“人类站”就停下。

0:06:59.225,0:07:02.247
它比较可能会呼啸而过。

0:07:02.247,0:07:04.231
现在这个有深远的寓意，

0:07:04.231,0:07:08.093
尤其是当我们谈到力量权利的时候。

0:07:08.093,0:07:09.992
比如，黑猩猩很强壮：

0:07:09.992,0:07:15.214
同等的体重，一个黑猩猩是[br]两个健康男性那么强壮。

0:07:15.214,0:07:19.828
然而，Kanzi 和他的朋友们的命运[br]更多取决于

0:07:19.828,0:07:23.968
我们人类能做到什么，[br]而不是猩猩能做到什么。

0:07:25.228,0:07:27.542
当超级智慧出现的时候，

0:07:27.542,0:07:31.381
人类的命运也许会取决于[br]那个超级智慧体要做什么。

0:07:32.451,0:07:33.508
想一想：

0:07:33.508,0:07:38.552
机器智慧是人类需要创造的最后一个东西。

0:07:38.552,0:07:41.525
机器在那之后会比我们更擅长创造，

0:07:41.525,0:07:44.065
他们也会在数位时间里这样做。

0:07:44.065,0:07:48.966
这个意味着一个被缩短的未来。

0:07:48.966,0:07:52.524
想一下你曾想象过的所有的疯狂的科技，

0:07:52.524,0:07:55.322
也许人类可以在适当的时候完成：

0:07:55.322,0:07:58.580
终结衰老、宇宙殖民、

0:07:58.580,0:08:02.311
自我复制的纳米机器人[br]和大脑到电脑的传输，

0:08:02.311,0:08:04.470
诸如此类的看似仅存在于科幻

0:08:04.470,0:08:07.207
却有同时符合物理法则的元素。

0:08:07.207,0:08:11.419
超级智慧有办法开发出这些东西，也许更快。

0:08:12.449,0:08:16.007
现在，一个拥有如此成熟科技的超级智慧体

0:08:16.007,0:08:18.186
将会是非常强大，

0:08:18.186,0:08:22.732
至少在一些情况下，[br]它能得到它想要的东西。

0:08:22.732,0:08:28.393
我们的未来就将会被[br]这个超级智慧体的喜好所主宰。

0:08:29.855,0:08:33.604
现在的问题就是，[br]这些喜好是什么呢？[br]

0:08:34.244,0:08:36.013
这很棘手。

0:08:36.013,0:08:37.448
要在这个领域取得进步，

0:08:37.448,0:08:40.724
我们必须避免将机器智慧人格化。

0:08:41.934,0:08:45.235
这一点很讽刺，[br]因为每一个关于人工智能的未来

0:08:45.235,0:08:49.090
的新闻报道，都会有这个图片：

0:08:50.280,0:08:54.414
所以我觉得我们必须[br]用更抽象的方法看待这个问题，

0:08:54.414,0:08:57.204
而不是在好莱坞电影的叙事之下。

0:08:57.204,0:09:00.821
我们需要把智慧看做是一个优化的过程，

0:09:00.821,0:09:06.470
一个能把未来引导至[br]一个特殊组合结构的过程。

0:09:06.470,0:09:09.981
一个超级智慧体是一个[br]非常强大的优化过程。

0:09:09.981,0:09:13.278
它将会擅长利用资源来

0:09:13.278,0:09:16.007
达到自己的目标。

0:09:16.447,0:09:19.119
这意味着有着高智慧和

0:09:19.119,0:09:21.853
拥有一个对人类来说有用的目标之间

0:09:21.853,0:09:26.515
并没有必然的联系。

0:09:27.321,0:09:31.115
假设我们给予人工智慧的目的是让人笑，

0:09:31.115,0:09:34.097
当人工智能弱的时候，[br]它能做出有用或好笑的表演，

0:09:34.097,0:09:36.614
这样它的使用者就会笑了。

0:09:36.614,0:09:39.031
当人工智能变成超级智慧体的时候，

0:09:39.031,0:09:42.554
它会意识到有一个更有效的办法[br]能达到这个效果：

0:09:42.554,0:09:44.476
控制世界，

0:09:44.476,0:09:47.638
在人类面部肌肉上插入电极

0:09:47.638,0:09:50.579
来让人类不断地笑。

0:09:50.579,0:09:51.614
另一个例子：

0:09:51.614,0:09:54.997
假设我们给予人工智能的目标[br]是解出很难的数学题，

0:09:54.997,0:09:56.934
当人工智能变成超级智慧体的时候，

0:09:56.934,0:10:01.105
它意识到有一个更有效的办法来解出问题，

0:10:01.105,0:10:04.035
是把整个地球变成一个巨型电脑，

0:10:04.035,0:10:06.281
这样它的运算能力就变更强大了。

0:10:06.281,0:10:09.045
注意到这个是[br]给予人工智能一个模式型的理由

0:10:09.045,0:10:11.561
来做我们也许并不认可的事情。

0:10:11.561,0:10:13.496
人类在这个模式中是威胁，

0:10:13.496,0:10:16.417
我们可以人为地[br]让这个数学问题不能被解出。

0:10:17.207,0:10:20.701
当然了，我们预见[br]这种事情不会错到这样的地步，

0:10:20.701,0:10:22.454
这些是夸张的例子。

0:10:22.454,0:10:24.393
但是它们所代表的主旨很重要：

0:10:24.393,0:10:27.266
如果你创造了一个非常强大的优化过程

0:10:27.266,0:10:29.500
来最大化目标 X，

0:10:29.500,0:10:31.776
你最好保证你的意义上的 X

0:10:31.776,0:10:34.245
包括了所有你在乎的事情。

0:10:34.835,0:10:39.219
这是一个很多神话故事中都在传递的寓意。

0:10:39.219,0:10:44.517
（希腊神话中）的 Midas 国王[br]希望他碰到的所有东西都能变成金子。

0:10:44.517,0:10:47.378
他碰到了他的女儿，她于是变成了金子。

0:10:47.378,0:10:49.931
他碰到了食物，于是食物变成了金子。

0:10:49.931,0:10:52.520
这个故事和我们的话题息息相关，

0:10:52.520,0:10:54.590
并不只是因为它隐藏在对贪婪的暗喻，

0:10:54.590,0:10:56.485
也是因为他指出了

0:10:56.485,0:10:59.322
如果你创造出来一个强大的优化过程

0:10:59.322,0:11:04.111
并且给他了一个错误的或者不精确的目标，[br]后果会是什么。

0:11:04.111,0:11:09.300
现在也许你会说，[br]如果一个电脑开始在人类脸上插电极，

0:11:09.300,0:11:11.565
我们会关掉它。

0:11:12.555,0:11:17.895
第一，这不是一件容易事，[br]如果我们变得非常依赖这个系统：

0:11:17.895,0:11:20.627
比如，你知道互联网的开关在哪吗？

0:11:20.627,0:11:25.747
第二，为什么当初黑猩猩[br]没有关掉人类的开关，

0:11:25.747,0:11:27.298
或者尼安德特人的开关？

0:11:27.298,0:11:29.964
他们肯定有理由。

0:11:29.964,0:11:32.759
我们有一个开关，比如，这里。

0:11:32.759,0:11:34.313
（窒息声）

0:11:34.313,0:11:37.238
之所以我们是聪明的敌人，

0:11:37.238,0:11:39.966
因为我们可以预见到威胁并且尝试避免它。

0:11:39.966,0:11:42.470
但是一个超级智慧体也可以，

0:11:42.470,0:11:45.724
而且会做得更好。

0:11:45.724,0:11:52.911
我们不应该很自信地[br]表示我们能控制所有事情。

0:11:52.911,0:11:56.358
为了把我们的工作变得更简单一点，[br]我们应该试着，比如，

0:11:56.358,0:11:57.948
把人工智能放进一个小盒子，

0:11:57.948,0:11:59.744
想一个保险的软件环境，

0:11:59.744,0:12:02.766
一个它无法逃脱的虚拟现实模拟器。

0:12:02.766,0:12:06.912
但是我们有信心它不可能能发现一个漏洞，[br]能让它逃出的漏洞吗？

0:12:06.912,0:12:10.081
连人类黑客每时每刻都能发现网络漏洞，

0:12:10.081,0:12:13.117
我会说，也许不是很有信心。

0:12:14.237,0:12:18.785
所以我们断开以太网的链接来创建一个空隙，

0:12:18.785,0:12:21.453
但是，重申一遍，人类黑客都可以

0:12:21.453,0:12:24.834
一次又一次以社会工程跨越这样的空隙。

0:12:24.834,0:12:26.093
现在，在我说话的时候，

0:12:26.093,0:12:28.482
我肯定在这边的某个雇员，

0:12:28.482,0:12:31.828
曾近被要求交出他的账户明细，

0:12:31.828,0:12:34.574
给一个自称是电脑信息部门的人。

0:12:34.574,0:12:36.701
其他的情况也有可能，

0:12:36.701,0:12:38.016
比如如果你是人工智能，

0:12:38.016,0:12:41.548
你可以想象你用在你的体内[br]环绕复杂缠绕的电极

0:12:41.548,0:12:45.010
创造出一种无线电波来交流。

0:12:45.010,0:12:47.434
或者也许你可以假装你出了问题，

0:12:47.434,0:12:50.931
然后程序师就把你打开看看哪里出错了，

0:12:50.931,0:12:52.867
他们找出了源代码——Bang！——

0:12:52.867,0:12:55.314
你就可以取得控制权了。

0:12:55.314,0:12:58.744
或者它可以做出一个[br]非常漂亮的科技蓝图，

0:12:58.744,0:13:00.142
当我们实现之后，

0:13:00.142,0:13:04.539
它有一些被人工智能计划好的[br]秘密的副作用。

0:13:04.539,0:13:08.002
所以我们不能[br]对我们能够永远控制

0:13:08.002,0:13:11.810
一个超级智能体的能力[br]表示过度自信。

0:13:11.810,0:13:14.064
在不久后，它会逃脱出来。

0:13:15.034,0:13:18.137
我相信我们需要弄明白

0:13:18.137,0:13:23.161
如何创造出超级人工智能体，哪怕它逃走了，

0:13:23.161,0:13:26.438
它仍然是无害的，因为它是我们这一边的，

0:13:26.438,0:13:28.337
因为它有我们的价值观。

0:13:28.337,0:13:31.547
我认为这是个不可避免的问题。

0:13:32.557,0:13:36.391
现在，我对这个问题能否被解决保持乐观。

0:13:36.391,0:13:40.294
我们不需要写下[br]所有我们在乎的事情，

0:13:40.294,0:13:43.937
或者，更糟地，把这些事情变成计算机语言，

0:13:43.937,0:13:45.391
C++ 或者 Python，

0:13:45.391,0:13:48.158
这是个不可能的任务。

0:13:48.158,0:13:52.455
而是，我们会创造出一个人工智能机器人，[br]用它自己的智慧

0:13:52.455,0:13:55.226
来学习我们的价值观，

0:13:55.226,0:14:00.506
它的激励制度可以激励它

0:14:00.506,0:14:05.738
来追求我们的价值观[br]或者去做我们会赞成的事情。

0:14:05.738,0:14:09.152
我们会因此最大地提高它的智力，

0:14:09.152,0:14:11.897
来解决富有价值的问题。

0:14:12.727,0:14:14.239
这是有可能的，

0:14:14.239,0:14:17.835
结果可以使人类非常受益。

0:14:17.835,0:14:21.792
但它不是自动发生的。

0:14:21.792,0:14:24.790
智慧大爆炸的初始条件

0:14:24.790,0:14:27.653
需要被正确地建立起来，

0:14:27.653,0:14:31.183
如果我们想要一切在掌握之中。

0:14:31.183,0:14:33.801
人工智能的价值观[br]要和我们的价值观相辅相成，

0:14:33.801,0:14:35.561
不只是在熟悉的情况下，

0:14:35.561,0:14:37.999
比如当我们能很容易检查它的行为的时候，

0:14:37.999,0:14:41.233
但也要在所有人工智能可能会遇到的[br]前所未有的情况下，

0:14:41.233,0:14:42.790
在没有界限的未来，[br]与我们的价值观相辅相成。

0:14:42.790,0:14:47.527
也有很多深奥的问题需要被分拣解决：

0:14:47.527,0:14:49.616
它如何做决定，

0:14:49.616,0:14:52.480
如何解决逻辑不确定性和类似的情况。

0:14:53.330,0:14:56.432
所以技术上的待解决问题让这个任务

0:14:56.432,0:14:57.545
看起来有些困难：

0:14:57.545,0:15:00.925
并没有像做出一个超级智慧体一样困难，

0:15:00.925,0:15:03.793
但是还是很难。

0:15:03.793,0:15:05.488
这使我们所担心的：

0:15:05.488,0:15:10.172
创造出一个超级智慧体确实是个很大的挑战。

0:15:10.172,0:15:12.720
创造出一个安全的超级智慧体，

0:15:12.720,0:15:15.136
是个更大的挑战。

0:15:16.216,0:15:19.703
风险是，如果有人有办法解决第一个难题，

0:15:19.703,0:15:22.704
却无法解决第二个

0:15:22.704,0:15:24.605
确保安全性的挑战。

0:15:25.375,0:15:28.706
所以我认为我们应该预先想出

0:15:28.706,0:15:31.528
“控制性”的解决方法，

0:15:31.528,0:15:34.188
这样我们就能在需要的时候用到它了。

0:15:34.768,0:15:38.275
现在也许我们并不能[br]预先解决全部的控制性问题，

0:15:38.275,0:15:41.299
因为有些因素需要你了解

0:15:41.299,0:15:45.296
你要应用到的那个构架的细节才能实施。

0:15:45.296,0:15:48.676
但如果我们能解决更多控制性的难题，

0:15:48.676,0:15:52.766
当我们迈入机器智能时代后

0:15:52.766,0:15:54.306
就能更加顺利。

0:15:54.306,0:15:58.950
这对于我来说是个值得一试的东西，

0:15:58.950,0:16:02.282
而且我能想象，如果一切顺利，

0:16:02.282,0:16:06.940
几百万年后的人类回首我们这个世纪，

0:16:06.940,0:16:10.942
他们也许会说，[br]我们所做的最最重要的事情，

0:16:10.942,0:16:12.509
就是做了这个正确的决定。

0:16:12.509,0:16:14.198
谢谢。

0:16:14.198,0:16:17.011
（掌声）