WEBVTT

00:00:00.570 --> 00:00:04.777
我和一些数学家、
哲学家和电脑学家一起工作，

00:00:04.777 --> 00:00:09.986
我们会坐在一起思考未来的机械智能，

00:00:09.986 --> 00:00:12.030
和其他的一些事情。

00:00:12.030 --> 00:00:16.755
有的人认为这类事情只是科幻，

00:00:16.755 --> 00:00:19.856
不切实际，很疯狂。

00:00:19.856 --> 00:00:21.326
但是我想说，

00:00:21.326 --> 00:00:24.930
好吧，那我们来看看人类现状吧。

00:00:24.930 --> 00:00:26.622
（笑）

00:00:26.622 --> 00:00:29.024
这是世间一种常态。

NOTE Paragraph

00:00:29.024 --> 00:00:31.309
但是如果我们去思考，

00:00:31.309 --> 00:00:34.602
我们人类，其实相当晚才

00:00:34.602 --> 00:00:36.684
出现在这个星球上。

00:00:36.684 --> 00:00:41.430
想一想，如果地球是一年前才被创造的，

00:00:41.430 --> 00:00:44.978
人类，那么，10分钟前才出现。

00:00:44.978 --> 00:00:48.146
然后工业时代两秒钟前刚刚开始。

00:00:49.276 --> 00:00:54.501
另一种看待这件事的方式是去
想一下在过去一万年间的世界 GDP 状况。

00:00:54.501 --> 00:00:57.530
我其实真的试着去做了一个统计图。

00:00:57.530 --> 00:00:59.304
就是这样。

00:00:59.304 --> 00:01:00.667
（笑）

00:01:00.667 --> 00:01:02.818
这是个令人好奇的形状，正常情况下。

00:01:02.818 --> 00:01:04.516
我确定我不想坐在上面。

00:01:04.516 --> 00:01:07.067
（笑）

NOTE Paragraph

00:01:07.067 --> 00:01:11.841
让我们扪心自问，到底是什么造成了
如此不寻常的现状？

00:01:11.841 --> 00:01:14.393
一些人会说，因为科技。

00:01:14.393 --> 00:01:19.061
对于现在来说是对的，科技是人类历史
不断积累下来的果实。

00:01:19.061 --> 00:01:23.713
现在，科技发展十分迅速：

00:01:23.713 --> 00:01:25.278
这是个直接原因，

00:01:25.278 --> 00:01:27.843
这就是为什么我们现在生产效率如此高。

00:01:28.473 --> 00:01:32.134
但是我想探究更远的在未来的终极原因。

NOTE Paragraph

00:01:33.114 --> 00:01:36.880
看这两个非常不同的男士：

00:01:36.880 --> 00:01:38.480
这是 Kanzi，

00:01:38.480 --> 00:01:43.123
他已经掌握了 200 个词法标记，
一个难以置信的成就。

00:01:43.123 --> 00:01:46.817
Ed Witten 开创了第二个令人惊人的创新。

00:01:46.817 --> 00:01:49.141
如果我们去看这些事物的本质，
这是我们的发现：

00:01:49.141 --> 00:01:50.711
全都是一样的。

00:01:50.711 --> 00:01:52.524
一个稍微大了一点，

00:01:52.524 --> 00:01:55.282
也许它有一些特殊的技巧。

00:01:55.282 --> 00:01:59.094
但是，这些隐形的不同并没有很错综复杂，

00:01:59.094 --> 00:02:03.379
因为在我们和我们的祖先之间

00:02:03.379 --> 00:02:05.111
只有 25 万代人。

00:02:05.111 --> 00:02:08.960
我们知道复杂的机制
需要很长的时间来进化得到。

00:02:10.000 --> 00:02:12.499
所以，一些相对小的变化，

00:02:12.499 --> 00:02:15.566
让我们从 Kanzi 变成了 Witten，

00:02:15.566 --> 00:02:20.109
从捡起掉下的树枝作为武器，
到发射洲际导弹。

NOTE Paragraph

00:02:20.839 --> 00:02:24.774
因此，至今我们所办到的所有事情，

00:02:24.774 --> 00:02:26.152
以及我们所关心的事情，

00:02:26.152 --> 00:02:31.380
都取决于人大脑中细小的变化。

00:02:32.650 --> 00:02:36.312
因此得出的结论是：在未来，

00:02:36.312 --> 00:02:39.789
任何显著的思考基体的变化，

00:02:39.789 --> 00:02:42.991
都能带来巨大的后果。

NOTE Paragraph

00:02:44.321 --> 00:02:47.226
我的一些同事觉得我们即将会发明，

00:02:47.226 --> 00:02:51.134
足以深深地改变人类思考模式的科技。

00:02:51.134 --> 00:02:54.347
就是超级机能智慧。

00:02:54.347 --> 00:02:59.086
以前的人工智慧
是把指令输入到一个箱子里。

00:02:59.086 --> 00:03:00.751
你需要人类程序员，

00:03:00.751 --> 00:03:03.886
来努力把知识转变成程序。

00:03:03.886 --> 00:03:05.972
你会建立起一些专业系统，

00:03:05.972 --> 00:03:08.296
它们有时候会有帮助，

00:03:08.296 --> 00:03:10.977
但是它们很生硬，你不能延展它们的功能。

00:03:10.977 --> 00:03:14.410
基本上你只能得到你放进去的东西。

00:03:14.410 --> 00:03:15.407
但是自从那时候开始，

00:03:15.407 --> 00:03:18.874
人工智能的领域发生了巨大的改变。

NOTE Paragraph

00:03:18.874 --> 00:03:21.644
现在主要的研究方向是机器的学习。

00:03:22.394 --> 00:03:27.781
所以，预期设计出知识的再现，

00:03:28.511 --> 00:03:34.065
我们写出具有从原始感官数据学习的程序，

00:03:34.065 --> 00:03:39.063
像婴儿一样。

00:03:39.063 --> 00:03:43.270
结果就不会局限于某个领域的人工智能：

00:03:43.270 --> 00:03:47.901
同一个系统可以学习两种语言之间的翻译

00:03:47.901 --> 00:03:53.338
或者学着玩 Atari 的游戏。

00:03:53.338 --> 00:03:55.117
当然，现在，

00:03:55.117 --> 00:03:59.116
人工智能还未能达到向人类一样，

00:03:59.116 --> 00:04:02.335
具有强大的跨领域学习能力。

00:04:02.335 --> 00:04:04.461
人类大脑还具有一些运算技巧，

00:04:04.461 --> 00:04:06.816
可是我们不知道如何
将这些技巧用于机器。

NOTE Paragraph

00:04:07.886 --> 00:04:09.785
所以我们现在需要问：

00:04:09.785 --> 00:04:13.285
我们还要多久才可以
让机器复制这种能力？

00:04:14.245 --> 00:04:15.328
几年前，

00:04:15.328 --> 00:04:18.216
我们对世界顶尖的人工智能专家
做了一次问卷调查，

00:04:18.216 --> 00:04:21.440
来收集他们的想法，其中一道题目是：

00:04:21.440 --> 00:04:24.793
“到哪一年你觉得人类会有 50% 的可能性

00:04:24.793 --> 00:04:28.275
创造达到人类水平的人工智能？”

00:04:28.785 --> 00:04:32.968
我们把这样的人工智能定义为

00:04:32.968 --> 00:04:35.839
有能力将任何任务
完成得至少和一名成年人一样好。

00:04:35.839 --> 00:04:39.844
所以是真正的人类级别，
而不是仅限于一些领域。

00:04:39.844 --> 00:04:43.494
而答案的中位数是 2040 到 2050 年，

00:04:43.494 --> 00:04:46.300
取决于这些专家的群体。

00:04:46.300 --> 00:04:50.339
当然这个有可能要过很久才能实现，
也有可能提前实现。

00:04:50.339 --> 00:04:52.279
没有人知道确切的时间。

NOTE Paragraph

00:04:53.259 --> 00:04:57.671
我们知道的事，
处理信息的能力的最终点，

00:04:57.671 --> 00:05:02.542
比任何生物组织要大很多。

00:05:03.241 --> 00:05:05.619
这取决与物理原理。

00:05:05.619 --> 00:05:10.337
一个生物神经元所发出的脉冲频率
大约位于 200 赫兹，每秒 200 次。

00:05:10.337 --> 00:05:13.931
但是就算是现在的电晶体
都以千兆赫的频率运行。

00:05:13.931 --> 00:05:19.228
神经元在轴突中传输的速度较慢，
最多 100 米每秒。

00:05:19.228 --> 00:05:22.339
但在电脑里，信号是以光速传播的。

00:05:23.079 --> 00:05:24.948
另外还有尺寸的限制，

00:05:24.948 --> 00:05:27.975
就像人类的大脑只能有颅骨那么大，

00:05:27.975 --> 00:05:32.736
但是一个电脑可以和仓库一样大，甚至更大。

00:05:32.736 --> 00:05:38.335
因此超级智慧的潜能正潜伏在物质之中，

00:05:38.335 --> 00:05:44.047
就像原子能潜伏在人类历史中一样，

00:05:44.047 --> 00:05:48.452
直到 1945。

00:05:48.452 --> 00:05:49.700
在这个世纪里，

00:05:49.700 --> 00:05:53.818
科学家可能能将人工智慧的力量唤醒。

00:05:53.818 --> 00:05:57.826
那时候我觉得我们会看到智慧大爆发。

NOTE Paragraph

00:05:58.406 --> 00:06:02.363
大部分的人，当他们想
什么是聪明什么是笨的时候，

00:06:02.363 --> 00:06:05.386
他们脑子里的画面是这样的：

00:06:05.386 --> 00:06:07.984
一边是村子里的傻子，

00:06:07.984 --> 00:06:10.467
一边是

00:06:10.467 --> 00:06:15.223
Ed Witten 或 Albert Einstein，
或者其他大师。

00:06:15.223 --> 00:06:19.057
但是我觉得从人工智能的观点来看，

00:06:19.057 --> 00:06:22.738
真正的画面也许是这样：

00:06:23.258 --> 00:06:26.636
人工智能从这一点开始，零智慧。

00:06:26.636 --> 00:06:29.647
然后，在许多许多辛劳工作后，

00:06:29.647 --> 00:06:33.491
也许最终我们能达到老鼠级别的智慧，

00:06:33.491 --> 00:06:35.921
能在混乱中找到开出一条道路，

00:06:35.921 --> 00:06:37.908
像一只老鼠一样。

00:06:37.908 --> 00:06:42.221
之后，在更多更多年的辛苦研究
和投资之后，

00:06:42.221 --> 00:06:46.860
也许最终我们能到达黑猩猩级人工智能。

00:06:46.860 --> 00:06:50.070
在后来，更多年的研究之后，

00:06:50.070 --> 00:06:52.983
我们能够达到村里的傻子级别的人工智能。

00:06:52.983 --> 00:06:56.255
在一段时间之后，
我们能超越 Ed Witten。

00:06:56.255 --> 00:06:59.225
这列火车不会在“人类站”就停下。

00:06:59.225 --> 00:07:02.247
它比较可能会呼啸而过。

NOTE Paragraph

00:07:02.247 --> 00:07:04.231
现在这个有深远的寓意，

00:07:04.231 --> 00:07:08.093
尤其是当我们谈到力量权利的时候。

00:07:08.093 --> 00:07:09.992
比如，黑猩猩很强壮：

00:07:09.992 --> 00:07:15.214
同等的体重，一个黑猩猩是
两个健康男性那么强壮。

00:07:15.214 --> 00:07:19.828
然而，Kanzi 和他的朋友们的命运
更多取决于

00:07:19.828 --> 00:07:23.968
我们人类能做到什么，
而不是猩猩能做到什么。

00:07:25.228 --> 00:07:27.542
当超级智慧出现的时候，

00:07:27.542 --> 00:07:31.381
人类的命运也许会取决于
那个超级智慧体要做什么。

00:07:32.451 --> 00:07:33.508
想一想：

00:07:33.508 --> 00:07:38.552
机器智慧是人类需要创造的最后一个东西。

00:07:38.552 --> 00:07:41.525
机器在那之后会比我们更擅长创造，

00:07:41.525 --> 00:07:44.065
他们也会在数位时间里这样做。

00:07:44.065 --> 00:07:48.966
这个意味着一个被缩短的未来。

00:07:48.966 --> 00:07:52.524
想一下你曾想象过的所有的疯狂的科技，

00:07:52.524 --> 00:07:55.322
也许人类可以在适当的时候完成：

00:07:55.322 --> 00:07:58.580
终结衰老、宇宙殖民、

00:07:58.580 --> 00:08:02.311
自我复制的纳米机器人
和大脑到电脑的传输，

00:08:02.311 --> 00:08:04.470
诸如此类的看似仅存在于科幻

00:08:04.470 --> 00:08:07.207
却有同时符合物理法则的元素。

00:08:07.207 --> 00:08:11.419
超级智慧有办法开发出这些东西，也许更快。

NOTE Paragraph

00:08:12.449 --> 00:08:16.007
现在，一个拥有如此成熟科技的超级智慧体

00:08:16.007 --> 00:08:18.186
将会是非常强大，

00:08:18.186 --> 00:08:22.732
至少在一些情况下，
它能得到它想要的东西。

00:08:22.732 --> 00:08:28.393
我们的未来就将会被
这个超级智慧体的喜好所主宰。

00:08:29.855 --> 00:08:33.604
现在的问题就是，
这些喜好是什么呢？


00:08:34.244 --> 00:08:36.013
这很棘手。

00:08:36.013 --> 00:08:37.448
要在这个领域取得进步，

00:08:37.448 --> 00:08:40.724
我们必须避免将机器智慧人格化。

00:08:41.934 --> 00:08:45.235
这一点很讽刺，
因为每一个关于人工智能的未来

00:08:45.235 --> 00:08:49.090
的新闻报道，都会有这个图片：

00:08:50.280 --> 00:08:54.414
所以我觉得我们必须
用更抽象的方法看待这个问题，

00:08:54.414 --> 00:08:57.204
而不是在好莱坞电影的叙事之下。

NOTE Paragraph

00:08:57.204 --> 00:09:00.821
我们需要把智慧看做是一个优化的过程，

00:09:00.821 --> 00:09:06.470
一个能把未来引导至
一个特殊组合结构的过程。

00:09:06.470 --> 00:09:09.981
一个超级智慧体是一个
非常强大的优化过程。

00:09:09.981 --> 00:09:13.278
它将会擅长利用资源来

00:09:13.278 --> 00:09:16.007
达到自己的目标。

00:09:16.447 --> 00:09:19.119
这意味着有着高智慧和

00:09:19.119 --> 00:09:21.853
拥有一个对人类来说有用的目标之间

00:09:21.853 --> 00:09:26.515
并没有必然的联系。

NOTE Paragraph

00:09:27.321 --> 00:09:31.115
假设我们给予人工智慧的目的是让人笑，

00:09:31.115 --> 00:09:34.097
当人工智能弱的时候，
它能做出有用或好笑的表演，

00:09:34.097 --> 00:09:36.614
这样它的使用者就会笑了。

00:09:36.614 --> 00:09:39.031
当人工智能变成超级智慧体的时候，

00:09:39.031 --> 00:09:42.554
它会意识到有一个更有效的办法
能达到这个效果：

00:09:42.554 --> 00:09:44.476
控制世界，

00:09:44.476 --> 00:09:47.638
在人类面部肌肉上插入电极

00:09:47.638 --> 00:09:50.579
来让人类不断地笑。

00:09:50.579 --> 00:09:51.614
另一个例子：

00:09:51.614 --> 00:09:54.997
假设我们给予人工智能的目标
是解出很难的数学题，

00:09:54.997 --> 00:09:56.934
当人工智能变成超级智慧体的时候，

00:09:56.934 --> 00:10:01.105
它意识到有一个更有效的办法来解出问题，

00:10:01.105 --> 00:10:04.035
是把整个地球变成一个巨型电脑，

00:10:04.035 --> 00:10:06.281
这样它的运算能力就变更强大了。

00:10:06.281 --> 00:10:09.045
注意到这个是
给予人工智能一个模式型的理由

00:10:09.045 --> 00:10:11.561
来做我们也许并不认可的事情。

00:10:11.561 --> 00:10:13.496
人类在这个模式中是威胁，

00:10:13.496 --> 00:10:16.417
我们可以人为地
让这个数学问题不能被解出。

NOTE Paragraph

00:10:17.207 --> 00:10:20.701
当然了，我们预见
这种事情不会错到这样的地步，

00:10:20.701 --> 00:10:22.454
这些是夸张的例子。

00:10:22.454 --> 00:10:24.393
但是它们所代表的主旨很重要：

00:10:24.393 --> 00:10:27.266
如果你创造了一个非常强大的优化过程

00:10:27.266 --> 00:10:29.500
来最大化目标 X，

00:10:29.500 --> 00:10:31.776
你最好保证你的意义上的 X

00:10:31.776 --> 00:10:34.245
包括了所有你在乎的事情。

00:10:34.835 --> 00:10:39.219
这是一个很多神话故事中都在传递的寓意。

00:10:39.219 --> 00:10:44.517
（希腊神话中）的 Midas 国王
希望他碰到的所有东西都能变成金子。

00:10:44.517 --> 00:10:47.378
他碰到了他的女儿，她于是变成了金子。

00:10:47.378 --> 00:10:49.931
他碰到了食物，于是食物变成了金子。

00:10:49.931 --> 00:10:52.520
这个故事和我们的话题息息相关，

00:10:52.520 --> 00:10:54.590
并不只是因为它隐藏在对贪婪的暗喻，

00:10:54.590 --> 00:10:56.485
也是因为他指出了

00:10:56.485 --> 00:10:59.322
如果你创造出来一个强大的优化过程

00:10:59.322 --> 00:11:04.111
并且给他了一个错误的或者不精确的目标，
后果会是什么。

NOTE Paragraph

00:11:04.111 --> 00:11:09.300
现在也许你会说，
如果一个电脑开始在人类脸上插电极，

00:11:09.300 --> 00:11:11.565
我们会关掉它。

00:11:12.555 --> 00:11:17.895
第一，这不是一件容易事，
如果我们变得非常依赖这个系统：

00:11:17.895 --> 00:11:20.627
比如，你知道互联网的开关在哪吗？

00:11:20.627 --> 00:11:25.747
第二，为什么当初黑猩猩
没有关掉人类的开关，

00:11:25.747 --> 00:11:27.298
或者尼安德特人的开关？

00:11:27.298 --> 00:11:29.964
他们肯定有理由。

00:11:29.964 --> 00:11:32.759
我们有一个开关，比如，这里。

00:11:32.759 --> 00:11:34.313
（窒息声）

00:11:34.313 --> 00:11:37.238
之所以我们是聪明的敌人，

00:11:37.238 --> 00:11:39.966
因为我们可以预见到威胁并且尝试避免它。

00:11:39.966 --> 00:11:42.470
但是一个超级智慧体也可以，

00:11:42.470 --> 00:11:45.724
而且会做得更好。

00:11:45.724 --> 00:11:52.911
我们不应该很自信地
表示我们能控制所有事情。

NOTE Paragraph

00:11:52.911 --> 00:11:56.358
为了把我们的工作变得更简单一点，
我们应该试着，比如，

00:11:56.358 --> 00:11:57.948
把人工智能放进一个小盒子，

00:11:57.948 --> 00:11:59.744
想一个保险的软件环境，

00:11:59.744 --> 00:12:02.766
一个它无法逃脱的虚拟现实模拟器。

00:12:02.766 --> 00:12:06.912
但是我们有信心它不可能能发现一个漏洞，
能让它逃出的漏洞吗？

00:12:06.912 --> 00:12:10.081
连人类黑客每时每刻都能发现网络漏洞，

00:12:10.081 --> 00:12:13.117
我会说，也许不是很有信心。

00:12:14.237 --> 00:12:18.785
所以我们断开以太网的链接来创建一个空隙，

00:12:18.785 --> 00:12:21.453
但是，重申一遍，人类黑客都可以

00:12:21.453 --> 00:12:24.834
一次又一次以社会工程跨越这样的空隙。

00:12:24.834 --> 00:12:26.093
现在，在我说话的时候，

00:12:26.093 --> 00:12:28.482
我肯定在这边的某个雇员，

00:12:28.482 --> 00:12:31.828
曾近被要求交出他的账户明细，

00:12:31.828 --> 00:12:34.574
给一个自称是电脑信息部门的人。

NOTE Paragraph

00:12:34.574 --> 00:12:36.701
其他的情况也有可能，

00:12:36.701 --> 00:12:38.016
比如如果你是人工智能，

00:12:38.016 --> 00:12:41.548
你可以想象你用在你的体内
环绕复杂缠绕的电极

00:12:41.548 --> 00:12:45.010
创造出一种无线电波来交流。

00:12:45.010 --> 00:12:47.434
或者也许你可以假装你出了问题，

00:12:47.434 --> 00:12:50.931
然后程序师就把你打开看看哪里出错了，

00:12:50.931 --> 00:12:52.867
他们找出了源代码——Bang！——

00:12:52.867 --> 00:12:55.314
你就可以取得控制权了。

00:12:55.314 --> 00:12:58.744
或者它可以做出一个
非常漂亮的科技蓝图，

00:12:58.744 --> 00:13:00.142
当我们实现之后，

00:13:00.142 --> 00:13:04.539
它有一些被人工智能计划好的
秘密的副作用。

00:13:04.539 --> 00:13:08.002
所以我们不能
对我们能够永远控制

00:13:08.002 --> 00:13:11.810
一个超级智能体的能力
表示过度自信。

00:13:11.810 --> 00:13:14.064
在不久后，它会逃脱出来。

NOTE Paragraph

00:13:15.034 --> 00:13:18.137
我相信我们需要弄明白

00:13:18.137 --> 00:13:23.161
如何创造出超级人工智能体，哪怕它逃走了，

00:13:23.161 --> 00:13:26.438
它仍然是无害的，因为它是我们这一边的，

00:13:26.438 --> 00:13:28.337
因为它有我们的价值观。

00:13:28.337 --> 00:13:31.547
我认为这是个不可避免的问题。

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
现在，我对这个问题能否被解决保持乐观。

00:13:36.391 --> 00:13:40.294
我们不需要写下
所有我们在乎的事情，

00:13:40.294 --> 00:13:43.937
或者，更糟地，把这些事情变成计算机语言，

00:13:43.937 --> 00:13:45.391
C++ 或者 Python，

00:13:45.391 --> 00:13:48.158
这是个不可能的任务。

00:13:48.158 --> 00:13:52.455
而是，我们会创造出一个人工智能机器人，
用它自己的智慧

00:13:52.455 --> 00:13:55.226
来学习我们的价值观，

00:13:55.226 --> 00:14:00.506
它的激励制度可以激励它

00:14:00.506 --> 00:14:05.738
来追求我们的价值观
或者去做我们会赞成的事情。

00:14:05.738 --> 00:14:09.152
我们会因此最大地提高它的智力，

00:14:09.152 --> 00:14:11.897
来解决富有价值的问题。

NOTE Paragraph

00:14:12.727 --> 00:14:14.239
这是有可能的，

00:14:14.239 --> 00:14:17.835
结果可以使人类非常受益。

00:14:17.835 --> 00:14:21.792
但它不是自动发生的。

00:14:21.792 --> 00:14:24.790
智慧大爆炸的初始条件

00:14:24.790 --> 00:14:27.653
需要被正确地建立起来，

00:14:27.653 --> 00:14:31.183
如果我们想要一切在掌握之中。

00:14:31.183 --> 00:14:33.801
人工智能的价值观
要和我们的价值观相辅相成，

00:14:33.801 --> 00:14:35.561
不只是在熟悉的情况下，

00:14:35.561 --> 00:14:37.999
比如当我们能很容易检查它的行为的时候，

00:14:37.999 --> 00:14:41.233
但也要在所有人工智能可能会遇到的
前所未有的情况下，

00:14:41.233 --> 00:14:42.790
在没有界限的未来，
与我们的价值观相辅相成。

NOTE Paragraph

00:14:42.790 --> 00:14:47.527
也有很多深奥的问题需要被分拣解决：

00:14:47.527 --> 00:14:49.616
它如何做决定，

00:14:49.616 --> 00:14:52.480
如何解决逻辑不确定性和类似的情况。

00:14:53.330 --> 00:14:56.432
所以技术上的待解决问题让这个任务

00:14:56.432 --> 00:14:57.545
看起来有些困难：

00:14:57.545 --> 00:15:00.925
并没有像做出一个超级智慧体一样困难，

00:15:00.925 --> 00:15:03.793
但是还是很难。

00:15:03.793 --> 00:15:05.488
这使我们所担心的：

00:15:05.488 --> 00:15:10.172
创造出一个超级智慧体确实是个很大的挑战。

00:15:10.172 --> 00:15:12.720
创造出一个安全的超级智慧体，

00:15:12.720 --> 00:15:15.136
是个更大的挑战。

00:15:16.216 --> 00:15:19.703
风险是，如果有人有办法解决第一个难题，

00:15:19.703 --> 00:15:22.704
却无法解决第二个

00:15:22.704 --> 00:15:24.605
确保安全性的挑战。

NOTE Paragraph

00:15:25.375 --> 00:15:28.706
所以我认为我们应该预先想出

00:15:28.706 --> 00:15:31.528
“控制性”的解决方法，

00:15:31.528 --> 00:15:34.188
这样我们就能在需要的时候用到它了。

00:15:34.768 --> 00:15:38.275
现在也许我们并不能
预先解决全部的控制性问题，

00:15:38.275 --> 00:15:41.299
因为有些因素需要你了解

00:15:41.299 --> 00:15:45.296
你要应用到的那个构架的细节才能实施。

00:15:45.296 --> 00:15:48.676
但如果我们能解决更多控制性的难题，

00:15:48.676 --> 00:15:52.766
当我们迈入机器智能时代后

00:15:52.766 --> 00:15:54.306
就能更加顺利。

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
这对于我来说是个值得一试的东西，

00:15:58.950 --> 00:16:02.282
而且我能想象，如果一切顺利，

00:16:02.282 --> 00:16:06.940
几百万年后的人类回首我们这个世纪，

00:16:06.940 --> 00:16:10.942
他们也许会说，
我们所做的最最重要的事情，

00:16:10.942 --> 00:16:12.509
就是做了这个正确的决定。

NOTE Paragraph

00:16:12.509 --> 00:16:14.198
谢谢。

NOTE Paragraph

00:16:14.198 --> 00:16:17.011
（掌声）