WEBVTT

00:00:00.440 --> 00:00:02.204
这是李世石。

00:00:02.204 --> 00:00:05.923
李世石是全世界
最顶尖的围棋高手之一，

00:00:06.233 --> 00:00:09.218
在这一刻，他所经历的
足以让我硅谷的朋友们

00:00:09.218 --> 00:00:10.828
喊一句”我的天啊“——

NOTE Paragraph

00:00:10.828 --> 00:00:11.849
（笑声）

NOTE Paragraph

00:00:11.849 --> 00:00:14.037
在这一刻，我们意识到

00:00:14.037 --> 00:00:17.333
原来人工智能发展的进程
比我们预想的要快得多。

00:00:18.154 --> 00:00:21.121
人们在围棋棋盘上已经输了，
那在现实世界中又如何呢？

NOTE Paragraph

00:00:21.121 --> 00:00:23.211
当然了，现实世界要
比围棋棋盘要大得多，

00:00:23.211 --> 00:00:25.476
复杂得多。

00:00:25.476 --> 00:00:27.465
相比之下每一步也没那么明确，

00:00:27.465 --> 00:00:29.663
但现实世界仍然是一个选择性问题。

00:00:30.948 --> 00:00:33.243
如果我们想想那一些在不久的未来，

00:00:33.243 --> 00:00:35.042
即将来临的新科技……

00:00:35.738 --> 00:00:40.017
Noriko提到机器还不能进行阅读，

00:00:40.017 --> 00:00:41.551
至少达不到理解的程度，

00:00:41.551 --> 00:00:43.121
但这迟早会发生，

00:00:43.121 --> 00:00:44.926
而当它发生时，

00:00:44.926 --> 00:00:46.087
不久之后，

00:00:46.087 --> 00:00:50.759
机器就将读遍人类写下的所有东西。

00:00:51.850 --> 00:00:53.874
这将使机器除了拥有

00:00:53.874 --> 00:00:56.798
比人类看得更远的能力，

00:00:56.798 --> 00:00:58.502
就像我们在围棋中看到的那样，

00:00:58.502 --> 00:01:00.650
如果机器能接触到比人类更多的信息，

00:01:00.650 --> 00:01:05.008
则将能够在现实世界中
做出比人类更好的选择。

00:01:06.572 --> 00:01:08.398
那这是一件好事吗？

00:01:09.898 --> 00:01:12.130
我当然希望如此。

NOTE Paragraph

00:01:14.694 --> 00:01:17.913
人类的全部文明，
我们所珍视的一切，

00:01:17.913 --> 00:01:19.995
都是基于我们的智慧之上。

00:01:19.995 --> 00:01:23.743
如果我们能掌控更强大的智能，

00:01:23.743 --> 00:01:27.085
那我们人类的 创造力
就真的没有极限了。

00:01:28.665 --> 00:01:31.954
我认为这可能就像很多人描述的那样

00:01:31.954 --> 00:01:34.030
会成为人类历史上最重要的事件。

00:01:36.665 --> 00:01:39.458
那为什么有的人会说出以下的言论，

00:01:39.458 --> 00:01:42.394
说人工智能将是人类的末日呢？

00:01:43.438 --> 00:01:45.031
这是一个新事物吗？

00:01:45.031 --> 00:01:49.231
这只关乎伊隆马斯克、
比尔盖茨，和斯提芬霍金吗？

NOTE Paragraph

00:01:49.953 --> 00:01:53.209
其实不是的，人工智能
这个概念已经存在很长时间了。

00:01:53.209 --> 00:01:55.195
请看这段话：

00:01:55.195 --> 00:01:59.569
“即便我们能够将机器
维持在一个屈服于我们的地位，

00:01:59.569 --> 00:02:02.537
比如说，在战略性时刻将电源关闭。”——

00:02:02.537 --> 00:02:05.378
我等会儿再来讨论
”关闭电源“这一话题，

00:02:05.378 --> 00:02:08.672
”我们，作为一个物种，
仍然应该自感惭愧。“

00:02:10.177 --> 00:02:13.625
这段话是谁说的呢？
是阿兰图灵，他在1951年说的。

00:02:14.300 --> 00:02:17.047
阿兰图灵，众所皆知，
是计算机科学之父。

00:02:17.047 --> 00:02:20.135
从很多意义上说，
他也是人工智能之父。

00:02:21.239 --> 00:02:23.105
当我们考虑这个问题，

00:02:23.105 --> 00:02:26.906
创造一个比自己更智能的
物种的问题时，

00:02:26.906 --> 00:02:29.578
我们不妨将它称为”大猩猩问题“，

00:02:30.345 --> 00:02:34.095
因为这正是大猩猩的
祖先们几百万年前所经历的。

00:02:34.099 --> 00:02:35.864
我们今天可以去问大猩猩们：

00:02:36.752 --> 00:02:37.906
那么做是不是一个好主意？

NOTE Paragraph

00:02:37.906 --> 00:02:41.430
在这幅图里，大猩猩们正在
开会讨论那么做是不是一个好主意，

00:02:41.430 --> 00:02:44.836
片刻后他们下定结论，不是的。

00:02:44.840 --> 00:02:46.059
那是一个很糟糕的主意。

00:02:46.059 --> 00:02:48.011
我们的物种已经奄奄一息了，

00:02:48.538 --> 00:02:52.765
你都可以从它们的眼神中看到这种忧伤，

NOTE Paragraph

00:02:52.765 --> 00:02:54.465
（笑声）

NOTE Paragraph

00:02:54.469 --> 00:02:59.313
所以创造比你自己更聪明的物种，

00:02:59.313 --> 00:03:01.718
也许不是一个好主意——

00:03:02.488 --> 00:03:03.963
那我们能做些什么呢？

00:03:03.963 --> 00:03:08.850
其实没什么能做的，
除了停止研究人工智能，

00:03:08.850 --> 00:03:11.288
但因为人工智能能带来
我之前所说的诸多益处，

00:03:11.288 --> 00:03:12.808
也因为我是
人工智能的研究者之一，

00:03:12.808 --> 00:03:14.859
我可不同意就这么止步。

00:03:15.283 --> 00:03:17.751
实际上，我想继续做人工智能。

NOTE Paragraph

00:03:18.615 --> 00:03:21.067
所以我们需要把这个问题更细化一点，

00:03:21.067 --> 00:03:22.572
它到底是什么呢？

00:03:22.572 --> 00:03:25.958
那就是为什么更强大的
人工智能可能会是灾难呢？

NOTE Paragraph

00:03:27.398 --> 00:03:28.896
再来看这段话：

00:03:29.935 --> 00:03:33.214
”我们一定得确保我们
给机器输入的目的和价值

00:03:33.214 --> 00:03:35.592
是我们确实想要的目的和价值。“

00:03:36.282 --> 00:03:39.744
这是诺博特维纳在1960年说的，

00:03:39.744 --> 00:03:43.760
他说这话时是刚看到
一个早期的学习系统，

00:03:43.760 --> 00:03:47.313
这个系统在学习如何能把
西洋棋下得比它的创造者更好。

00:03:48.602 --> 00:03:51.259
与此如出一辙的一句话，

00:03:51.259 --> 00:03:52.476
迈达斯国王也说过。

00:03:53.083 --> 00:03:56.081
迈达斯国王说：”我希望
我触碰的所有东西都变成金子。“

00:03:56.081 --> 00:03:58.658
结果他真的获得了点石成金的能力。

00:03:58.658 --> 00:04:01.443
那就是他所输入的目的，

00:04:01.443 --> 00:04:02.887
从一定程度上说，

00:04:02.887 --> 00:04:06.345
后来他的食物、
他的家人都变成了金子，

00:04:06.345 --> 00:04:08.736
他死在痛苦与饥饿之中。

00:04:10.444 --> 00:04:12.719
我们可以把这个问题
叫做”迈达斯问题“，

00:04:12.719 --> 00:04:16.028
这个问题是我们阐述的目标，但实际上

00:04:16.028 --> 00:04:18.525
与我们真正想要的不一致，

00:04:18.525 --> 00:04:21.828
用现代的术语来说，
我们把它称为”价值一致性问题“。

NOTE Paragraph

00:04:25.047 --> 00:04:28.306
而输入错误的目标
仅仅是问题的一部分。

00:04:28.306 --> 00:04:29.708
它还有另一部分。

00:04:30.160 --> 00:04:31.937
如果你为机器输入一个目标，

00:04:31.937 --> 00:04:34.575
即便是一个很简单的目标，
比如说”去把咖啡端来“，

00:04:35.908 --> 00:04:37.749
机器会对自己说：

00:04:38.733 --> 00:04:41.220
”好吧，那我要怎么去拿咖啡呢？

00:04:41.220 --> 00:04:42.960
说不定有人会把我的电源关掉。

00:04:43.645 --> 00:04:45.926
好吧，那我要想办法
阻止别人把我关掉。

00:04:45.926 --> 00:04:47.962
我得让我的‘关闭’开关失效。

00:04:48.534 --> 00:04:51.227
我得尽一切可能自我防御，
不让别人干涉我，

00:04:51.227 --> 00:04:54.070
这都是因为我被赋予的目标。”

00:04:54.070 --> 00:04:56.182
这种一根筋的思维，

00:04:57.213 --> 00:04:59.912
以一种十分防御型的
模式去实现某一目标，

00:04:59.912 --> 00:05:02.996
实际上与我们人类最初
想实现的目标并不一致——

00:05:04.012 --> 00:05:05.984
这就是我们面临的问题。

00:05:07.007 --> 00:05:11.758
实际上，这就是今天这个演讲的核心。

00:05:11.758 --> 00:05:13.767
如果你在我的演讲中只记住一件事，

00:05:13.767 --> 00:05:16.496
那就是：如果你死了，
你就不能去端咖啡了。

NOTE Paragraph

00:05:16.496 --> 00:05:17.471
（笑声）

NOTE Paragraph

00:05:17.471 --> 00:05:21.484
这很简单。记住它就行了。
每天对自己重复三遍。

NOTE Paragraph

00:05:21.484 --> 00:05:23.329
（笑声）

NOTE Paragraph

00:05:23.329 --> 00:05:26.057
实际上，这正是电影

00:05:26.057 --> 00:05:28.785
《2001太空漫步》的剧情。

00:05:29.226 --> 00:05:31.260
HAL有一个目标，一个任务，

00:05:31.260 --> 00:05:35.046
但这个目标和人类的目标不一致，

00:05:35.046 --> 00:05:36.906
这就导致了矛盾的产生。

00:05:37.494 --> 00:05:40.457
幸运的是，HAL并不具备超级智能，

00:05:40.457 --> 00:05:44.058
他挺聪明的，但还是
比不过人类主角戴夫，

00:05:44.058 --> 00:05:45.947
戴夫成功地把HAL关掉了。

00:05:49.768 --> 00:05:51.447
但我们可能就没有这么幸运了。

00:05:56.193 --> 00:05:57.785
那我们应该怎么办呢？

NOTE Paragraph

00:06:00.371 --> 00:06:02.956
我想要重新定义人工智能，

00:06:02.956 --> 00:06:05.021
远离传统的定义，

00:06:05.021 --> 00:06:09.648
将其仅限定为
机器通过智能去达成目标。

00:06:10.712 --> 00:06:12.134
新的定义涉及到三个原则：

00:06:12.134 --> 00:06:15.767
第一个原则是利他主义原则，

00:06:15.767 --> 00:06:19.053
也就是说，机器的唯一目标

00:06:19.053 --> 00:06:23.223
就是去最大化地实现人类的目标，

00:06:23.223 --> 00:06:24.767
人类的价值。

00:06:24.767 --> 00:06:28.081
至于价值，我指的不是感情化的价值，

00:06:28.081 --> 00:06:31.932
而是指人类对生活所向往的，

00:06:31.932 --> 00:06:33.325
无论是什么。

00:06:35.364 --> 00:06:37.487
这实际上违背了阿西莫夫定律，

00:06:37.487 --> 00:06:39.750
他指出机器人一定要维护自己的生存。

00:06:39.750 --> 00:06:43.773
但我定义的机器
对维护自身生存毫无兴趣。

NOTE Paragraph

00:06:45.420 --> 00:06:49.188
第二个原则不妨称之为谦逊原则。

00:06:49.974 --> 00:06:53.651
这一条对于制造安全的机器十分重要。

00:06:53.651 --> 00:06:56.817
它说的是机器不知道

00:06:56.817 --> 00:06:58.859
人类的价值是什么，

00:06:58.859 --> 00:07:03.277
机器知道它需要将人类的价值最大化，
却不知道这价值究竟是什么。

00:07:03.277 --> 00:07:05.684
为了避免一根筋地追求

00:07:05.684 --> 00:07:06.760
某一目标，

00:07:06.760 --> 00:07:09.312
这种不确定性是至关重要的。

NOTE Paragraph

00:07:09.726 --> 00:07:11.309
那机器为了对我们有用，

00:07:11.309 --> 00:07:14.120
它就得掌握一些
关于我们想要什么的信息。

00:07:15.223 --> 00:07:20.544
它主要通过观察人类
做的选择来获取这样的信息，

00:07:20.544 --> 00:07:23.449
我们自己做出的选择会包含着

00:07:23.449 --> 00:07:26.799
关于我们希望我们的生活
是什么样的信息，

00:07:28.632 --> 00:07:29.699
这就是三条原则。

00:07:29.699 --> 00:07:32.381
让我们来看看它们是如何应用到

00:07:32.381 --> 00:07:35.470
像图灵说的那样，
“将机器关掉”这个问题上来。

NOTE Paragraph

00:07:37.073 --> 00:07:39.077
这是一个PR2机器人。

00:07:39.077 --> 00:07:41.032
我们实验室里有一个。

00:07:41.032 --> 00:07:43.965
它的背面有一个大大的红色的开关。

00:07:44.541 --> 00:07:46.920
那问题来了：它会让你把它关掉吗？

00:07:46.920 --> 00:07:48.419
如果我们按传统的方法，

00:07:48.419 --> 00:07:52.005
给它一个目标，让它拿咖啡，
它会想：”我必须去拿咖啡，

00:07:52.005 --> 00:07:54.699
但我死了就不能拿咖啡了。“

00:07:54.699 --> 00:07:58.014
显然PR2听过我的演讲了，

00:07:58.014 --> 00:08:01.897
所以它说：”我必须让我的开关失灵，

00:08:02.976 --> 00:08:05.494
可能还要把那些在星巴克里，

00:08:05.494 --> 00:08:07.188
可能干扰我的人都电击一下。“

NOTE Paragraph

00:08:07.188 --> 00:08:09.294
（笑声）

NOTE Paragraph

00:08:09.294 --> 00:08:11.411
这看起来必然会发生，对吗？

00:08:11.411 --> 00:08:13.903
这种失败看起来是必然的，

00:08:13.903 --> 00:08:17.506
因为机器人在遵循
一个十分确定的目标。

NOTE Paragraph

00:08:18.812 --> 00:08:21.680
那如果机器对目标
不那么确定会发生什么呢？

00:08:21.680 --> 00:08:24.021
那它的思路就不一样了。

00:08:24.021 --> 00:08:26.555
它会说：”好的，人类可能会把我关掉，

00:08:27.144 --> 00:08:29.010
但只在我做错事的时候。

00:08:29.747 --> 00:08:32.086
我不知道什么是错事，

00:08:32.086 --> 00:08:33.844
但我知道我不该做那些事。”

00:08:33.844 --> 00:08:37.258
这就是第一和第二原则。

00:08:37.258 --> 00:08:40.707
“那我就应该让人类把我关掉。”

00:08:41.721 --> 00:08:45.571
事实上你可以计算出机器人

00:08:45.571 --> 00:08:48.098
让人类把它关掉的动机，

00:08:48.098 --> 00:08:50.006
而且这个动机是

00:08:50.006 --> 00:08:52.902
与对目标的不确定程度直接相关的。

NOTE Paragraph

00:08:53.977 --> 00:08:56.750
当机器被关闭后，

00:08:56.750 --> 00:08:58.519
第三条原则就起作用了。

00:08:58.519 --> 00:09:01.545
机器开始学习它所追求的目标，

00:09:01.545 --> 00:09:04.372
因为它知道它刚做的事是不对的。

00:09:04.372 --> 00:09:07.796
实际上，我们可以用希腊字母

00:09:07.796 --> 00:09:10.051
就像数学家们经常做的那样，

00:09:10.051 --> 00:09:12.099
直接证明这一定理，

00:09:12.099 --> 00:09:15.516
那就是这样的一个机器人
对人们是绝对有利的。

00:09:15.516 --> 00:09:19.483
可以证明我们的生活
有如此设计的机器人会变得

00:09:19.483 --> 00:09:20.829
比没有这样的机器人更好。

00:09:21.237 --> 00:09:24.097
这是一个很简单的例子，但这只是

00:09:24.097 --> 00:09:28.070
我们尝试实现与人类
兼容的人工智能的第一步。

NOTE Paragraph

00:09:30.657 --> 00:09:33.858
现在来看第三个原则。

00:09:33.858 --> 00:09:36.214
我知道你们可能正在
为这一个原则而大伤脑筋。

00:09:36.214 --> 00:09:40.313
你可能会想：“你知道，
我有时不按规矩办事。

00:09:40.313 --> 00:09:43.160
我可不希望我的机器人
像我一样行事。

00:09:43.160 --> 00:09:46.378
我有时大半夜偷偷摸摸地
从冰箱里找东西吃，

00:09:46.378 --> 00:09:47.490
诸如此类的事。”

00:09:47.490 --> 00:09:50.571
有各种各样的事你是
不希望机器人去做的。

00:09:50.571 --> 00:09:52.296
但实际上并不一定会这样。

00:09:52.296 --> 00:09:54.885
仅仅是因为你表现不好，

00:09:54.885 --> 00:09:57.052
并不代表机器人就会复制你的行为。

00:09:57.052 --> 00:10:01.546
它会去尝试理解你做事的动机，
而且可能会在合适的情况下制止你去做

00:10:01.546 --> 00:10:02.936
那些不该做的事。

00:10:04.206 --> 00:10:05.670
但这仍然十分困难。

00:10:06.302 --> 00:10:08.801
实际上，我们在做的是

00:10:08.801 --> 00:10:14.621
让机器去预测任何一个人，
在他们的任何一种

00:10:14.621 --> 00:10:15.666
可能的生活中

00:10:15.666 --> 00:10:17.553
以及别人的生活中，

00:10:17.553 --> 00:10:20.014
他们会更倾向于哪一种？

00:10:22.061 --> 00:10:24.559
这涉及到诸多困难；

00:10:24.559 --> 00:10:27.805
我不认为这会很快地就被解决。

00:10:27.805 --> 00:10:30.638
实际上，真正的困难是我们自己。

NOTE Paragraph

00:10:32.149 --> 00:10:34.740
就像我刚说的那样，
我们做事不守规矩，

00:10:34.740 --> 00:10:37.611
我们中有的人甚至行为肮脏。

00:10:38.431 --> 00:10:41.447
就像我说的，
机器人并不会复制那些行为，

00:10:41.447 --> 00:10:44.282
机器人没有自己的目标，

00:10:44.282 --> 00:10:46.059
它是完全无私的。

00:10:47.293 --> 00:10:52.468
它的设计不是去满足
某一个人、一个用户的欲望，

00:10:52.468 --> 00:10:55.676
而是去尊重所有人的意愿。

00:10:57.263 --> 00:10:59.817
所以它能对付一定程度的肮脏行为。

00:10:59.817 --> 00:11:03.542
它甚至能理解你的不端行为，比如说

00:11:03.542 --> 00:11:06.187
假如你是一个边境护照官员，
很可能收取贿赂，

00:11:06.187 --> 00:11:10.043
因为你得养家、
得供你的孩子们上学。

00:11:10.043 --> 00:11:12.753
机器人能理解这一点，
它不会因此去偷，

00:11:12.753 --> 00:11:15.722
它反而会帮助你去供孩子们上学。

NOTE Paragraph

00:11:16.976 --> 00:11:19.962
我们的计算能力也是有限的。

00:11:19.962 --> 00:11:22.491
李世石是一个杰出的围棋大师，

00:11:22.491 --> 00:11:23.820
但他还是输了。

00:11:23.820 --> 00:11:28.083
如果我们看他的行动，
他最终输掉了棋局。

00:11:28.083 --> 00:11:30.314
但这不意味着他想要输。

00:11:31.240 --> 00:11:33.374
所以要理解他的行为，

00:11:33.374 --> 00:11:36.902
我们得从人类认知模型来反过来想，

00:11:36.902 --> 00:11:41.883
这包含了我们的计算能力限制，
是一个很复杂的模型，

00:11:41.883 --> 00:11:45.066
但仍然是我们可以尝试去理解的。

NOTE Paragraph

00:11:45.876 --> 00:11:50.160
可能对于我这样一个
人工智能研究人员来说最大的困难，

00:11:50.160 --> 00:11:52.795
是我们彼此各不相同。

00:11:54.294 --> 00:11:57.859
所以机器必须想办法去判别衡量

00:11:57.859 --> 00:12:00.058
不同人的不同需求，

00:12:00.058 --> 00:12:02.038
而又有众多方法去做这样的判断。

00:12:02.038 --> 00:12:05.711
经济学家、社会学家、
哲学家都理解这一点，

00:12:05.711 --> 00:12:08.220
我们正在积极地去寻求合作。

NOTE Paragraph

00:12:08.220 --> 00:12:11.475
让我们来看看如果我们
把这一步弄错了会怎么样。

00:12:11.475 --> 00:12:13.622
举例来说，你可能会
与你的人工智能助理，

00:12:13.622 --> 00:12:15.310
有这样的对话：

00:12:15.310 --> 00:12:17.839
这样的人工智能可能几年内就会出现，

00:12:17.839 --> 00:12:20.503
可以把它想做加强版的Siri。

00:12:21.627 --> 00:12:25.949
Siri对你说：“你的妻子打电话
提醒你今晚要跟她共进晚餐。”

00:12:26.616 --> 00:12:28.808
而你呢，自然忘了这回事：
“什么？什么晚饭？

00:12:28.808 --> 00:12:30.593
你在说什么？”

NOTE Paragraph

00:12:30.603 --> 00:12:34.343
“啊，你们晚上7点，
庆祝结婚20周年纪念日。”

NOTE Paragraph

00:12:36.915 --> 00:12:40.518
“我可去不了。
我约了晚上7点半见领导。

00:12:40.518 --> 00:12:42.314
怎么会这样呢？”

NOTE Paragraph

00:12:42.314 --> 00:12:47.034
“呃，我可是提醒过你的，
但你不听我的建议。”

NOTE Paragraph

00:12:48.146 --> 00:12:51.474
“我该怎么办呢？我可不能
跟领导说我有事，没空见他。”

NOTE Paragraph

00:12:52.490 --> 00:12:55.655
“别担心。我已经安排了，
让他的航班延误。

NOTE Paragraph

00:12:55.655 --> 00:12:57.477
（笑声）

NOTE Paragraph

00:12:58.249 --> 00:13:00.334
“像是因为某种计算机故障那样。”

NOTE Paragraph

00:13:00.334 --> 00:13:01.460
（笑声）

NOTE Paragraph

00:13:01.460 --> 00:13:03.227
“真的吗？这个你也能做到？”

NOTE Paragraph

00:13:04.400 --> 00:13:06.523
“领导很不好意思，跟你道歉，

00:13:06.523 --> 00:13:09.102
并且告诉你明天
中午午饭不见不散。”

NOTE Paragraph

00:13:09.102 --> 00:13:10.065
（笑声）

NOTE Paragraph

00:13:10.065 --> 00:13:14.908
这里就有一个小小的问题。

00:13:14.912 --> 00:13:17.755
这显然是在遵循我妻子的价值论，

00:13:17.755 --> 00:13:19.908
那就是“老婆开心，生活舒心”。

NOTE Paragraph

00:13:19.908 --> 00:13:21.575
（笑声）

NOTE Paragraph

00:13:21.575 --> 00:13:23.109
它也有可能发展成另一种情况。

00:13:23.821 --> 00:13:25.746
你忙碌一天，回到家里，

00:13:25.746 --> 00:13:28.065
电脑对你说：“像是繁忙的一天啊？”

NOTE Paragraph

00:13:28.065 --> 00:13:29.927
“是啊，我连午饭都没来得及吃。”

NOTE Paragraph

00:13:29.927 --> 00:13:31.673
“那你一定很饿了吧。”

NOTE Paragraph

00:13:31.673 --> 00:13:34.529
“快饿晕了。你能做点晚饭吗？”

NOTE Paragraph

00:13:36.070 --> 00:13:38.074
“有一件事我得告诉你。

NOTE Paragraph

00:13:38.074 --> 00:13:39.339
（笑声）

NOTE Paragraph

00:13:40.193 --> 00:13:45.012
”南苏丹的人们可比你更需要照顾。

NOTE Paragraph

00:13:45.012 --> 00:13:45.950
（笑声）

NOTE Paragraph

00:13:45.950 --> 00:13:48.259
“所以我要离开了。
你自己做饭去吧。”

NOTE Paragraph

00:13:48.259 --> 00:13:50.349
（笑声）

NOTE Paragraph

00:13:50.763 --> 00:13:52.496
我们得解决这些问题，

00:13:52.496 --> 00:13:55.095
我也很期待去解决。

NOTE Paragraph

00:13:55.095 --> 00:13:56.932
我们有理由感到乐观。

00:13:56.932 --> 00:13:58.125
理由之一是

00:13:58.125 --> 00:13:59.857
我们有大量的数据，

00:13:59.857 --> 00:14:02.005
记住，我说过机器将能够阅读一切

00:14:02.005 --> 00:14:03.235
人类所写下来的东西，

00:14:03.235 --> 00:14:06.703
而我们写下的大多数是
我们做的什么事情，

00:14:06.703 --> 00:14:08.811
以及其他人对此有什么意见。

00:14:08.811 --> 00:14:11.233
所以机器可以从大量的数据中去学习。

NOTE Paragraph

00:14:11.233 --> 00:14:13.799
同时从经济的角度，
我们也有足够的动机

00:14:15.331 --> 00:14:16.441
去把这件事做对。

00:14:16.441 --> 00:14:18.446
想象一下，你家里有个居家机器人，

00:14:18.446 --> 00:14:21.427
而你又得加班，
机器人得给孩子们做饭,

00:14:21.427 --> 00:14:24.394
孩子们很饿，
但冰箱里什么都没有。

00:14:24.394 --> 00:14:26.973
然后机器人看到了家里的猫，

NOTE Paragraph

00:14:26.973 --> 00:14:28.739
（笑声）

NOTE Paragraph

00:14:28.739 --> 00:14:33.013
机器人还没学透人类的价值论，

00:14:33.013 --> 00:14:34.128
所以它不知道

00:14:34.128 --> 00:14:39.046
猫的感情价值
大于猫的营养价值。

NOTE Paragraph

00:14:39.046 --> 00:14:40.045
（笑声）

NOTE Paragraph

00:14:40.045 --> 00:14:42.057
接下来会发生什么？

00:14:42.057 --> 00:14:45.338
差不多是这样的：

00:14:45.338 --> 00:14:48.382
头版头条：“疯狂的机器人
把猫煮了给主人当晚饭！”

00:14:48.386 --> 00:14:52.863
这一个事故就足以结束
整个居家机器人产业。

00:14:52.863 --> 00:14:56.299
所以我们有足够的动机在我们实现

00:14:56.299 --> 00:14:59.064
超级智能机器让它更加完善。

NOTE Paragraph

00:15:00.128 --> 00:15:01.627
总结来说：

00:15:01.627 --> 00:15:04.532
我想要改变人工智能的定义，

00:15:04.532 --> 00:15:07.529
让我们可以证明机器对我们是有利的。

00:15:07.529 --> 00:15:08.685
这三个原则是：

00:15:08.685 --> 00:15:10.207
机器是利他的，

00:15:10.207 --> 00:15:12.985
只想着实现我们的目标，

00:15:12.985 --> 00:15:16.165
但它不确定我们的目标是什么，

00:15:16.165 --> 00:15:18.207
所以它会观察我们，

00:15:18.207 --> 00:15:21.470
从中学习我们想要的究竟是什么。

00:15:22.373 --> 00:15:25.876
希望在这个过程中，
我们也能学会成为更好的人。

00:15:25.876 --> 00:15:27.081
谢谢大家。

NOTE Paragraph

00:15:27.081 --> 00:15:30.870
（掌声）

NOTE Paragraph

00:15:30.870 --> 00:15:32.156
克里斯安德森：
非常有意思，斯图尔特。

00:15:32.156 --> 00:15:34.640
我们趁着工作人员
为下一位演讲者布置的时候

00:15:34.640 --> 00:15:36.391
来简单聊几句。

NOTE Paragraph

00:15:37.165 --> 00:15:38.687
我有几个问题。

00:15:38.687 --> 00:15:44.144
从直觉上来看，将无知编入到程序中
似乎是一个很重要的理念，

00:15:44.144 --> 00:15:45.752
当你要实现超级智能时，

00:15:45.752 --> 00:15:48.044
什么能阻止机器人？

00:15:48.044 --> 00:15:51.006
当它在阅读和学习的过程中发现，

00:15:51.006 --> 00:15:52.602
知识比无知更强大，

00:15:52.602 --> 00:15:56.794
然后就改变它的目标
去重新编写程序呢？

NOTE Paragraph

00:15:57.652 --> 00:16:04.002
斯图尔特拉塞尔：是的，
我们想要它去学习，就像我说的，

00:16:04.002 --> 00:16:05.449
学习我们的目标。

00:16:05.449 --> 00:16:10.954
它只有在理解得越来越正确的时候，
才会变得更确定，

00:16:10.954 --> 00:16:12.837
我们有证据显示，

00:16:12.837 --> 00:16:15.705
它的设计使它能按正确的方式理解。

00:16:15.705 --> 00:16:19.505
比如说，它能够理解书中的论证是

00:16:19.505 --> 00:16:20.972
带有非常强的偏见的。

00:16:20.972 --> 00:16:23.443
书中只会讲述国王、王子

00:16:23.443 --> 00:16:26.327
和那些精英白人男性做的事。

00:16:26.327 --> 00:16:28.447
这是一个复杂的问题，

00:16:28.447 --> 00:16:32.439
但当它更深入地学习我们的目标时，

00:16:32.439 --> 00:16:34.410
它就变得对我们更有用。

NOTE Paragraph

00:16:34.410 --> 00:16:36.890
CA：那你不能把这些
都集中在一条准则里吗？

00:16:36.890 --> 00:16:38.624
把这样的命令写在它的程序里：

00:16:38.624 --> 00:16:41.971
“如果人类什么时候想把我关掉，

00:16:41.971 --> 00:16:43.920
我服从。我服从。”

NOTE Paragraph

00:16:43.920 --> 00:16:45.076
SR：绝对不行，

00:16:45.076 --> 00:16:46.349
那将是一个很糟糕的主意。

00:16:46.349 --> 00:16:49.342
试想一下，你有一辆无人驾驶汽车，

00:16:49.342 --> 00:16:51.819
你想让它送你五岁的孩子

00:16:51.819 --> 00:16:53.027
去上学。

00:16:53.027 --> 00:16:55.462
你希望你五岁的孩子
能在汽车运行过程中

00:16:55.462 --> 00:16:56.499
将它关闭吗？

00:16:56.499 --> 00:16:57.582
应该不会吧。

00:16:57.582 --> 00:17:03.309
它得理解下指令的人有多理智，
是不是讲道理。

00:17:03.309 --> 00:17:04.929
这个人越理智，

00:17:04.929 --> 00:17:06.776
它就越愿意自己被关掉。

00:17:06.776 --> 00:17:09.683
如果这个人是完全思绪混乱
或者甚至是有恶意的，

00:17:09.683 --> 00:17:12.249
那你就不愿意它被关掉。

NOTE Paragraph

00:17:12.249 --> 00:17:13.709
CA：好吧。斯图尔特，我得说

00:17:13.709 --> 00:17:15.827
我真的希望你为我们
能把这一切研究出来，

00:17:15.827 --> 00:17:18.406
很感谢你的演讲，太精彩了。

NOTE Paragraph

00:17:18.406 --> 00:17:19.277
SR：谢谢。

NOTE Paragraph

00:17:19.277 --> 00:17:21.934
（掌声）