0:00:00.440,0:00:02.204
这是李世石。

0:00:02.204,0:00:05.923
李世石是全世界[br]最顶尖的围棋高手之一，

0:00:06.233,0:00:09.218
在这一刻，他所经历的[br]足以让我硅谷的朋友们

0:00:09.218,0:00:10.828
喊一句”我的天啊“——

0:00:10.828,0:00:11.849
（笑声）

0:00:11.849,0:00:14.037
在这一刻，我们意识到

0:00:14.037,0:00:17.333
原来人工智能发展的进程[br]比我们预想的要快得多。

0:00:18.154,0:00:21.121
人们在围棋棋盘上已经输了，[br]那在现实世界中又如何呢？

0:00:21.121,0:00:23.211
当然了，现实世界要[br]比围棋棋盘要大得多，

0:00:23.211,0:00:25.476
复杂得多。

0:00:25.476,0:00:27.465
相比之下每一步也没那么明确，

0:00:27.465,0:00:29.663
但现实世界仍然是一个选择性问题。

0:00:30.948,0:00:33.243
如果我们想想那一些在不久的未来，

0:00:33.243,0:00:35.042
即将来临的新科技……

0:00:35.738,0:00:40.017
Noriko提到机器还不能进行阅读，

0:00:40.017,0:00:41.551
至少达不到理解的程度，

0:00:41.551,0:00:43.121
但这迟早会发生，

0:00:43.121,0:00:44.926
而当它发生时，

0:00:44.926,0:00:46.087
不久之后，

0:00:46.087,0:00:50.759
机器就将读遍人类写下的所有东西。

0:00:51.850,0:00:53.874
这将使机器除了拥有

0:00:53.874,0:00:56.798
比人类看得更远的能力，

0:00:56.798,0:00:58.502
就像我们在围棋中看到的那样，

0:00:58.502,0:01:00.650
如果机器能接触到比人类更多的信息，

0:01:00.650,0:01:05.008
则将能够在现实世界中[br]做出比人类更好的选择。

0:01:06.572,0:01:08.398
那这是一件好事吗？

0:01:09.898,0:01:12.130
我当然希望如此。

0:01:14.694,0:01:17.913
人类的全部文明，[br]我们所珍视的一切，

0:01:17.913,0:01:19.995
都是基于我们的智慧之上。

0:01:19.995,0:01:23.743
如果我们能掌控更强大的智能，

0:01:23.743,0:01:27.085
那我们人类的 创造力[br]就真的没有极限了。

0:01:28.665,0:01:31.954
我认为这可能就像很多人描述的那样

0:01:31.954,0:01:34.030
会成为人类历史上最重要的事件。

0:01:36.665,0:01:39.458
那为什么有的人会说出以下的言论，

0:01:39.458,0:01:42.394
说人工智能将是人类的末日呢？

0:01:43.438,0:01:45.031
这是一个新事物吗？

0:01:45.031,0:01:49.231
这只关乎伊隆马斯克、[br]比尔盖茨，和斯提芬霍金吗？

0:01:49.953,0:01:53.209
其实不是的，人工智能[br]这个概念已经存在很长时间了。

0:01:53.209,0:01:55.195
请看这段话：

0:01:55.195,0:01:59.569
“即便我们能够将机器[br]维持在一个屈服于我们的地位，

0:01:59.569,0:02:02.537
比如说，在战略性时刻将电源关闭。”——

0:02:02.537,0:02:05.378
我等会儿再来讨论[br]”关闭电源“这一话题，

0:02:05.378,0:02:08.672
”我们，作为一个物种，[br]仍然应该自感惭愧。“

0:02:10.177,0:02:13.625
这段话是谁说的呢？[br]是阿兰图灵，他在1951年说的。

0:02:14.300,0:02:17.047
阿兰图灵，众所皆知，[br]是计算机科学之父。

0:02:17.047,0:02:20.135
从很多意义上说，[br]他也是人工智能之父。

0:02:21.239,0:02:23.105
当我们考虑这个问题，

0:02:23.105,0:02:26.906
创造一个比自己更智能的[br]物种的问题时，

0:02:26.906,0:02:29.578
我们不妨将它称为”大猩猩问题“，

0:02:30.345,0:02:34.095
因为这正是大猩猩的[br]祖先们几百万年前所经历的。

0:02:34.099,0:02:35.864
我们今天可以去问大猩猩们：

0:02:36.752,0:02:37.906
那么做是不是一个好主意？

0:02:37.906,0:02:41.430
在这幅图里，大猩猩们正在[br]开会讨论那么做是不是一个好主意，

0:02:41.430,0:02:44.836
片刻后他们下定结论，不是的。

0:02:44.840,0:02:46.059
那是一个很糟糕的主意。

0:02:46.059,0:02:48.011
我们的物种已经奄奄一息了，

0:02:48.538,0:02:52.765
你都可以从它们的眼神中看到这种忧伤，

0:02:52.765,0:02:54.465
（笑声）

0:02:54.469,0:02:59.313
所以创造比你自己更聪明的物种，

0:02:59.313,0:03:01.718
也许不是一个好主意——

0:03:02.488,0:03:03.963
那我们能做些什么呢？

0:03:03.963,0:03:08.850
其实没什么能做的，[br]除了停止研究人工智能，

0:03:08.850,0:03:11.288
但因为人工智能能带来[br]我之前所说的诸多益处，

0:03:11.288,0:03:12.808
也因为我是[br]人工智能的研究者之一，

0:03:12.808,0:03:14.859
我可不同意就这么止步。

0:03:15.283,0:03:17.751
实际上，我想继续做人工智能。

0:03:18.615,0:03:21.067
所以我们需要把这个问题更细化一点，

0:03:21.067,0:03:22.572
它到底是什么呢？

0:03:22.572,0:03:25.958
那就是为什么更强大的[br]人工智能可能会是灾难呢？

0:03:27.398,0:03:28.896
再来看这段话：

0:03:29.935,0:03:33.214
”我们一定得确保我们[br]给机器输入的目的和价值

0:03:33.214,0:03:35.592
是我们确实想要的目的和价值。“

0:03:36.282,0:03:39.744
这是诺博特维纳在1960年说的，

0:03:39.744,0:03:43.760
他说这话时是刚看到[br]一个早期的学习系统，

0:03:43.760,0:03:47.313
这个系统在学习如何能把[br]西洋棋下得比它的创造者更好。

0:03:48.602,0:03:51.259
与此如出一辙的一句话，

0:03:51.259,0:03:52.476
迈达斯国王也说过。

0:03:53.083,0:03:56.081
迈达斯国王说：”我希望[br]我触碰的所有东西都变成金子。“

0:03:56.081,0:03:58.658
结果他真的获得了点石成金的能力。

0:03:58.658,0:04:01.443
那就是他所输入的目的，

0:04:01.443,0:04:02.887
从一定程度上说，

0:04:02.887,0:04:06.345
后来他的食物、[br]他的家人都变成了金子，

0:04:06.345,0:04:08.736
他死在痛苦与饥饿之中。

0:04:10.444,0:04:12.719
我们可以把这个问题[br]叫做”迈达斯问题“，

0:04:12.719,0:04:16.028
这个问题是我们阐述的目标，但实际上

0:04:16.028,0:04:18.525
与我们真正想要的不一致，

0:04:18.525,0:04:21.828
用现代的术语来说，[br]我们把它称为”价值一致性问题“。

0:04:25.047,0:04:28.306
而输入错误的目标[br]仅仅是问题的一部分。

0:04:28.306,0:04:29.708
它还有另一部分。

0:04:30.160,0:04:31.937
如果你为机器输入一个目标，

0:04:31.937,0:04:34.575
即便是一个很简单的目标，[br]比如说”去把咖啡端来“，

0:04:35.908,0:04:37.749
机器会对自己说：

0:04:38.733,0:04:41.220
”好吧，那我要怎么去拿咖啡呢？

0:04:41.220,0:04:42.960
说不定有人会把我的电源关掉。

0:04:43.645,0:04:45.926
好吧，那我要想办法[br]阻止别人把我关掉。

0:04:45.926,0:04:47.962
我得让我的‘关闭’开关失效。

0:04:48.534,0:04:51.227
我得尽一切可能自我防御，[br]不让别人干涉我，

0:04:51.227,0:04:54.070
这都是因为我被赋予的目标。”

0:04:54.070,0:04:56.182
这种一根筋的思维，

0:04:57.213,0:04:59.912
以一种十分防御型的[br]模式去实现某一目标，

0:04:59.912,0:05:02.996
实际上与我们人类最初[br]想实现的目标并不一致——

0:05:04.012,0:05:05.984
这就是我们面临的问题。

0:05:07.007,0:05:11.758
实际上，这就是今天这个演讲的核心。

0:05:11.758,0:05:13.767
如果你在我的演讲中只记住一件事，

0:05:13.767,0:05:16.496
那就是：如果你死了，[br]你就不能去端咖啡了。

0:05:16.496,0:05:17.471
（笑声）

0:05:17.471,0:05:21.484
这很简单。记住它就行了。[br]每天对自己重复三遍。

0:05:21.484,0:05:23.329
（笑声）

0:05:23.329,0:05:26.057
实际上，这正是电影

0:05:26.057,0:05:28.785
《2001太空漫步》的剧情。

0:05:29.226,0:05:31.260
HAL有一个目标，一个任务，

0:05:31.260,0:05:35.046
但这个目标和人类的目标不一致，

0:05:35.046,0:05:36.906
这就导致了矛盾的产生。

0:05:37.494,0:05:40.457
幸运的是，HAL并不具备超级智能，

0:05:40.457,0:05:44.058
他挺聪明的，但还是[br]比不过人类主角戴夫，

0:05:44.058,0:05:45.947
戴夫成功地把HAL关掉了。

0:05:49.768,0:05:51.447
但我们可能就没有这么幸运了。

0:05:56.193,0:05:57.785
那我们应该怎么办呢？

0:06:00.371,0:06:02.956
我想要重新定义人工智能，

0:06:02.956,0:06:05.021
远离传统的定义，

0:06:05.021,0:06:09.648
将其仅限定为[br]机器通过智能去达成目标。

0:06:10.712,0:06:12.134
新的定义涉及到三个原则：

0:06:12.134,0:06:15.767
第一个原则是利他主义原则，

0:06:15.767,0:06:19.053
也就是说，机器的唯一目标

0:06:19.053,0:06:23.223
就是去最大化地实现人类的目标，

0:06:23.223,0:06:24.767
人类的价值。

0:06:24.767,0:06:28.081
至于价值，我指的不是感情化的价值，

0:06:28.081,0:06:31.932
而是指人类对生活所向往的，

0:06:31.932,0:06:33.325
无论是什么。

0:06:35.364,0:06:37.487
这实际上违背了阿西莫夫定律，

0:06:37.487,0:06:39.750
他指出机器人一定要维护自己的生存。

0:06:39.750,0:06:43.773
但我定义的机器[br]对维护自身生存毫无兴趣。

0:06:45.420,0:06:49.188
第二个原则不妨称之为谦逊原则。

0:06:49.974,0:06:53.651
这一条对于制造安全的机器十分重要。

0:06:53.651,0:06:56.817
它说的是机器不知道

0:06:56.817,0:06:58.859
人类的价值是什么，

0:06:58.859,0:07:03.277
机器知道它需要将人类的价值最大化，[br]却不知道这价值究竟是什么。

0:07:03.277,0:07:05.684
为了避免一根筋地追求

0:07:05.684,0:07:06.760
某一目标，

0:07:06.760,0:07:09.312
这种不确定性是至关重要的。

0:07:09.726,0:07:11.309
那机器为了对我们有用，

0:07:11.309,0:07:14.120
它就得掌握一些[br]关于我们想要什么的信息。

0:07:15.223,0:07:20.544
它主要通过观察人类[br]做的选择来获取这样的信息，

0:07:20.544,0:07:23.449
我们自己做出的选择会包含着

0:07:23.449,0:07:26.799
关于我们希望我们的生活[br]是什么样的信息，

0:07:28.632,0:07:29.699
这就是三条原则。

0:07:29.699,0:07:32.381
让我们来看看它们是如何应用到

0:07:32.381,0:07:35.470
像图灵说的那样，[br]“将机器关掉”这个问题上来。

0:07:37.073,0:07:39.077
这是一个PR2机器人。

0:07:39.077,0:07:41.032
我们实验室里有一个。

0:07:41.032,0:07:43.965
它的背面有一个大大的红色的开关。

0:07:44.541,0:07:46.920
那问题来了：它会让你把它关掉吗？

0:07:46.920,0:07:48.419
如果我们按传统的方法，

0:07:48.419,0:07:52.005
给它一个目标，让它拿咖啡，[br]它会想：”我必须去拿咖啡，

0:07:52.005,0:07:54.699
但我死了就不能拿咖啡了。“

0:07:54.699,0:07:58.014
显然PR2听过我的演讲了，

0:07:58.014,0:08:01.897
所以它说：”我必须让我的开关失灵，

0:08:02.976,0:08:05.494
可能还要把那些在星巴克里，

0:08:05.494,0:08:07.188
可能干扰我的人都电击一下。“

0:08:07.188,0:08:09.294
（笑声）

0:08:09.294,0:08:11.411
这看起来必然会发生，对吗？

0:08:11.411,0:08:13.903
这种失败看起来是必然的，

0:08:13.903,0:08:17.506
因为机器人在遵循[br]一个十分确定的目标。

0:08:18.812,0:08:21.680
那如果机器对目标[br]不那么确定会发生什么呢？

0:08:21.680,0:08:24.021
那它的思路就不一样了。

0:08:24.021,0:08:26.555
它会说：”好的，人类可能会把我关掉，

0:08:27.144,0:08:29.010
但只在我做错事的时候。

0:08:29.747,0:08:32.086
我不知道什么是错事，

0:08:32.086,0:08:33.844
但我知道我不该做那些事。”

0:08:33.844,0:08:37.258
这就是第一和第二原则。

0:08:37.258,0:08:40.707
“那我就应该让人类把我关掉。”

0:08:41.721,0:08:45.571
事实上你可以计算出机器人

0:08:45.571,0:08:48.098
让人类把它关掉的动机，

0:08:48.098,0:08:50.006
而且这个动机是

0:08:50.006,0:08:52.902
与对目标的不确定程度直接相关的。

0:08:53.977,0:08:56.750
当机器被关闭后，

0:08:56.750,0:08:58.519
第三条原则就起作用了。

0:08:58.519,0:09:01.545
机器开始学习它所追求的目标，

0:09:01.545,0:09:04.372
因为它知道它刚做的事是不对的。

0:09:04.372,0:09:07.796
实际上，我们可以用希腊字母

0:09:07.796,0:09:10.051
就像数学家们经常做的那样，

0:09:10.051,0:09:12.099
直接证明这一定理，

0:09:12.099,0:09:15.516
那就是这样的一个机器人[br]对人们是绝对有利的。

0:09:15.516,0:09:19.483
可以证明我们的生活[br]有如此设计的机器人会变得

0:09:19.483,0:09:20.829
比没有这样的机器人更好。

0:09:21.237,0:09:24.097
这是一个很简单的例子，但这只是

0:09:24.097,0:09:28.070
我们尝试实现与人类[br]兼容的人工智能的第一步。

0:09:30.657,0:09:33.858
现在来看第三个原则。

0:09:33.858,0:09:36.214
我知道你们可能正在[br]为这一个原则而大伤脑筋。

0:09:36.214,0:09:40.313
你可能会想：“你知道，[br]我有时不按规矩办事。

0:09:40.313,0:09:43.160
我可不希望我的机器人[br]像我一样行事。

0:09:43.160,0:09:46.378
我有时大半夜偷偷摸摸地[br]从冰箱里找东西吃，

0:09:46.378,0:09:47.490
诸如此类的事。”

0:09:47.490,0:09:50.571
有各种各样的事你是[br]不希望机器人去做的。

0:09:50.571,0:09:52.296
但实际上并不一定会这样。

0:09:52.296,0:09:54.885
仅仅是因为你表现不好，

0:09:54.885,0:09:57.052
并不代表机器人就会复制你的行为。

0:09:57.052,0:10:01.546
它会去尝试理解你做事的动机，[br]而且可能会在合适的情况下制止你去做

0:10:01.546,0:10:02.936
那些不该做的事。

0:10:04.206,0:10:05.670
但这仍然十分困难。

0:10:06.302,0:10:08.801
实际上，我们在做的是

0:10:08.801,0:10:14.621
让机器去预测任何一个人，[br]在他们的任何一种

0:10:14.621,0:10:15.666
可能的生活中

0:10:15.666,0:10:17.553
以及别人的生活中，

0:10:17.553,0:10:20.014
他们会更倾向于哪一种？

0:10:22.061,0:10:24.559
这涉及到诸多困难；

0:10:24.559,0:10:27.805
我不认为这会很快地就被解决。

0:10:27.805,0:10:30.638
实际上，真正的困难是我们自己。

0:10:32.149,0:10:34.740
就像我刚说的那样，[br]我们做事不守规矩，

0:10:34.740,0:10:37.611
我们中有的人甚至行为肮脏。

0:10:38.431,0:10:41.447
就像我说的，[br]机器人并不会复制那些行为，

0:10:41.447,0:10:44.282
机器人没有自己的目标，

0:10:44.282,0:10:46.059
它是完全无私的。

0:10:47.293,0:10:52.468
它的设计不是去满足[br]某一个人、一个用户的欲望，

0:10:52.468,0:10:55.676
而是去尊重所有人的意愿。

0:10:57.263,0:10:59.817
所以它能对付一定程度的肮脏行为。

0:10:59.817,0:11:03.542
它甚至能理解你的不端行为，比如说

0:11:03.542,0:11:06.187
假如你是一个边境护照官员，[br]很可能收取贿赂，

0:11:06.187,0:11:10.043
因为你得养家、[br]得供你的孩子们上学。

0:11:10.043,0:11:12.753
机器人能理解这一点，[br]它不会因此去偷，

0:11:12.753,0:11:15.722
它反而会帮助你去供孩子们上学。

0:11:16.976,0:11:19.962
我们的计算能力也是有限的。

0:11:19.962,0:11:22.491
李世石是一个杰出的围棋大师，

0:11:22.491,0:11:23.820
但他还是输了。

0:11:23.820,0:11:28.083
如果我们看他的行动，[br]他最终输掉了棋局。

0:11:28.083,0:11:30.314
但这不意味着他想要输。

0:11:31.240,0:11:33.374
所以要理解他的行为，

0:11:33.374,0:11:36.902
我们得从人类认知模型来反过来想，

0:11:36.902,0:11:41.883
这包含了我们的计算能力限制，[br]是一个很复杂的模型，

0:11:41.883,0:11:45.066
但仍然是我们可以尝试去理解的。

0:11:45.876,0:11:50.160
可能对于我这样一个[br]人工智能研究人员来说最大的困难，

0:11:50.160,0:11:52.795
是我们彼此各不相同。

0:11:54.294,0:11:57.859
所以机器必须想办法去判别衡量

0:11:57.859,0:12:00.058
不同人的不同需求，

0:12:00.058,0:12:02.038
而又有众多方法去做这样的判断。

0:12:02.038,0:12:05.711
经济学家、社会学家、[br]哲学家都理解这一点，

0:12:05.711,0:12:08.220
我们正在积极地去寻求合作。

0:12:08.220,0:12:11.475
让我们来看看如果我们[br]把这一步弄错了会怎么样。

0:12:11.475,0:12:13.622
举例来说，你可能会[br]与你的人工智能助理，

0:12:13.622,0:12:15.310
有这样的对话：

0:12:15.310,0:12:17.839
这样的人工智能可能几年内就会出现，

0:12:17.839,0:12:20.503
可以把它想做加强版的Siri。

0:12:21.627,0:12:25.949
Siri对你说：“你的妻子打电话[br]提醒你今晚要跟她共进晚餐。”

0:12:26.616,0:12:28.808
而你呢，自然忘了这回事：[br]“什么？什么晚饭？

0:12:28.808,0:12:30.593
你在说什么？”

0:12:30.603,0:12:34.343
“啊，你们晚上7点，[br]庆祝结婚20周年纪念日。”

0:12:36.915,0:12:40.518
“我可去不了。[br]我约了晚上7点半见领导。

0:12:40.518,0:12:42.314
怎么会这样呢？”

0:12:42.314,0:12:47.034
“呃，我可是提醒过你的，[br]但你不听我的建议。”

0:12:48.146,0:12:51.474
“我该怎么办呢？我可不能[br]跟领导说我有事，没空见他。”

0:12:52.490,0:12:55.655
“别担心。我已经安排了，[br]让他的航班延误。

0:12:55.655,0:12:57.477
（笑声）

0:12:58.249,0:13:00.334
“像是因为某种计算机故障那样。”

0:13:00.334,0:13:01.460
（笑声）

0:13:01.460,0:13:03.227
“真的吗？这个你也能做到？”

0:13:04.400,0:13:06.523
“领导很不好意思，跟你道歉，

0:13:06.523,0:13:09.102
并且告诉你明天[br]中午午饭不见不散。”

0:13:09.102,0:13:10.065
（笑声）

0:13:10.065,0:13:14.908
这里就有一个小小的问题。

0:13:14.912,0:13:17.755
这显然是在遵循我妻子的价值论，

0:13:17.755,0:13:19.908
那就是“老婆开心，生活舒心”。

0:13:19.908,0:13:21.575
（笑声）

0:13:21.575,0:13:23.109
它也有可能发展成另一种情况。

0:13:23.821,0:13:25.746
你忙碌一天，回到家里，

0:13:25.746,0:13:28.065
电脑对你说：“像是繁忙的一天啊？”

0:13:28.065,0:13:29.927
“是啊，我连午饭都没来得及吃。”

0:13:29.927,0:13:31.673
“那你一定很饿了吧。”

0:13:31.673,0:13:34.529
“快饿晕了。你能做点晚饭吗？”

0:13:36.070,0:13:38.074
“有一件事我得告诉你。

0:13:38.074,0:13:39.339
（笑声）

0:13:40.193,0:13:45.012
”南苏丹的人们可比你更需要照顾。

0:13:45.012,0:13:45.950
（笑声）

0:13:45.950,0:13:48.259
“所以我要离开了。[br]你自己做饭去吧。”

0:13:48.259,0:13:50.349
（笑声）

0:13:50.763,0:13:52.496
我们得解决这些问题，

0:13:52.496,0:13:55.095
我也很期待去解决。

0:13:55.095,0:13:56.932
我们有理由感到乐观。

0:13:56.932,0:13:58.125
理由之一是

0:13:58.125,0:13:59.857
我们有大量的数据，

0:13:59.857,0:14:02.005
记住，我说过机器将能够阅读一切

0:14:02.005,0:14:03.235
人类所写下来的东西，

0:14:03.235,0:14:06.703
而我们写下的大多数是[br]我们做的什么事情，

0:14:06.703,0:14:08.811
以及其他人对此有什么意见。

0:14:08.811,0:14:11.233
所以机器可以从大量的数据中去学习。

0:14:11.233,0:14:13.799
同时从经济的角度，[br]我们也有足够的动机

0:14:15.331,0:14:16.441
去把这件事做对。

0:14:16.441,0:14:18.446
想象一下，你家里有个居家机器人，

0:14:18.446,0:14:21.427
而你又得加班，[br]机器人得给孩子们做饭,

0:14:21.427,0:14:24.394
孩子们很饿，[br]但冰箱里什么都没有。

0:14:24.394,0:14:26.973
然后机器人看到了家里的猫，

0:14:26.973,0:14:28.739
（笑声）

0:14:28.739,0:14:33.013
机器人还没学透人类的价值论，

0:14:33.013,0:14:34.128
所以它不知道

0:14:34.128,0:14:39.046
猫的感情价值[br]大于猫的营养价值。

0:14:39.046,0:14:40.045
（笑声）

0:14:40.045,0:14:42.057
接下来会发生什么？

0:14:42.057,0:14:45.338
差不多是这样的：

0:14:45.338,0:14:48.382
头版头条：“疯狂的机器人[br]把猫煮了给主人当晚饭！”

0:14:48.386,0:14:52.863
这一个事故就足以结束[br]整个居家机器人产业。

0:14:52.863,0:14:56.299
所以我们有足够的动机在我们实现

0:14:56.299,0:14:59.064
超级智能机器让它更加完善。

0:15:00.128,0:15:01.627
总结来说：

0:15:01.627,0:15:04.532
我想要改变人工智能的定义，

0:15:04.532,0:15:07.529
让我们可以证明机器对我们是有利的。

0:15:07.529,0:15:08.685
这三个原则是：

0:15:08.685,0:15:10.207
机器是利他的，

0:15:10.207,0:15:12.985
只想着实现我们的目标，

0:15:12.985,0:15:16.165
但它不确定我们的目标是什么，

0:15:16.165,0:15:18.207
所以它会观察我们，

0:15:18.207,0:15:21.470
从中学习我们想要的究竟是什么。

0:15:22.373,0:15:25.876
希望在这个过程中，[br]我们也能学会成为更好的人。

0:15:25.876,0:15:27.081
谢谢大家。

0:15:27.081,0:15:30.870
（掌声）

0:15:30.870,0:15:32.156
克里斯安德森：[br]非常有意思，斯图尔特。

0:15:32.156,0:15:34.640
我们趁着工作人员[br]为下一位演讲者布置的时候

0:15:34.640,0:15:36.391
来简单聊几句。

0:15:37.165,0:15:38.687
我有几个问题。

0:15:38.687,0:15:44.144
从直觉上来看，将无知编入到程序中[br]似乎是一个很重要的理念，

0:15:44.144,0:15:45.752
当你要实现超级智能时，

0:15:45.752,0:15:48.044
什么能阻止机器人？

0:15:48.044,0:15:51.006
当它在阅读和学习的过程中发现，

0:15:51.006,0:15:52.602
知识比无知更强大，

0:15:52.602,0:15:56.794
然后就改变它的目标[br]去重新编写程序呢？

0:15:57.652,0:16:04.002
斯图尔特拉塞尔：是的，[br]我们想要它去学习，就像我说的，

0:16:04.002,0:16:05.449
学习我们的目标。

0:16:05.449,0:16:10.954
它只有在理解得越来越正确的时候，[br]才会变得更确定，

0:16:10.954,0:16:12.837
我们有证据显示，

0:16:12.837,0:16:15.705
它的设计使它能按正确的方式理解。

0:16:15.705,0:16:19.505
比如说，它能够理解书中的论证是

0:16:19.505,0:16:20.972
带有非常强的偏见的。

0:16:20.972,0:16:23.443
书中只会讲述国王、王子

0:16:23.443,0:16:26.327
和那些精英白人男性做的事。

0:16:26.327,0:16:28.447
这是一个复杂的问题，

0:16:28.447,0:16:32.439
但当它更深入地学习我们的目标时，

0:16:32.439,0:16:34.410
它就变得对我们更有用。

0:16:34.410,0:16:36.890
CA：那你不能把这些[br]都集中在一条准则里吗？

0:16:36.890,0:16:38.624
把这样的命令写在它的程序里：

0:16:38.624,0:16:41.971
“如果人类什么时候想把我关掉，

0:16:41.971,0:16:43.920
我服从。我服从。”

0:16:43.920,0:16:45.076
SR：绝对不行，

0:16:45.076,0:16:46.349
那将是一个很糟糕的主意。

0:16:46.349,0:16:49.342
试想一下，你有一辆无人驾驶汽车，

0:16:49.342,0:16:51.819
你想让它送你五岁的孩子

0:16:51.819,0:16:53.027
去上学。

0:16:53.027,0:16:55.462
你希望你五岁的孩子[br]能在汽车运行过程中

0:16:55.462,0:16:56.499
将它关闭吗？

0:16:56.499,0:16:57.582
应该不会吧。

0:16:57.582,0:17:03.309
它得理解下指令的人有多理智，[br]是不是讲道理。

0:17:03.309,0:17:04.929
这个人越理智，

0:17:04.929,0:17:06.776
它就越愿意自己被关掉。

0:17:06.776,0:17:09.683
如果这个人是完全思绪混乱[br]或者甚至是有恶意的，

0:17:09.683,0:17:12.249
那你就不愿意它被关掉。

0:17:12.249,0:17:13.709
CA：好吧。斯图尔特，我得说

0:17:13.709,0:17:15.827
我真的希望你为我们[br]能把这一切研究出来，

0:17:15.827,0:17:18.406
很感谢你的演讲，太精彩了。

0:17:18.406,0:17:19.277
SR：谢谢。

0:17:19.277,0:17:21.934
（掌声）