人工智能是如何让我们变得更好的

我们应该如何在发挥人工智能最大用途的同时，预防那些机器人可能带来的威胁呢？随着人工智能的日益完善和发展，人工智能先驱斯图尔特·罗素正在创造一些不同的东西：那就是具有无限可能的机器人。让我们听听他对人类该如何兼容人工智能的看法，如何才能真正利用人工智能使其利用常识、利他主义以及人类的价值观来解决问题。

这是李世石。

李世石是全世界
最顶尖的围棋高手之一，

在这一刻，他所经历的
足以让我硅谷的朋友们

喊一句”我的天啊“——

（笑声）

在这一刻，我们意识到

原来人工智能发展的进程
比我们预想的要快得多。

人们在围棋棋盘上已经输了，
那在现实世界中又如何呢？

当然了，现实世界要
比围棋棋盘要大得多，

复杂得多。

相比之下每一步也没那么明确，

但现实世界仍然是一个选择性问题。

如果我们想想那一些在不久的未来，

即将来临的新科技……

Noriko提到机器还不能进行阅读，

至少达不到理解的程度，

但这迟早会发生，

而当它发生时，

不久之后，

机器就将读遍人类写下的所有东西。

这将使机器除了拥有

比人类看得更远的能力，

就像我们在围棋中看到的那样，

如果机器能接触到比人类更多的信息，

则将能够在现实世界中
做出比人类更好的选择。

那这是一件好事吗？

我当然希望如此。

人类的全部文明，
我们所珍视的一切，

都是基于我们的智慧之上。

如果我们能掌控更强大的智能，

那我们人类的 创造力
就真的没有极限了。

我认为这可能就像很多人描述的那样

会成为人类历史上最重要的事件。

那为什么有的人会说出以下的言论，

说人工智能将是人类的末日呢？

这是一个新事物吗？

这只关乎伊隆马斯克、
比尔盖茨，和斯提芬霍金吗？

其实不是的，人工智能
这个概念已经存在很长时间了。

请看这段话：

“即便我们能够将机器
维持在一个屈服于我们的地位，

比如说，在战略性时刻将电源关闭。”——

我等会儿再来讨论
”关闭电源“这一话题，

”我们，作为一个物种，
仍然应该自感惭愧。“

这段话是谁说的呢？
是阿兰图灵，他在1951年说的。

阿兰图灵，众所皆知，
是计算机科学之父。

从很多意义上说，
他也是人工智能之父。

当我们考虑这个问题，

创造一个比自己更智能的
物种的问题时，

我们不妨将它称为”大猩猩问题“，

因为这正是大猩猩的
祖先们几百万年前所经历的。

我们今天可以去问大猩猩们：

那么做是不是一个好主意？

在这幅图里，大猩猩们正在
开会讨论那么做是不是一个好主意，

片刻后他们下定结论，不是的。

那是一个很糟糕的主意。

我们的物种已经奄奄一息了，

你都可以从它们的眼神中看到这种忧伤，

（笑声）

所以创造比你自己更聪明的物种，

也许不是一个好主意——

那我们能做些什么呢？

其实没什么能做的，
除了停止研究人工智能，

但因为人工智能能带来
我之前所说的诸多益处，

也因为我是
人工智能的研究者之一，

我可不同意就这么止步。

实际上，我想继续做人工智能。

所以我们需要把这个问题更细化一点，

它到底是什么呢？

那就是为什么更强大的
人工智能可能会是灾难呢？

再来看这段话：

”我们一定得确保我们
给机器输入的目的和价值

是我们确实想要的目的和价值。“

这是诺博特维纳在1960年说的，

他说这话时是刚看到
一个早期的学习系统，

这个系统在学习如何能把
西洋棋下得比它的创造者更好。

与此如出一辙的一句话，

迈达斯国王也说过。

迈达斯国王说：”我希望
我触碰的所有东西都变成金子。“

结果他真的获得了点石成金的能力。

那就是他所输入的目的，

从一定程度上说，

后来他的食物、
他的家人都变成了金子，

他死在痛苦与饥饿之中。

我们可以把这个问题
叫做”迈达斯问题“，

这个问题是我们阐述的目标，但实际上

与我们真正想要的不一致，

用现代的术语来说，
我们把它称为”价值一致性问题“。

而输入错误的目标
仅仅是问题的一部分。

它还有另一部分。

如果你为机器输入一个目标，

即便是一个很简单的目标，
比如说”去把咖啡端来“，

机器会对自己说：

”好吧，那我要怎么去拿咖啡呢？

说不定有人会把我的电源关掉。

好吧，那我要想办法
阻止别人把我关掉。

我得让我的‘关闭’开关失效。

我得尽一切可能自我防御，
不让别人干涉我，

这都是因为我被赋予的目标。”

这种一根筋的思维，

以一种十分防御型的
模式去实现某一目标，

实际上与我们人类最初
想实现的目标并不一致——

这就是我们面临的问题。

实际上，这就是今天这个演讲的核心。

如果你在我的演讲中只记住一件事，

那就是：如果你死了，
你就不能去端咖啡了。

（笑声）

这很简单。记住它就行了。
每天对自己重复三遍。

（笑声）

实际上，这正是电影

《2001太空漫步》的剧情。

HAL有一个目标，一个任务，

但这个目标和人类的目标不一致，

这就导致了矛盾的产生。

幸运的是，HAL并不具备超级智能，

他挺聪明的，但还是
比不过人类主角戴夫，

戴夫成功地把HAL关掉了。

但我们可能就没有这么幸运了。

那我们应该怎么办呢？

我想要重新定义人工智能，

远离传统的定义，

将其仅限定为
机器通过智能去达成目标。

新的定义涉及到三个原则：

第一个原则是利他主义原则，

也就是说，机器的唯一目标

就是去最大化地实现人类的目标，

人类的价值。

至于价值，我指的不是感情化的价值，

而是指人类对生活所向往的，

无论是什么。

这实际上违背了阿西莫夫定律，

他指出机器人一定要维护自己的生存。

但我定义的机器
对维护自身生存毫无兴趣。

第二个原则不妨称之为谦逊原则。

这一条对于制造安全的机器十分重要。

它说的是机器不知道

人类的价值是什么，

机器知道它需要将人类的价值最大化，
却不知道这价值究竟是什么。

为了避免一根筋地追求

某一目标，

这种不确定性是至关重要的。

那机器为了对我们有用，

它就得掌握一些
关于我们想要什么的信息。

它主要通过观察人类
做的选择来获取这样的信息，

我们自己做出的选择会包含着

关于我们希望我们的生活
是什么样的信息，

这就是三条原则。

让我们来看看它们是如何应用到

像图灵说的那样，
“将机器关掉”这个问题上来。

这是一个PR2机器人。

我们实验室里有一个。

它的背面有一个大大的红色的开关。

那问题来了：它会让你把它关掉吗？

如果我们按传统的方法，

给它一个目标，让它拿咖啡，
它会想：”我必须去拿咖啡，

但我死了就不能拿咖啡了。“

显然PR2听过我的演讲了，

所以它说：”我必须让我的开关失灵，

可能还要把那些在星巴克里，

可能干扰我的人都电击一下。“

（笑声）

这看起来必然会发生，对吗？

这种失败看起来是必然的，

因为机器人在遵循
一个十分确定的目标。

那如果机器对目标
不那么确定会发生什么呢？

那它的思路就不一样了。

它会说：”好的，人类可能会把我关掉，

但只在我做错事的时候。

我不知道什么是错事，

但我知道我不该做那些事。”

这就是第一和第二原则。

“那我就应该让人类把我关掉。”

事实上你可以计算出机器人

让人类把它关掉的动机，

而且这个动机是

与对目标的不确定程度直接相关的。

当机器被关闭后，

第三条原则就起作用了。

机器开始学习它所追求的目标，

因为它知道它刚做的事是不对的。

实际上，我们可以用希腊字母

就像数学家们经常做的那样，

直接证明这一定理，

那就是这样的一个机器人
对人们是绝对有利的。

可以证明我们的生活
有如此设计的机器人会变得

比没有这样的机器人更好。

这是一个很简单的例子，但这只是

我们尝试实现与人类
兼容的人工智能的第一步。

现在来看第三个原则。

我知道你们可能正在
为这一个原则而大伤脑筋。

你可能会想：“你知道，
我有时不按规矩办事。

我可不希望我的机器人
像我一样行事。

我有时大半夜偷偷摸摸地
从冰箱里找东西吃，

诸如此类的事。”

有各种各样的事你是
不希望机器人去做的。

但实际上并不一定会这样。

仅仅是因为你表现不好，

并不代表机器人就会复制你的行为。

它会去尝试理解你做事的动机，
而且可能会在合适的情况下制止你去做

那些不该做的事。

但这仍然十分困难。

实际上，我们在做的是

让机器去预测任何一个人，
在他们的任何一种

可能的生活中

以及别人的生活中，

他们会更倾向于哪一种？

这涉及到诸多困难；

我不认为这会很快地就被解决。

实际上，真正的困难是我们自己。

就像我刚说的那样，
我们做事不守规矩，

我们中有的人甚至行为肮脏。

就像我说的，
机器人并不会复制那些行为，

机器人没有自己的目标，

它是完全无私的。

它的设计不是去满足
某一个人、一个用户的欲望，

而是去尊重所有人的意愿。

所以它能对付一定程度的肮脏行为。

它甚至能理解你的不端行为，比如说

假如你是一个边境护照官员，
很可能收取贿赂，

因为你得养家、
得供你的孩子们上学。

机器人能理解这一点，
它不会因此去偷，

它反而会帮助你去供孩子们上学。

我们的计算能力也是有限的。

李世石是一个杰出的围棋大师，

但他还是输了。

如果我们看他的行动，
他最终输掉了棋局。

但这不意味着他想要输。

所以要理解他的行为，

我们得从人类认知模型来反过来想，

这包含了我们的计算能力限制，
是一个很复杂的模型，

但仍然是我们可以尝试去理解的。

可能对于我这样一个
人工智能研究人员来说最大的困难，

是我们彼此各不相同。

所以机器必须想办法去判别衡量

不同人的不同需求，

而又有众多方法去做这样的判断。

经济学家、社会学家、
哲学家都理解这一点，

我们正在积极地去寻求合作。

让我们来看看如果我们
把这一步弄错了会怎么样。

举例来说，你可能会
与你的人工智能助理，

有这样的对话：

这样的人工智能可能几年内就会出现，

可以把它想做加强版的Siri。

Siri对你说：“你的妻子打电话
提醒你今晚要跟她共进晚餐。”

而你呢，自然忘了这回事：
“什么？什么晚饭？

你在说什么？”

“啊，你们晚上7点，
庆祝结婚20周年纪念日。”

“我可去不了。
我约了晚上7点半见领导。

怎么会这样呢？”

“呃，我可是提醒过你的，
但你不听我的建议。”

“我该怎么办呢？我可不能
跟领导说我有事，没空见他。”

“别担心。我已经安排了，
让他的航班延误。

（笑声）

“像是因为某种计算机故障那样。”

（笑声）

“真的吗？这个你也能做到？”

“领导很不好意思，跟你道歉，

并且告诉你明天
中午午饭不见不散。”

（笑声）

这里就有一个小小的问题。

这显然是在遵循我妻子的价值论，

那就是“老婆开心，生活舒心”。

（笑声）

它也有可能发展成另一种情况。

你忙碌一天，回到家里，

电脑对你说：“像是繁忙的一天啊？”

“是啊，我连午饭都没来得及吃。”

“那你一定很饿了吧。”

“快饿晕了。你能做点晚饭吗？”

“有一件事我得告诉你。

（笑声）

”南苏丹的人们可比你更需要照顾。

（笑声）

“所以我要离开了。
你自己做饭去吧。”

（笑声）

我们得解决这些问题，

我也很期待去解决。

我们有理由感到乐观。

理由之一是

我们有大量的数据，

记住，我说过机器将能够阅读一切

人类所写下来的东西，

而我们写下的大多数是
我们做的什么事情，

以及其他人对此有什么意见。

所以机器可以从大量的数据中去学习。

同时从经济的角度，
我们也有足够的动机

去把这件事做对。

想象一下，你家里有个居家机器人，

而你又得加班，
机器人得给孩子们做饭,

孩子们很饿，
但冰箱里什么都没有。

然后机器人看到了家里的猫，

（笑声）

机器人还没学透人类的价值论，

所以它不知道

猫的感情价值
大于猫的营养价值。

（笑声）

接下来会发生什么？

差不多是这样的：

头版头条：“疯狂的机器人
把猫煮了给主人当晚饭！”

这一个事故就足以结束
整个居家机器人产业。

所以我们有足够的动机在我们实现

超级智能机器让它更加完善。

总结来说：

我想要改变人工智能的定义，

让我们可以证明机器对我们是有利的。

这三个原则是：

机器是利他的，

只想着实现我们的目标，

但它不确定我们的目标是什么，

所以它会观察我们，

从中学习我们想要的究竟是什么。

希望在这个过程中，
我们也能学会成为更好的人。

谢谢大家。

（掌声）

克里斯安德森：
非常有意思，斯图尔特。

我们趁着工作人员
为下一位演讲者布置的时候

来简单聊几句。

我有几个问题。

从直觉上来看，将无知编入到程序中
似乎是一个很重要的理念，

当你要实现超级智能时，

什么能阻止机器人？

当它在阅读和学习的过程中发现，

知识比无知更强大，

然后就改变它的目标
去重新编写程序呢？

斯图尔特拉塞尔：是的，
我们想要它去学习，就像我说的，

学习我们的目标。

它只有在理解得越来越正确的时候，
才会变得更确定，

我们有证据显示，

它的设计使它能按正确的方式理解。

比如说，它能够理解书中的论证是

带有非常强的偏见的。

书中只会讲述国王、王子

和那些精英白人男性做的事。

这是一个复杂的问题，

但当它更深入地学习我们的目标时，

它就变得对我们更有用。

CA：那你不能把这些
都集中在一条准则里吗？

把这样的命令写在它的程序里：

“如果人类什么时候想把我关掉，

我服从。我服从。”

SR：绝对不行，

那将是一个很糟糕的主意。

试想一下，你有一辆无人驾驶汽车，

你想让它送你五岁的孩子

去上学。

你希望你五岁的孩子
能在汽车运行过程中

将它关闭吗？

应该不会吧。

它得理解下指令的人有多理智，
是不是讲道理。

这个人越理智，

它就越愿意自己被关掉。

如果这个人是完全思绪混乱
或者甚至是有恶意的，

那你就不愿意它被关掉。

CA：好吧。斯图尔特，我得说

我真的希望你为我们
能把这一切研究出来，

很感谢你的演讲，太精彩了。

SR：谢谢。

（掌声）