我们能打造人工智能且同时掌握控制权吗？

你害怕超级人工智能吗？神经科学家兼哲学家山姆·哈里斯说：你应该害怕。而且这种害怕不应仅仅只停留在理论层面上。他说，我们将要打造超越人类的机器，它们将会像我们对待蚂蚁那样对待我们。然而针对这样的问题，我们却仍未能给出一个让人满意的答案。

我想谈论一种我们
很多人都经历过的

来自于直觉上的失误。

它让人们无法察觉到
一种特定危险的存在。

我要向大家描述一个情景，

一个我觉得既令人害怕，

却又很可能发生的情景。

这样一个组合的出现，

显然不是一个好的征兆。

不过，在座的大部分人都会觉得，

我要谈论的这件事其实挺酷的。

我将描述我们从人工智能中

获得的好处，

将怎样彻底地毁灭我们。

事实上，想看到人工智能
最终不摧毁我们是很难的，

或者说它必将驱使我们自我毁灭。

如果你和我有共同点，

你会发现思考这些问题
是相当有趣的。

而这种反应就是问题的一部分。

因为这种想法应该使你感到担忧。

假如我想在这个演讲中让你们相信，

我们因为气候变化或者其他灾难，

很可能会遭受全球性的饥荒，

同时，你们的子孙后辈

都可能在这样的饥荒中挣扎求生，

你们就不会觉得

“真有趣，

我喜欢这个TED演讲。”

因为饥荒一点都不有趣。

不过，科幻小说中的死亡
往往却引人入胜。

所以我现在最担心的一个问题是，

人们对人工智能的发展将带来的危险，

似乎还没有形成一个正确的认识。

我也同样如此，所以我想
在这个演讲中和大家一起探讨。

我们就像站在了两扇门前。

在第一扇门后面，

我们停下打造智能机器的脚步。

某些原因也使我们停止了
对电脑软件和硬件的升级。

现在让我们想一下为什么会这样。

我的意思是，当我们认识到
智能和自动化不可估量的价值时，

我们总会竭尽所能的改善这些科技。

那么，什么会使我们停下脚步呢？

一场大规模的核战争？

一次全球性的瘟疫？

一个小行星撞击了地球？

或者是贾斯汀·比伯成为了美国总统？

（笑声）

重点是，总有一个事物
会摧毁人类现有的文明。

你需要思考这个灾难究竟有多恐怖，

才会永久性地阻止我们

发展科技，

永久性的。

光想想它，
就觉得这将是人类历史上

能发生的最惨绝人寰的事了。

那么，我们唯一剩下的选择，

就藏在第二扇门的后面，

那就是我们持续
改进我们的智能机器，

永不停歇。

在将来的某一天，我们会
造出比我们更聪明的机器，

一旦我们有了
比我们更聪明的机器，

它们将进行自我改进。

然后我们就会承担着
数学家IJ Good 所说的

“智能爆炸”的风险，

（科技进步的）
进程将不再受我们的控制。

现在我们时常会看到
这样一些讽刺漫画，

我们总会担心受到一些不怀好意的

机器人军队的攻击。

但这不是最可能出现的事情。

我们的机器不会自动变得邪恶。

所以，我们唯一的顾虑就是
我们将会打造

比我们人类更有竞争力的机器。

而一旦我们和它们的目标不一致，

我们将会被摧毁。

想想我们与蚂蚁的关系吧。

我们不讨厌它们，

我们不会去主动去伤害它们。

实际上，我们经常会尽量
避免伤害蚂蚁。

我们会选择从它们身边走过。

但只要它们的存在

妨碍到了我们达成目标，

比如说当我们在建造这样一个建筑，

我们会毫不手软地杀掉它们。

所以我们的顾虑是，终将有一天
我们打造的机器，

不管它们是否有意识，
它们终将会以

我们对待蚂蚁的方式
来对待我们。

我想很多人会说这很遥远。

我打赌你们中有些人还会
怀疑超级人工智能是否可能实现，

认为我是在小题大做。

但是你很快会发现以下这些
假设中的某一个是有问题的。

下面是仅有的三种假设：

第一，智慧可以被看做
物理系统中的信息处理过程。

事实上，这不仅仅是一个假设。

我们已经在有些机器中
嵌入了智能系统，

这些机器中很多已经

有着超越普通人的智慧了。

而且，我们也知道任何一点小事

都可以引发所谓的“普遍智慧”，

这是一种可以在不同领域间
灵活思考的能力，

因为我们的大脑已经
成功做到了这些。对吧？

我的意思是，
大脑里其实都是原子，

只要我们继续建造这些原子体系，

我们就能实现越来越多的智慧行为，

我们最终将会，
当然除非我们被干扰，

我们最终将会给我们的机器赋予

广泛意义上的智能。

我们要知道这个进程的速度并不重要，

因为任何进程都足够
让我们走进死胡同。

甚至不需要考虑摩尔定律，
也不需要用指数函数来衡量，

这一切顺其自然都会发生。

第二个假设是，我们会一直创新。

去继续改进我们的智能机器。

由于智慧的价值就是——

提供我们所珍爱的事物，

或是用于保护我们所珍视的一切。

智慧就是我们最有价值的资源。

所以我们想继续革新它。

因为我们有很多需要
迫切解决的问题。

我们想要治愈像阿兹海默症
和癌症这样的疾病，

我们想要了解经济系统，
想要改善我们的气候科学，

所以只要可能，
我们就会将革新继续下去。

而且革新的列车早已驶出，
车上却没有刹车。

第三种假设是：
人类没有登上智慧的巅峰，

甚至连接近可能都谈不上。

这个想法十分关键。

这就是为什么
我们所处的环境是很危险的，

这也是为什么我们对风险的
直觉是不可靠的。

现在，请大家想一下
谁是世界上最聪明的人。

几乎每个人的候选名单里都会
有约翰·冯·诺伊曼。

冯·诺伊曼留给周围人的印象

就是他是那个时代当中最杰出的
数学家和物理学家，

这些都是完好的记录在案的。

即使他的故事里有一半是假的，

都没有人会质疑

他仍然是世界上最聪明的人之一。

那么，让我们来看看智慧谱线吧。

现在我们有了约翰·冯·诺伊曼，

还有我们大家。

另外还有一只鸡。

（笑声）

抱歉，母鸡的位置应该在这。

（笑声）

这个演讲已经够严肃了，
开个玩笑轻松一下。

（笑声）

然而，很可能的情况是，
智慧谱线上的内容

已远远超出了我们的认知，

如果我们建造了比
自身更聪明的机器，

它们将非常可能
以超乎寻常的方式

延展这个谱线，

最终超越人类。

仅仅从速度方面考虑，
我们就能够意识到这一点。

那么，现在让我们来想象一下
我们刚建好一个超级人工智能机器，

大概和斯坦福
或是麻省理工学院的研究员的

平均水平差不多吧。

但是，电路板要比生物系统

运行速度快一百万倍，

所以这个机器思考起来
会比那些打造它的大脑

快一百万倍。

当你让它运行一周后，

它将能呈现出相当于人类智慧在
20000年间发展出的水平，

而这个过程将周而复始。

那么，我们又怎么能理解，
更不用说去制约

一个以如此速度运行的机器呢？

坦白讲，另一件令人担心的事就是，

我们考虑一下最理想的情景。

想象我们正好做出了
一个没有任何安全隐患的

超级人工智能。

我们有了一个前所未有的完美设计。

就好像我们被赐予了一件神物，

它能够准确的执行目标动作。

这个机器将完美的节省人力工作。

它设计出的机器
能够再生产其他机器，

去完成所有的人力工作。

由太阳能供电，

而成本的多少仅取决于原材料。

那么，我们正在谈论的
就是人力劳动的终结。

也关乎脑力劳动的终结。

那在这种情况下，
像我们这样的"大猩猩"还能有什么用呢？

我们可以悠闲地玩飞盘，
给彼此做按摩。

服用一些迷药，
穿一些奇装异服，

整个世界都沉浸在狂欢节之中。

（笑声）

那可能听起来挺棒的，

不过让我们扪心自问，

在现有的经济和政治体制下，
这意味着什么？

我们很可能会目睹

前所未有的贫富差距

和失业率。

有钱人不愿意马上把这笔新的财富

贡献出来服务社会，

这时一些千万富翁能够优雅地
登上商业杂志的封面，

而剩下的人可能都在挨饿。

如果听说硅谷里的公司

即将造出超级人工智能，

俄国人和中国人
会采取怎样的行动呢？

那个机器将能够
以一种前所未有的能力

去开展由领土问题和

网络问题引发的战争。

这是一个胜者为王的世界。

机器世界中的半年，

在现实世界至少会相当于

50万年。

所以仅仅是关于这种科技突破的传闻，

就可以让我们的种族丧失理智。

在我的观念里，

当前最可怕的东西

正是人工智能的研究人员

安慰我们的那些话。

最常见的理由就是关于时间。

他们会说，现在开始担心还为时尚早。

这很可能是50年或者
100年之后才需要担心的事。

一个研究人员曾说过，

“担心人工智能的安全性

就好比担心火星上人口过多一样。”

这就是硅谷版本的

“不要杞人忧天。”

（笑声）

似乎没有人注意到

以时间作为参考系

是得不出合理的结论的。

如果说智慧只包括信息处理，

然后我们继续改善这些机器，

那么我们终将生产出超级智能。

但是，我们无法预估将花费多长时间

来创造实现这一切的安全环境。

我再重复一遍。

我们无法预估将花费多长时间

来创造实现这一切的安全环境。

你们可能没有注意过，
50年的概念已今非昔比。

这是用月来衡量50年的样子。
（每个点表示一个月）

红色的点是代表苹果手机出现的时间。

这是《辛普森一家》（动画片）
在电视上播出以来的时间。

要做好准备面对
人类历史上前所未有的挑战，

50年时间并不是很长。

就像我刚才说的，
我们对确定会来临的事情

做出了不合理的回应。

计算机科学家斯图尔特·罗素
给出了一个极好的类比。

他说，想象我们从
外太空接收到一条讯息，

上面写着：

“地球上的人类，

我们将在五十年后到达你们的星球，

做好准备吧。”

于是我们就开始倒计时，
直到它们的“母舰”着陆吗？

在这种情况下我们会感到更紧迫。

另外一个试图安慰我们的理由是，

那些机器必须
拥有和我们一样的价值观，

因为它们将会是我们自身的延伸。

它们将会被嫁接到我们的大脑上，

我们将会成它们的边缘系统。

现在我们再思考一下

最安全的，也是唯一经慎重考虑后

推荐的发展方向，

是将这项技术直接植入我们大脑。

这也许确实是最安全的，
也是唯一慎重的发展方向，

但通常在我们把它塞进脑袋之前，

会充分考虑这项技术的安全性。

（笑声）

更深一层的问题是：
仅仅制造出超级人工智能机器

可能要比

既制造超级人工智能，

又让其拥有能让
我们的思想和超级人工智能

无缝对接的完整的
神经科学系统要简单很多。

而做这些研究的公司或政府，

很可能将彼此视作竞争对手，

因为赢得了比赛就意味着称霸了世界，

前提是不在刚成功后就将其销毁，

所以结论是：简单的选项

一定会被先实现。

但很遗憾，
除了建议更多人去思考这个问题，

我对此并无解决方案。

我觉得在人工智能问题上，

我们需要一个“曼哈顿计划”
（二战核武器研究计划），

不是用于讨论如何制造人工智能，
因为我们一定会这么做，

而是去避免军备竞赛，

最终以一种有利于
我们的方式去打造它。

当你在谈论一个可以自我改造的

超级人工智能时，

我们似乎只有
一次正确搭建初始系统的机会，

而这个正确的初始系统

需要我们在经济以及政治上
做出很大的努力。

但是当我们承认

信息处理是智慧的源头，

承认一些电脑系统是智能的基础，

承认我们会不断改善这些系统，

承认我们现存的认知远没有达到极限，

将很可能被超越，

我们又必须同时承认

我们在某种意义上
正在创造一个新的“上帝”。

现在正是思考人类是否

能与这个“上帝”和睦相处的最佳时机。

非常感谢！

（掌声）