0:00:00.760,0:00:05.160
在 138 亿年的历史之后，

0:00:05.160,0:00:07.366
我们的宇宙终于觉醒了，

0:00:07.366,0:00:08.840
并开始有了自我意识。

0:00:09.480,0:00:11.506
从一颗蓝色的小星球，

0:00:11.506,0:00:15.576
宇宙中那些有了微小意识的部分，[br]开始用它们的望远镜，

0:00:15.576,0:00:17.022
窥视整个宇宙，

0:00:17.022,0:00:18.480
从而有了谦卑的发现。

0:00:19.320,0:00:22.200
宇宙比我们祖先所想象的

0:00:22.200,0:00:23.440
要大得多，

0:00:23.440,0:00:27.810
使得生命显得如同渺小的扰动，[br]小到足以被忽视，

0:00:27.810,0:00:29.990
但若没有它们的存在，[br]宇宙也没了生命。

0:00:30.320,0:00:33.320
不过我们也发现了[br]一些振奋人心的事，

0:00:33.320,0:00:36.320
那就是我们所开发的技术，[br]有着前所未有的潜能

0:00:36.320,0:00:39.200
去促使生命变得更加繁盛，

0:00:39.200,0:00:42.386
不仅仅只有几个世纪，[br]而是持续了数十亿年；

0:00:42.386,0:00:46.480
也不仅仅是地球上，[br]甚至是在整个浩瀚的宇宙中。

0:00:47.680,0:00:51.000
我把最早的生命[br]称之为 “生命 1.0”，

0:00:51.000,0:00:52.486
因为它那会儿还略显蠢笨，

0:00:52.486,0:00:56.816
就像细菌，在它们的一生中，[br]也不会学到什么东西。

0:00:56.816,0:01:00.166
我把我们人类称为 “生命 2.0”，[br]因为我们能够学习，

0:01:00.166,0:01:01.836
用技术宅男的话来说，

0:01:01.836,0:01:04.956
就像是在我们脑袋里[br]装了一个新的软件，

0:01:04.956,0:01:07.040
比如语言及工作技能。

0:01:07.680,0:01:12.036
而“生命 3.0” 不仅能开始设计[br]它的软件，甚至还可以创造其硬件。

0:01:12.036,0:01:13.726
当然，它目前还不存在。

0:01:13.726,0:01:17.496
但是也许我们的科技[br]已经让我们走进了 “生命 2.1”，

0:01:17.496,0:01:21.886
因为现在我们有了人工膝盖，[br]心脏起搏器以及耳蜗植入技术。

0:01:21.886,0:01:25.720
我们一起来聊聊[br]人类和科技的关系吧！

0:01:26.800,0:01:28.066
举个例子，

0:01:28.066,0:01:33.396
阿波罗 11 号月球任务[br]很成功，令人备受鼓舞，

0:01:33.396,0:01:36.426
展示出了我们人类[br]对于使用科技的智慧，

0:01:36.426,0:01:40.396
我们实现了很多[br]祖先们只能想象的事情。

0:01:40.396,0:01:43.336
但还有一段更加[br]鼓舞人心的旅程，

0:01:43.360,0:01:46.040
由比火箭引擎更加强大的[br]东西所推动着，

0:01:47.200,0:01:49.596
乘客也不仅仅只是三个宇航员，

0:01:49.596,0:01:51.366
而是我们全人类。

0:01:51.366,0:01:54.280
让我们来聊聊与人工智能[br]一起走向未来的

0:01:54.280,0:01:56.320
这段旅程。

0:01:56.960,0:02:01.576
我的朋友扬·塔林（Jaan Tallinn）常说，[br]这就像是火箭学一样，

0:02:01.576,0:02:04.680
只让我们的科技[br]拥有强大的力量是不够的。

0:02:05.560,0:02:08.709
如果我们有足够的[br]雄心壮志，就应当想出

0:02:08.709,0:02:10.225
如何控制它们的方法，

0:02:10.225,0:02:12.280
希望它朝着怎样的方向前进。

0:02:12.880,0:02:15.720
那么对于人工智能，[br]我们先来谈谈这三点：

0:02:16.440,0:02:19.546
力量，操控和目的地。

0:02:19.546,0:02:20.806
我们先来说力量。

0:02:21.600,0:02:24.766
我对于人工智能的定义非常全面——

0:02:24.766,0:02:29.096
就是我们能够完成复杂目标的能力，

0:02:29.096,0:02:32.946
因为我想把生物学[br]和人工智能都包含进去。

0:02:32.946,0:02:36.920
我还想要避免愚蠢的[br]碳沙文主义的观点，

0:02:36.920,0:02:39.320
即你认为如果你很聪明，[br]你就一定有着肉身。

0:02:40.880,0:02:45.056
人工智能的力量[br]在近期的发展十分惊人。

0:02:45.060,0:02:46.386
试想一下。

0:02:46.386,0:02:49.560
甚至在不久以前，[br]机器人还不能走路呢。

0:02:51.040,0:02:52.760
现在，它们居然开始后空翻了。

0:02:54.080,0:02:55.936
不久以前，

0:02:55.936,0:02:57.680
我们还没有全自动驾驶汽车。

0:02:58.920,0:03:01.400
现在，我们都有[br]自动飞行的火箭了。

0:03:03.960,0:03:05.406
不久以前，

0:03:05.406,0:03:08.046
人工智能甚至不能完成脸部识别。

0:03:08.046,0:03:11.010
现在，人工智能都开始[br]生成仿真面貌了，

0:03:11.010,0:03:15.200
并模拟你的脸部表情，[br]说出你从未说过的话。

0:03:16.400,0:03:17.890
不久以前，

0:03:17.890,0:03:19.880
人工智能还不能在围棋中战胜人类，

0:03:20.400,0:03:25.570
然后，谷歌的DeepMind推出的[br]AlphaZero 就掌握了人类三千多年的

0:03:25.570,0:03:26.770
围棋比赛和智慧，

0:03:26.770,0:03:31.446
通过和自己对战的方式轻松秒杀我们，[br]成了全球最厉害的围棋手。

0:03:31.800,0:03:35.546
这里最让人印象深刻的部分，[br]不是它击垮了人类棋手，

0:03:35.546,0:03:38.186
而是它击垮了人类人工智能的研究者，

0:03:38.186,0:03:41.800
这些研究者花了数十年[br]手工打造了下棋软件。

0:03:42.200,0:03:46.890
此外，AlphaZero也在国际象棋比赛中[br]轻松战胜了人类的人工智能研究者们，

0:03:46.890,0:03:49.360
我们从 1950 年[br]就开始致力于国际象棋研究。

0:03:50.000,0:03:54.240
所以近来，这些惊人的[br]人工智能进步，让大家不禁想问：

0:03:55.280,0:03:56.840
它到底能达到怎样的程度？

0:03:57.800,0:03:59.456
我在思考这个问题时，

0:03:59.456,0:04:02.526
想从工作任务中的抽象地景来切入，

0:04:02.526,0:04:06.006
图中的海拔高度表示[br]人工智能要把每一项工作

0:04:06.006,0:04:07.256
做到人类的水平的难度，

0:04:07.256,0:04:10.000
海平面表示现今的[br]人工智能所达到的水平。

0:04:11.120,0:04:13.216
随着人工智能的进步，[br]海平面会上升，

0:04:13.216,0:04:16.640
所以在这工作任务地景上，[br]有着类似全球变暖的后果。

0:04:18.040,0:04:21.375
很显然，我们要避免[br]从事那些近海区的工作——

0:04:21.379,0:04:22.686
（笑声）

0:04:22.686,0:04:25.586
这些工作不会一直由人来完成，[br]迟早要被自动化取代。

0:04:25.586,0:04:28.536
然而同时，还存在一个很大的问题，

0:04:28.540,0:04:30.620
水平面最后会升到多高？

0:04:31.440,0:04:34.640
它最后是否会升高到淹没一切，

0:04:35.840,0:04:38.376
人工智能会不会[br]最终能胜任所有的工作？

0:04:38.376,0:04:42.146
这就成了通用人工智能[br]（Artificial general intelligence）——

0:04:42.146,0:04:43.466
缩写是 AGI，

0:04:43.466,0:04:46.520
从一开始它就是[br]人工智能研究最终的圣杯。

0:04:47.000,0:04:48.816
根据这个定义，有人说，

0:04:48.816,0:04:52.276
“总是有些工作，[br]人类可以做得比机器好的。”

0:04:52.276,0:04:55.160
意思就是，我们永远不会有 AGI。

0:04:55.680,0:04:59.296
当然，我们可以仍然[br]保留一些人类的工作，

0:04:59.296,0:05:02.406
或者说，通过我们的工作[br]带给人类收入和生活目标，

0:05:02.406,0:05:06.206
但是不论如何， AGI [br]都会转变我们对生命的认知，

0:05:06.206,0:05:09.006
人类或许不再是最有智慧的了。

0:05:09.006,0:05:12.616
如果海平面真的[br]上升到 AGI 的高度，

0:05:12.620,0:05:17.956
那么进一步的人工智能进展[br]将会由人工智能来引领，而非人类，

0:05:17.960,0:05:19.866
那就意味着有可能，

0:05:19.866,0:05:22.246
进一步提升人工智能水平[br]将会进行得非常迅速，

0:05:22.246,0:05:25.606
甚至超越用年份来计算时间的[br]典型人类研究和发展，

0:05:25.606,0:05:29.646
提高到一种极具争议性的可能性，[br]那就是智能爆炸，

0:05:29.646,0:05:31.996
即能够不断做自我改进的人工智能

0:05:31.996,0:05:35.426
很快就会遥遥领先人类，

0:05:35.426,0:05:37.840
创造出所谓的超级人工智能。

0:05:39.800,0:05:42.080
好了，回归现实：

0:05:43.120,0:05:45.560
我们很快就会有 AGI 吗？

0:05:46.360,0:05:49.136
一些著名的 AI 研究者，[br]如罗德尼 · 布鲁克斯 （Rodney Brooks),

0:05:49.136,0:05:51.636
认为一百年内是没有可能的。

0:05:51.636,0:05:55.550
但是其他人，如谷歌DeepMind公司的[br]创始人德米斯 · 哈萨比斯（Demis Hassabis）

0:05:55.550,0:05:56.760
就比较乐观，

0:05:56.760,0:05:59.476
且努力想要它尽早实现。

0:05:59.476,0:06:02.756
近期的调查显示，[br]大部分的人工智能研究者

0:06:02.756,0:06:05.636
其实都和德米斯一样持乐观态度，

0:06:05.636,0:06:08.680
预期我们十年内就会有 AGI，

0:06:09.640,0:06:11.956
所以我们中许多人[br]在有生之年就能看到，

0:06:11.956,0:06:13.880
这就让人不禁想问——[br]那么接下来呢？

0:06:15.040,0:06:17.306
如果什么事情机器[br]都能做得比人好，

0:06:17.306,0:06:19.960
成本也更低，那么人类[br]又该扮演怎样的角色？

0:06:23.000,0:06:25.000
依我所见，我们面临一个选择。

0:06:26.000,0:06:27.616
选择之一是要自我满足。

0:06:27.616,0:06:31.426
我们可以说，“我们来建造机器，[br]让它来帮助我们做一切事情，

0:06:31.426,0:06:33.246
不要担心后果，

0:06:33.246,0:06:36.526
拜托，如果我们能打造出[br]让全人类都被淘汰的机器，

0:06:36.526,0:06:38.600
还有什么会出错吗？”

0:06:38.600,0:06:40.280
（笑声）

0:06:40.280,0:06:43.080
但我觉得那样真是差劲到悲哀。

0:06:44.080,0:06:47.636
我们认为我们应该更有野心——[br]带着 TED 的精神。

0:06:47.636,0:06:51.090
让我们来想象一个[br]真正鼓舞人心的高科技未来，

0:06:51.090,0:06:52.520
并试着朝着它前进。

0:06:53.720,0:06:57.306
这就把我们带到了火箭比喻的[br]第二部分：操控。

0:06:57.306,0:06:59.206
我们让人工智能的力量更强大，

0:06:59.206,0:07:03.066
但是我们要如何朝着[br]人工智能帮助人类未来更加繁盛，

0:07:03.066,0:07:06.120
而非变得挣扎的目标不断前进呢？

0:07:06.760,0:07:07.650
为了协助实现它，

0:07:07.650,0:07:09.956
我联合创办了 “未来生命研究所”[br]（Future of Life Institute）。

0:07:09.956,0:07:12.946
它是个小型的非营利机构，[br]旨在促进有益的科技使用，

0:07:12.946,0:07:15.606
我们的目标很简单，[br]就是希望生命的未来能够存在，

0:07:15.606,0:07:17.706
且越是鼓舞人心越好。

0:07:17.706,0:07:20.810
你们知道的，我爱科技。

0:07:20.810,0:07:23.800
现今之所以比石器时代更好，[br]就是因为科技。

0:07:24.600,0:07:28.680
我很乐观的认为我们能创造出[br]一个非常鼓舞人心的高科技未来……

0:07:29.680,0:07:31.094
如果——这个 “如果” 很重要——

0:07:31.094,0:07:33.640
如果我们能赢得这场[br]关于智慧的赛跑——

0:07:33.640,0:07:36.536
这场赛跑的两位竞争者[br]便是我们不断成长的科技力量

0:07:36.536,0:07:39.020
以及我们用来管理科技的[br]不断成长的智慧。

0:07:39.240,0:07:41.596
但这也需要策略上的改变。

0:07:41.596,0:07:44.600
因为我们以往的策略[br]往往都是从错误中学习的。

0:07:45.280,0:07:46.770
我们发明了火，

0:07:46.770,0:07:48.446
因为搞砸了很多次——

0:07:48.446,0:07:50.246
我们发明出了灭火器。

0:07:50.246,0:07:51.616
（笑声）

0:07:51.616,0:07:54.086
我们发明了汽车，[br]又一不小心搞砸了很多次——

0:07:54.086,0:07:56.511
发明了红绿灯，安全带[br]和安全气囊，

0:07:56.511,0:08:00.676
但对于更强大的科技，[br]像是核武器和 AGI，

0:08:00.676,0:08:04.026
要去从错误中学习，[br]似乎是个比较糟糕的策略，

0:08:04.026,0:08:05.246
你们怎么看？

0:08:05.246,0:08:06.070
（笑声）

0:08:06.070,0:08:08.896
事前的准备比事后的[br]补救要好得多；

0:08:08.896,0:08:11.246
提早做计划，争取一次成功，

0:08:11.246,0:08:13.746
因为有时我们或许[br]没有第二次机会。

0:08:13.746,0:08:15.740
但有趣的是，[br]有时候有人告诉我。

0:08:15.740,0:08:18.760
“麦克斯，嘘——别那样说话。

0:08:18.760,0:08:21.520
那是勒德分子（注：持有反机械化，[br]反自动化观点的人）在制造恐慌。“

0:08:22.040,0:08:23.646
但这并不是制造恐慌。

0:08:23.646,0:08:26.480
在麻省理工学院，[br]我们称之为安全工程。

0:08:27.200,0:08:28.380
想想看：

0:08:28.380,0:08:30.706
在美国航天局（NASA）[br]部署阿波罗 11 号任务之前，

0:08:30.706,0:08:33.780
他们全面地设想过[br]所有可能出错的状况，

0:08:33.780,0:08:36.276
毕竟是要把人类放进[br]易燃易爆的太空舱里，

0:08:36.276,0:08:38.620
再将他们发射上[br]一个无人能助的境遇。

0:08:38.620,0:08:40.876
可能出错的情况非常多，

0:08:40.876,0:08:42.320
那是在制造恐慌吗？

0:08:43.159,0:08:44.120
不是。

0:08:44.120,0:08:46.230
那正是在做安全工程的工作，

0:08:46.230,0:08:48.300
以确保任务顺利进行，

0:08:48.300,0:08:52.656
这正是我认为处理 AGI 时[br]应该采取的策略。

0:08:52.656,0:08:56.676
想清楚什么可能出错，[br]然后避免它的发生。

0:08:56.680,0:08:59.246
基于这样的精神，[br]我们组织了几场大会，

0:08:59.246,0:09:02.020
邀请了世界顶尖的人工智能研究者[br]和其他有想法的专业人士，

0:09:02.020,0:09:05.906
来探讨如何发展这样的智慧，[br]从而确保人工智能对人类有益。

0:09:05.906,0:09:09.176
我们最近的一次大会[br]去年在加州的阿西洛玛举行，

0:09:09.176,0:09:12.256
我们得出了 23 条原则，

0:09:12.256,0:09:15.176
自此已经有超过 1000 位[br]人工智能研究者，以及核心企业的

0:09:15.176,0:09:16.486
领导人参与签署。

0:09:16.486,0:09:19.696
我想要和各位分享[br]其中的三项原则。

0:09:19.696,0:09:24.640
第一，我们需要避免军备竞赛，[br]以及致命的自动化武器出现。

0:09:25.480,0:09:29.090
其中的想法是，任何科学都可以[br]用新的方式来帮助人们，

0:09:29.090,0:09:30.696
同样也可以以新的方式[br]对我们造成伤害。

0:09:30.696,0:09:34.666
例如，生物和化学更可能被用来

0:09:34.666,0:09:39.480
制造新的医药用品，[br]而非带来新的杀人方法，

0:09:39.480,0:09:41.756
因为生物学家和[br]化学家很努力——

0:09:41.756,0:09:43.066
也很成功地——在推动

0:09:43.066,0:09:45.206
禁止生化武器的出现。

0:09:45.206,0:09:46.496
基于同样的精神，

0:09:46.496,0:09:50.920
大部分的人工智能研究者也在[br]试图指责和禁止致命的自动化武器。

0:09:51.600,0:09:53.516
另一条阿西洛玛[br]人工智能会议的原则是，

0:09:53.516,0:09:57.176
我们应该要减轻[br]由人工智能引起的收入不平等。

0:09:57.176,0:10:01.646
我认为，我们能够大幅度利用[br]人工智能发展出一块经济蛋糕，

0:10:01.646,0:10:04.080
但却没能相处如何来分配它

0:10:04.080,0:10:05.716
才能让所有人受益，

0:10:05.720,0:10:07.046
那可太丢人了。

0:10:07.046,0:10:11.196
（掌声）

0:10:11.196,0:10:14.720
那么问一个问题，如果[br]你的电脑有死机过的，请举手。

0:10:15.480,0:10:16.796
（笑声）

0:10:16.796,0:10:18.476
哇，好多人举手。

0:10:18.476,0:10:20.676
那么你们就会感谢这条准则，

0:10:20.676,0:10:23.816
我们应该要投入更多[br]以确保对人工智能安全性的研究，

0:10:23.816,0:10:27.506
因为我们让人工智能在主导[br]更多决策以及基础设施时，

0:10:27.506,0:10:31.080
我们要了解如何将[br]会出现程序错误以及有漏洞的电脑，

0:10:31.080,0:10:33.500
转化为可靠的人工智能，

0:10:33.500,0:10:34.366
否则的话，

0:10:34.366,0:10:37.550
这些了不起的新技术[br]就会出现故障，反而伤害到我们，

0:10:37.550,0:10:39.666
或被黑入以后转而对抗我们。

0:10:39.666,0:10:45.386
这项人工智能安全性的工作[br]必须包含对人工智能价值观的校准，

0:10:45.386,0:10:48.160
因为 AGI 会带来的威胁[br]通常并非出于恶意——

0:10:48.160,0:10:49.916
就像是愚蠢的[br]好莱坞电影中表现的那样，

0:10:49.916,0:10:51.666
而是源于能力——

0:10:51.666,0:10:55.126
AGI 想完成的目标[br]与我们的目标背道而驰。

0:10:55.126,0:10:59.886
例如，当我们人类促使了[br]西非的黑犀牛灭绝时，

0:10:59.886,0:11:03.776
并不是因为我们是邪恶[br]且痛恨犀牛的家伙，对吧？

0:11:03.776,0:11:05.846
我们能够做到[br]只是因为我们比它们聪明，

0:11:05.846,0:11:08.466
而我们的目标和它们的目标相违背。

0:11:08.466,0:11:11.146
但是 AGI 在定义上就比我们聪明，

0:11:11.146,0:11:14.726
所以必须确保我们别让[br]自己落到了黑犀牛的境遇，

0:11:14.726,0:11:16.786
如果我们发明 AGI，[br]

0:11:16.786,0:11:20.956
首先就要解决如何[br]让机器明白我们的目标，

0:11:20.956,0:11:24.080
选择采用我们的目标，[br]并一直跟随我们的目标。

0:11:25.320,0:11:28.246
不过，这些目标到底是谁的目标？

0:11:28.246,0:11:30.146
这些目标到底是什么目标？

0:11:30.146,0:11:34.070
这就引出了火箭比喻的[br]第三部分：目的地。

0:11:35.160,0:11:37.056
我们要让人工智能的力量更强大，

0:11:37.056,0:11:38.906
试图想办法来操控它，

0:11:38.906,0:11:40.870
但我们到底想把它带去何方呢？

0:11:41.760,0:11:45.466
这就像是房间里的大象，[br]显而易见却无人问津——

0:11:45.466,0:11:47.326
甚至在 TED 也没人谈论——

0:11:47.326,0:11:51.400
因为我们都把目光[br]聚焦于短期的人工智能挑战。

0:11:52.080,0:11:56.776
你们看，我们人类[br]正在试图建造 AGI，

0:11:56.776,0:12:00.306
由我们的好奇心[br]以及经济需求所带动，

0:12:00.306,0:12:03.960
但如果我们能成功，[br]希望能创造出怎样的未来社会呢？

0:12:04.680,0:12:06.476
最近对于这一点，[br]我们做了一次观点投票，

0:12:06.476,0:12:07.600
结果很让我惊讶，

0:12:07.600,0:12:10.720
大部分的人其实希望[br]我们能打造出超级人工智能：

0:12:10.720,0:12:13.960
在各个方面都[br]比我们聪明的人工智能，

0:12:15.120,0:12:18.530
大家甚至一致希望[br]我们应该更有野心，

0:12:18.530,0:12:20.560
并协助生命在宇宙中的拓展，

0:12:20.560,0:12:25.070
但对于应该由谁，或者什么来主导，[br]大家就各持己见了。

0:12:25.070,0:12:26.956
有件事我觉得非常奇妙，

0:12:26.956,0:12:30.376
就是我看到有些人居然表示[br]让机器主导就好了。

0:12:30.376,0:12:32.136
（笑声）

0:12:32.136,0:12:35.986
至于人类该扮演怎样的角色，[br]大家的意见简直就是大相径庭，

0:12:35.986,0:12:37.986
即使在最基础的层面上也是，

0:12:37.986,0:12:40.750
那么让我们进一步[br]去看看这些可能的未来，

0:12:40.750,0:12:43.490
我们可能去往目的地，怎么样？

0:12:43.490,0:12:44.780
别误会我的意思，

0:12:44.780,0:12:47.026
我不是在谈论太空旅行，

0:12:47.026,0:12:50.200
只是打个比方，[br]人类进入未来的这个旅程。

0:12:50.920,0:12:54.446
我的一些研究人工智能的同事[br]很喜欢的一个选择就是

0:12:54.446,0:12:58.050
打造人工智能，[br]并确保它被人类所控制，

0:12:58.050,0:12:59.896
就像被奴役起来的神一样，

0:12:59.896,0:13:01.456
网络连接被断开，

0:13:01.456,0:13:04.756
为它的操控者创造出无法想象的

0:13:04.756,0:13:05.960
科技和财富。

0:13:06.800,0:13:08.296
但是艾克顿勋爵（Lord Acton）[br]警告过我们，

0:13:08.296,0:13:11.936
权力会带来腐败，[br]绝对的权力终将带来绝对的腐败，

0:13:11.936,0:13:15.976
所以也许你会担心[br]我们人类就是还不够聪明，

0:13:15.980,0:13:17.530
或者不够智慧，

0:13:17.530,0:13:19.230
无法妥善处理过多的权力。

0:13:19.640,0:13:22.206
还有，除了对于奴役带来的优越感，

0:13:22.206,0:13:24.536
你可能还会产生道德上的忧虑，

0:13:24.536,0:13:28.576
你也许会担心人工智能[br]能够在智慧上超越我们，

0:13:28.576,0:13:30.760
奋起反抗，并取得我们的控制权。

0:13:31.560,0:13:35.006
但是我也有同事认为，[br]让人工智能来操控一切也无可厚非，

0:13:35.006,0:13:37.346
造成人类灭绝也无妨，

0:13:37.346,0:13:40.936
只要我们觉得人工智能[br]配得上成为我们的后代，

0:13:40.936,0:13:42.426
就像是我们的孩子。

0:13:42.680,0:13:48.356
但是我们如何才能知道[br]人工智能汲取了我们最好的价值观，

0:13:48.356,0:13:52.766
而不是只是一个无情的僵尸，[br]让我们误以为它们有人性？

0:13:52.766,0:13:55.576
此外，那些绝对不想[br]看到人类灭绝的人，

0:13:55.580,0:13:57.040
对此应该也有话要说吧？

0:13:58.200,0:14:01.606
如果这两个高科技的选择[br]都不是你所希望的，

0:14:01.606,0:14:04.760
请记得，从宇宙历史的角度来看，

0:14:04.760,0:14:06.086
低级的科技如同自杀，

0:14:06.086,0:14:08.316
因为如果我们不能[br]远远超越今天的科技，

0:14:08.316,0:14:11.200
问题就不再是人类是否会灭绝，

0:14:11.200,0:14:13.330
而是让我们灭绝的会是下一次

0:14:13.330,0:14:15.656
巨型流星撞击地球，[br]还是超级火山爆发，

0:14:15.656,0:14:18.766
亦或是一些其他本该可以[br]由更好的科技来解决的问题。

0:14:18.766,0:14:22.330
所以，为什么不干脆[br]坐享其成……

0:14:22.330,0:14:24.200
使用非奴役的 AGI，

0:14:25.120,0:14:28.336
因为价值观和我们一致，[br]愿意和我们并肩作战的 AGI？

0:14:28.336,0:14:32.536
尤多科斯基（Eliezer Yudkowsky) 所谓的[br]“友善的人工智能” 就是如此，

0:14:32.536,0:14:35.200
若我们能做到这点，那简直太棒了。

0:14:35.840,0:14:40.590
它或许不会解决负面的影响，[br]如疾病，贫穷，

0:14:40.590,0:14:42.226
犯罪或是其它，

0:14:42.226,0:14:44.976
但是它会给予我们自由，

0:14:44.980,0:14:49.146
让我们从那些正面的[br]境遇中去选择——

0:14:49.146,0:14:52.240
让我们成为自己命运的主人。

0:14:54.280,0:14:55.630
总的来说，

0:14:55.630,0:14:58.826
在科技上，我们的现状很复杂，

0:14:58.826,0:15:01.266
但是若从大局来看，又很简单。

0:15:01.266,0:15:04.746
多数人工智能的研究者认为 [br]AGI 能在未来十年内实现，

0:15:04.746,0:15:07.916
如果我们没有事先[br]准备好去面对它们，

0:15:07.916,0:15:11.316
就可能成为人类历史上[br]最大的一个错误——

0:15:11.316,0:15:12.696
我们要面对现实。

0:15:12.696,0:15:15.306
它可能导致残酷的[br]全球独裁主义变成现实，

0:15:15.306,0:15:18.846
造成前所未有的[br]不平等监控和苦难，

0:15:18.846,0:15:20.886
或许甚至导致人类灭绝。

0:15:20.886,0:15:23.160
但是如果我们能小心操控，

0:15:24.040,0:15:27.976
我们可能会有个美好的未来，[br]人人都会受益的未来，

0:15:27.976,0:15:30.436
穷人变得富有，富人变得更富有，[br]

0:15:30.436,0:15:34.320
每个人都是健康的，[br]能自由地去实现他们的梦想。

0:15:35.000,0:15:36.606
不过先别急。

0:15:36.606,0:15:41.176
你们希望未来的政治[br]是左派还是右派？

0:15:41.176,0:15:44.010
你们想要一个有[br]严格道德准则的社会，

0:15:44.010,0:15:45.916
还是一个人人可参与的[br]享乐主义社会，

0:15:45.916,0:15:48.146
更像是个无时无刻[br]不在运转的火人盛会？

0:15:48.146,0:15:50.586
你们想要美丽的海滩、森林和湖泊，

0:15:50.590,0:15:53.370
还是偏好用电脑[br]重新排列组成新的原子，

0:15:53.370,0:15:55.449
实现真正的虚拟现实？

0:15:55.449,0:15:58.926
有了友善的人工智能，[br]我们就能轻而易举地建立这些社会，

0:15:58.926,0:16:01.790
让大家有自由去选择[br]想要生活在怎样的社会里，

0:16:01.790,0:16:05.296
因为我们不会再受到[br]自身智慧的限制，

0:16:05.296,0:16:06.826
唯一的限制只有物理的定律。

0:16:06.826,0:16:11.360
所以资源和空间会取之不尽——

0:16:11.360,0:16:12.720
毫不夸张。

0:16:13.320,0:16:14.520
我们的选择如下：

0:16:15.880,0:16:18.200
我们可以对未来感到自满，

0:16:19.440,0:16:22.186
带着盲目的信念，

0:16:22.186,0:16:26.166
相信任何科技必定是有益的，

0:16:26.166,0:16:30.290
并将这个想法当作[br]圣歌一般，不断默念，

0:16:30.290,0:16:34.000
让我们像漫无目的船只，[br]驶向自我消亡的结局。

0:16:34.920,0:16:36.800
或者，我们可以拥有雄心壮志——

0:16:37.840,0:16:40.346
努力去找到操控我们科技的方法，

0:16:40.346,0:16:42.240
以及向往的目的地，

0:16:42.240,0:16:44.040
创造出真正令人惊奇的时代。

0:16:45.000,0:16:47.916
我们相聚在这里，[br]赞颂这令人惊奇的时代，

0:16:47.916,0:16:52.320
我觉得，它的精髓应当是，[br]让科技赋予我们力量，

0:16:53.240,0:16:55.840
而非反过来受控于它。

0:16:55.840,0:16:57.256
谢谢大家。

0:16:57.260,0:17:00.360
（掌声）