1
00:00:01,000 --> 00:00:03,406
我想谈论一种我们
很多人都经历过的

2
00:00:03,406 --> 00:00:04,840
来自于直觉上的失误。

3
00:00:05,480 --> 00:00:08,520
它让人们无法察觉到
一种特定危险的存在。

4
00:00:09,360 --> 00:00:11,090
我要向大家描述一个情景，

5
00:00:11,090 --> 00:00:14,416
一个我觉得既令人害怕，

6
00:00:14,416 --> 00:00:16,160
却又很可能发生的情景。

7
00:00:16,840 --> 00:00:18,480
这样一个组合的出现，

8
00:00:18,480 --> 00:00:20,050
显然不是一个好的征兆。

9
00:00:20,050 --> 00:00:22,490
不过，在座的大部分人都会觉得，

10
00:00:22,490 --> 00:00:24,640
我要谈论的这件事其实挺酷的。

11
00:00:25,200 --> 00:00:28,216
我将描述我们从人工智能中

12
00:00:28,216 --> 00:00:29,940
获得的好处，

13
00:00:29,940 --> 00:00:31,770
将怎样彻底地毁灭我们。

14
00:00:31,770 --> 00:00:34,680
事实上，想看到人工智能
最终不摧毁我们是很难的，

15
00:00:34,680 --> 00:00:36,960
或者说它必将驱使我们自我毁灭。

16
00:00:37,400 --> 00:00:39,220
如果你和我有共同点，

17
00:00:39,220 --> 00:00:41,910
你会发现思考这些问题
是相当有趣的。

18
00:00:41,910 --> 00:00:45,310
而这种反应就是问题的一部分。

19
00:00:45,310 --> 00:00:47,080
因为这种想法应该使你感到担忧。

20
00:00:47,920 --> 00:00:50,550
假如我想在这个演讲中让你们相信，

21
00:00:50,550 --> 00:00:53,980
我们因为气候变化或者其他灾难，

22
00:00:53,980 --> 00:00:57,070
很可能会遭受全球性的饥荒，

23
00:00:57,070 --> 00:01:00,500
同时，你们的子孙后辈

24
00:01:00,500 --> 00:01:02,360
都可能在这样的饥荒中挣扎求生，

25
00:01:03,200 --> 00:01:04,400
你们就不会觉得

26
00:01:05,440 --> 00:01:06,730
“真有趣，

27
00:01:06,730 --> 00:01:08,000
我喜欢这个TED演讲。”

28
00:01:09,200 --> 00:01:10,720
因为饥荒一点都不有趣。

29
00:01:11,800 --> 00:01:15,170
不过，科幻小说中的死亡
往往却引人入胜。

30
00:01:15,170 --> 00:01:18,676
所以我现在最担心的一个问题是，

31
00:01:18,676 --> 00:01:23,340
人们对人工智能的发展将带来的危险，

32
00:01:23,340 --> 00:01:25,120
似乎还没有形成一个正确的认识。

33
00:01:25,120 --> 00:01:28,860
我也同样如此，所以我想
在这个演讲中和大家一起探讨。

34
00:01:30,120 --> 00:01:32,800
我们就像站在了两扇门前。

35
00:01:32,800 --> 00:01:34,080
在第一扇门后面，

36
00:01:34,080 --> 00:01:37,400
我们停下打造智能机器的脚步。

37
00:01:37,400 --> 00:01:41,420
某些原因也使我们停止了
对电脑软件和硬件的升级。

38
00:01:41,420 --> 00:01:44,480
现在让我们想一下为什么会这样。

39
00:01:45,080 --> 00:01:48,720
我的意思是，当我们认识到
智能和自动化不可估量的价值时，

40
00:01:48,720 --> 00:01:52,280
我们总会竭尽所能的改善这些科技。

41
00:01:53,200 --> 00:01:54,867
那么，什么会使我们停下脚步呢？

42
00:01:55,800 --> 00:01:57,600
一场大规模的核战争？

43
00:01:59,000 --> 00:02:00,560
一次全球性的瘟疫？

44
00:02:02,320 --> 00:02:03,566
一个小行星撞击了地球？

45
00:02:05,540 --> 00:02:08,190
或者是贾斯汀·比伯成为了美国总统？

46
00:02:08,190 --> 00:02:10,520
（笑声）

47
00:02:12,760 --> 00:02:16,680
重点是，总有一个事物
会摧毁人类现有的文明。

48
00:02:17,360 --> 00:02:21,640
你需要思考这个灾难究竟有多恐怖，

49
00:02:21,640 --> 00:02:24,980
才会永久性地阻止我们

50
00:02:24,980 --> 00:02:26,240
发展科技，

51
00:02:26,240 --> 00:02:28,270
永久性的。

52
00:02:28,270 --> 00:02:29,990
光想想它，
就觉得这将是人类历史上

53
00:02:29,990 --> 00:02:32,470
能发生的最惨绝人寰的事了。

54
00:02:32,470 --> 00:02:33,780
那么，我们唯一剩下的选择，

55
00:02:33,780 --> 00:02:36,140
就藏在第二扇门的后面，

56
00:02:36,140 --> 00:02:39,320
那就是我们持续
改进我们的智能机器，

57
00:02:39,320 --> 00:02:40,960
永不停歇。

58
00:02:41,720 --> 00:02:45,360
在将来的某一天，我们会
造出比我们更聪明的机器，

59
00:02:46,080 --> 00:02:48,150
一旦我们有了
比我们更聪明的机器，

60
00:02:48,150 --> 00:02:50,650
它们将进行自我改进。

61
00:02:50,650 --> 00:02:53,516
然后我们就会承担着
数学家IJ Good 所说的

62
00:02:53,516 --> 00:02:55,220
“智能爆炸”的风险，

63
00:02:55,220 --> 00:02:57,280
（科技进步的）
进程将不再受我们的控制。

64
00:02:58,120 --> 00:03:00,986
现在我们时常会看到
这样一些讽刺漫画，

65
00:03:00,986 --> 00:03:04,150
我们总会担心受到一些不怀好意的

66
00:03:04,150 --> 00:03:05,440
机器人军队的攻击。

67
00:03:05,440 --> 00:03:07,630
但这不是最可能出现的事情。

68
00:03:07,630 --> 00:03:13,040
我们的机器不会自动变得邪恶。

69
00:03:13,040 --> 00:03:15,826
所以，我们唯一的顾虑就是
我们将会打造

70
00:03:15,826 --> 00:03:17,726
比我们人类更有竞争力的机器。

71
00:03:17,726 --> 00:03:21,560
而一旦我们和它们的目标不一致，

72
00:03:21,560 --> 00:03:22,800
我们将会被摧毁。

73
00:03:23,960 --> 00:03:26,040
想想我们与蚂蚁的关系吧。

74
00:03:26,600 --> 00:03:28,230
我们不讨厌它们，

75
00:03:28,230 --> 00:03:30,330
我们不会去主动去伤害它们。

76
00:03:30,340 --> 00:03:32,370
实际上，我们经常会尽量
避免伤害蚂蚁。

77
00:03:32,370 --> 00:03:34,740
我们会选择从它们身边走过。

78
00:03:34,740 --> 00:03:36,910
但只要它们的存在

79
00:03:36,910 --> 00:03:39,420
妨碍到了我们达成目标，

80
00:03:39,420 --> 00:03:41,921
比如说当我们在建造这样一个建筑，

81
00:03:41,921 --> 00:03:43,941
我们会毫不手软地杀掉它们。

82
00:03:44,480 --> 00:03:47,350
所以我们的顾虑是，终将有一天
我们打造的机器，

83
00:03:47,350 --> 00:03:50,246
不管它们是否有意识，
它们终将会以

84
00:03:50,246 --> 00:03:52,590
我们对待蚂蚁的方式
来对待我们。

85
00:03:53,760 --> 00:03:56,520
我想很多人会说这很遥远。

86
00:03:57,360 --> 00:04:03,670
我打赌你们中有些人还会
怀疑超级人工智能是否可能实现，

87
00:04:03,670 --> 00:04:05,330
认为我是在小题大做。

88
00:04:05,330 --> 00:04:09,004
但是你很快会发现以下这些
假设中的某一个是有问题的。

89
00:04:09,004 --> 00:04:10,616
下面是仅有的三种假设：

90
00:04:11,800 --> 00:04:16,519
第一，智慧可以被看做
物理系统中的信息处理过程。

91
00:04:17,320 --> 00:04:19,539
事实上，这不仅仅是一个假设。

92
00:04:19,539 --> 00:04:23,390
我们已经在有些机器中
嵌入了智能系统，

93
00:04:23,390 --> 00:04:25,400
这些机器中很多已经

94
00:04:25,400 --> 00:04:28,120
有着超越普通人的智慧了。

95
00:04:28,840 --> 00:04:31,400
而且，我们也知道任何一点小事

96
00:04:31,400 --> 00:04:33,840
都可以引发所谓的“普遍智慧”，

97
00:04:33,840 --> 00:04:37,690
这是一种可以在不同领域间
灵活思考的能力，

98
00:04:37,690 --> 00:04:40,860
因为我们的大脑已经
成功做到了这些。对吧？

99
00:04:40,860 --> 00:04:44,780
我的意思是，
大脑里其实都是原子，

100
00:04:44,780 --> 00:04:49,350
只要我们继续建造这些原子体系，

101
00:04:49,350 --> 00:04:52,050
我们就能实现越来越多的智慧行为，

102
00:04:52,050 --> 00:04:54,656
我们最终将会，
当然除非我们被干扰，

103
00:04:54,660 --> 00:04:58,010
我们最终将会给我们的机器赋予

104
00:04:58,010 --> 00:04:59,350
广泛意义上的智能。

105
00:04:59,350 --> 00:05:03,040
我们要知道这个进程的速度并不重要，

106
00:05:03,040 --> 00:05:06,220
因为任何进程都足够
让我们走进死胡同。

107
00:05:06,220 --> 00:05:10,040
甚至不需要考虑摩尔定律，
也不需要用指数函数来衡量，

108
00:05:10,040 --> 00:05:11,680
这一切顺其自然都会发生。

109
00:05:13,480 --> 00:05:16,400
第二个假设是，我们会一直创新。

110
00:05:17,000 --> 00:05:19,760
去继续改进我们的智能机器。

111
00:05:21,000 --> 00:05:25,370
由于智慧的价值就是——

112
00:05:25,370 --> 00:05:28,930
提供我们所珍爱的事物，

113
00:05:28,940 --> 00:05:31,710
或是用于保护我们所珍视的一切。

114
00:05:31,710 --> 00:05:34,010
智慧就是我们最有价值的资源。

115
00:05:34,010 --> 00:05:35,530
所以我们想继续革新它。

116
00:05:35,530 --> 00:05:38,910
因为我们有很多需要
迫切解决的问题。

117
00:05:38,910 --> 00:05:42,160
我们想要治愈像阿兹海默症
和癌症这样的疾病，

118
00:05:42,960 --> 00:05:46,870
我们想要了解经济系统，
想要改善我们的气候科学，

119
00:05:46,870 --> 00:05:49,120
所以只要可能，
我们就会将革新继续下去。

120
00:05:49,120 --> 00:05:52,486
而且革新的列车早已驶出， 
车上却没有刹车。

121
00:05:53,880 --> 00:05:59,310
第三种假设是：
人类没有登上智慧的巅峰，

122
00:05:59,310 --> 00:06:01,160
甚至连接近可能都谈不上。

123
00:06:01,640 --> 00:06:03,240
这个想法十分关键。

124
00:06:03,240 --> 00:06:05,930
这就是为什么
我们所处的环境是很危险的，

125
00:06:05,930 --> 00:06:10,040
这也是为什么我们对风险的
直觉是不可靠的。

126
00:06:11,120 --> 00:06:13,840
现在，请大家想一下
谁是世界上最聪明的人。

127
00:06:14,640 --> 00:06:18,030
几乎每个人的候选名单里都会
有约翰·冯·诺伊曼。

128
00:06:18,030 --> 00:06:21,390
冯·诺伊曼留给周围人的印象

129
00:06:21,390 --> 00:06:25,460
就是他是那个时代当中最杰出的
数学家和物理学家，

130
00:06:25,460 --> 00:06:27,440
这些都是完好的记录在案的。

131
00:06:27,440 --> 00:06:31,240
即使他的故事里有一半是假的，

132
00:06:31,240 --> 00:06:32,390
都没有人会质疑

133
00:06:32,390 --> 00:06:34,820
他仍然是世界上最聪明的人之一。

134
00:06:34,820 --> 00:06:37,520
那么，让我们来看看智慧谱线吧。

135
00:06:38,320 --> 00:06:39,749
现在我们有了约翰·冯·诺伊曼，

136
00:06:41,560 --> 00:06:42,894
还有我们大家。

137
00:06:44,120 --> 00:06:45,380
另外还有一只鸡。

138
00:06:45,380 --> 00:06:47,330
（笑声）

139
00:06:47,330 --> 00:06:48,590
抱歉，母鸡的位置应该在这。

140
00:06:48,590 --> 00:06:49,860
（笑声）

141
00:06:49,860 --> 00:06:53,610
这个演讲已经够严肃了，
开个玩笑轻松一下。

142
00:06:53,610 --> 00:06:55,280
（笑声）

143
00:06:56,339 --> 00:06:59,790
然而，很可能的情况是，
智慧谱线上的内容

144
00:06:59,790 --> 00:07:02,960
已远远超出了我们的认知，

145
00:07:03,880 --> 00:07:07,050
如果我们建造了比
自身更聪明的机器，

146
00:07:07,050 --> 00:07:09,400
它们将非常可能
以超乎寻常的方式

147
00:07:09,400 --> 00:07:11,250
延展这个谱线，

148
00:07:11,250 --> 00:07:13,840
最终超越人类。

149
00:07:15,000 --> 00:07:19,300
仅仅从速度方面考虑，
我们就能够意识到这一点。

150
00:07:19,300 --> 00:07:24,400
那么，现在让我们来想象一下
我们刚建好一个超级人工智能机器，

151
00:07:24,400 --> 00:07:27,870
大概和斯坦福
或是麻省理工学院的研究员的

152
00:07:27,870 --> 00:07:30,190
平均水平差不多吧。

153
00:07:30,190 --> 00:07:32,990
但是，电路板要比生物系统

154
00:07:32,990 --> 00:07:34,440
运行速度快一百万倍，

155
00:07:34,440 --> 00:07:37,650
所以这个机器思考起来
会比那些打造它的大脑

156
00:07:37,650 --> 00:07:39,460
快一百万倍。

157
00:07:39,460 --> 00:07:41,150
当你让它运行一周后，

158
00:07:41,150 --> 00:07:45,760
它将能呈现出相当于人类智慧在
20000年间发展出的水平，

159
00:07:46,400 --> 00:07:48,360
而这个过程将周而复始。

160
00:07:49,640 --> 00:07:52,720
那么，我们又怎么能理解，
更不用说去制约

161
00:07:52,720 --> 00:07:55,040
一个以如此速度运行的机器呢？

162
00:07:56,840 --> 00:07:59,026
坦白讲，另一件令人担心的事就是，

163
00:07:59,026 --> 00:08:03,950
我们考虑一下最理想的情景。

164
00:08:03,950 --> 00:08:08,150
想象我们正好做出了
一个没有任何安全隐患的

165
00:08:08,150 --> 00:08:09,570
超级人工智能。

166
00:08:09,570 --> 00:08:12,840
我们有了一个前所未有的完美设计。

167
00:08:12,840 --> 00:08:15,090
就好像我们被赐予了一件神物，

168
00:08:15,090 --> 00:08:17,120
它能够准确的执行目标动作。

169
00:08:17,120 --> 00:08:20,880
这个机器将完美的节省人力工作。

170
00:08:21,680 --> 00:08:24,083
它设计出的机器
能够再生产其他机器，

171
00:08:24,083 --> 00:08:25,860
去完成所有的人力工作。

172
00:08:25,860 --> 00:08:27,360
由太阳能供电，

173
00:08:27,360 --> 00:08:30,050
而成本的多少仅取决于原材料。

174
00:08:30,050 --> 00:08:33,370
那么，我们正在谈论的
就是人力劳动的终结。

175
00:08:33,370 --> 00:08:36,200
也关乎脑力劳动的终结。

176
00:08:37,200 --> 00:08:40,240
那在这种情况下，
像我们这样的"大猩猩"还能有什么用呢？

177
00:08:40,240 --> 00:08:44,360
我们可以悠闲地玩飞盘，
给彼此做按摩。

178
00:08:45,840 --> 00:08:48,660
服用一些迷药，
穿一些奇装异服，

179
00:08:48,660 --> 00:08:50,860
整个世界都沉浸在狂欢节之中。

180
00:08:50,860 --> 00:08:52,560
（笑声）

181
00:08:54,320 --> 00:08:56,320
那可能听起来挺棒的，

182
00:08:57,280 --> 00:08:59,620
不过让我们扪心自问，

183
00:08:59,620 --> 00:09:02,416
在现有的经济和政治体制下，
这意味着什么？

184
00:09:02,420 --> 00:09:04,830
我们很可能会目睹

185
00:09:04,830 --> 00:09:09,010
前所未有的贫富差距

186
00:09:09,010 --> 00:09:10,400
和失业率。

187
00:09:10,400 --> 00:09:13,130
有钱人不愿意马上把这笔新的财富

188
00:09:13,130 --> 00:09:14,680
贡献出来服务社会，

189
00:09:15,640 --> 00:09:19,220
这时一些千万富翁能够优雅地
登上商业杂志的封面，

190
00:09:19,220 --> 00:09:21,720
而剩下的人可能都在挨饿。

191
00:09:22,320 --> 00:09:24,616
如果听说硅谷里的公司

192
00:09:24,620 --> 00:09:27,250
即将造出超级人工智能，

193
00:09:27,250 --> 00:09:30,010
俄国人和中国人
会采取怎样的行动呢？

194
00:09:30,010 --> 00:09:32,850
那个机器将能够
以一种前所未有的能力

195
00:09:32,850 --> 00:09:34,840
去开展由领土问题和

196
00:09:34,840 --> 00:09:37,040
网络问题引发的战争。

197
00:09:38,120 --> 00:09:39,940
这是一个胜者为王的世界。

198
00:09:39,940 --> 00:09:43,120
机器世界中的半年，

199
00:09:43,120 --> 00:09:46,126
在现实世界至少会相当于

200
00:09:46,126 --> 00:09:47,456
50万年。

201
00:09:47,460 --> 00:09:52,190
所以仅仅是关于这种科技突破的传闻，

202
00:09:52,190 --> 00:09:54,560
就可以让我们的种族丧失理智。

203
00:09:54,560 --> 00:09:57,530
在我的观念里，

204
00:09:57,530 --> 00:10:00,330
当前最可怕的东西

205
00:10:00,330 --> 00:10:04,630
正是人工智能的研究人员

206
00:10:04,630 --> 00:10:06,240
安慰我们的那些话。

207
00:10:07,000 --> 00:10:10,096
最常见的理由就是关于时间。

208
00:10:10,100 --> 00:10:12,480
他们会说，现在开始担心还为时尚早。

209
00:10:12,480 --> 00:10:15,000
这很可能是50年或者
100年之后才需要担心的事。

210
00:10:15,720 --> 00:10:16,950
一个研究人员曾说过，

211
00:10:16,950 --> 00:10:18,540
“担心人工智能的安全性

212
00:10:18,540 --> 00:10:20,880
就好比担心火星上人口过多一样。”

213
00:10:22,116 --> 00:10:23,950
这就是硅谷版本的

214
00:10:23,950 --> 00:10:26,040
“不要杞人忧天。”

215
00:10:26,040 --> 00:10:27,490
（笑声）

216
00:10:27,490 --> 00:10:29,390
似乎没有人注意到

217
00:10:29,390 --> 00:10:32,030
以时间作为参考系

218
00:10:32,030 --> 00:10:34,640
是得不出合理的结论的。

219
00:10:34,640 --> 00:10:37,920
如果说智慧只包括信息处理，

220
00:10:37,920 --> 00:10:40,600
然后我们继续改善这些机器，

221
00:10:40,600 --> 00:10:43,520
那么我们终将生产出超级智能。

222
00:10:44,320 --> 00:10:47,970
但是，我们无法预估将花费多长时间

223
00:10:47,970 --> 00:10:50,400
来创造实现这一切的安全环境。

224
00:10:52,200 --> 00:10:53,480
我再重复一遍。

225
00:10:53,480 --> 00:10:57,310
我们无法预估将花费多长时间

226
00:10:57,310 --> 00:10:59,600
来创造实现这一切的安全环境。

227
00:11:00,920 --> 00:11:04,350
你们可能没有注意过，
50年的概念已今非昔比。

228
00:11:04,350 --> 00:11:06,840
这是用月来衡量50年的样子。
（每个点表示一个月）

229
00:11:06,840 --> 00:11:08,720
红色的点是代表苹果手机出现的时间。

230
00:11:09,440 --> 00:11:12,040
这是《辛普森一家》（动画片）
在电视上播出以来的时间。

231
00:11:12,680 --> 00:11:15,050
要做好准备面对
人类历史上前所未有的挑战，

232
00:11:15,050 --> 00:11:18,240
50年时间并不是很长。

233
00:11:19,640 --> 00:11:23,640
就像我刚才说的，
我们对确定会来临的事情

234
00:11:23,640 --> 00:11:26,340
做出了不合理的回应。

235
00:11:26,340 --> 00:11:30,350
计算机科学家斯图尔特·罗素
给出了一个极好的类比。

236
00:11:30,350 --> 00:11:35,250
他说，想象我们从
外太空接收到一条讯息，

237
00:11:35,250 --> 00:11:36,970
上面写着：

238
00:11:36,970 --> 00:11:38,560
“地球上的人类，

239
00:11:38,560 --> 00:11:40,960
我们将在五十年后到达你们的星球，

240
00:11:41,800 --> 00:11:43,350
做好准备吧。”

241
00:11:43,350 --> 00:11:47,610
于是我们就开始倒计时，
直到它们的“母舰”着陆吗？

242
00:11:47,610 --> 00:11:50,680
在这种情况下我们会感到更紧迫。

243
00:11:52,680 --> 00:11:54,520
另外一个试图安慰我们的理由是，

244
00:11:54,520 --> 00:11:57,560
那些机器必须
拥有和我们一样的价值观，

245
00:11:57,560 --> 00:12:00,190
因为它们将会是我们自身的延伸。

246
00:12:00,190 --> 00:12:02,020
它们将会被嫁接到我们的大脑上，

247
00:12:02,020 --> 00:12:04,440
我们将会成它们的边缘系统。

248
00:12:05,120 --> 00:12:06,530
现在我们再思考一下

249
00:12:06,530 --> 00:12:09,710
最安全的，也是唯一经慎重考虑后

250
00:12:09,710 --> 00:12:11,060
推荐的发展方向，

251
00:12:11,060 --> 00:12:13,920
是将这项技术直接植入我们大脑。

252
00:12:14,600 --> 00:12:17,960
这也许确实是最安全的，
也是唯一慎重的发展方向，

253
00:12:17,960 --> 00:12:21,030
但通常在我们把它塞进脑袋之前，

254
00:12:21,030 --> 00:12:24,700
会充分考虑这项技术的安全性。

255
00:12:24,700 --> 00:12:26,690
（笑声）

256
00:12:26,690 --> 00:12:32,100
更深一层的问题是：
仅仅制造出超级人工智能机器

257
00:12:32,100 --> 00:12:33,860
可能要比

258
00:12:33,860 --> 00:12:35,760
既制造超级人工智能，

259
00:12:35,760 --> 00:12:37,576
又让其拥有能让
我们的思想和超级人工智能

260
00:12:37,580 --> 00:12:40,830
无缝对接的完整的
神经科学系统要简单很多。

261
00:12:40,830 --> 00:12:43,960
而做这些研究的公司或政府，

262
00:12:43,960 --> 00:12:47,656
很可能将彼此视作竞争对手，

263
00:12:47,660 --> 00:12:50,930
因为赢得了比赛就意味着称霸了世界，

264
00:12:50,930 --> 00:12:53,370
前提是不在刚成功后就将其销毁，

265
00:12:53,370 --> 00:12:56,020
所以结论是：简单的选项

266
00:12:56,020 --> 00:12:57,280
一定会被先实现。

267
00:12:58,560 --> 00:13:01,400
但很遗憾，
除了建议更多人去思考这个问题，

268
00:13:01,400 --> 00:13:03,800
我对此并无解决方案。

269
00:13:03,800 --> 00:13:06,320
我觉得在人工智能问题上，

270
00:13:06,320 --> 00:13:08,440
我们需要一个“曼哈顿计划”
（二战核武器研究计划），

271
00:13:08,440 --> 00:13:11,160
不是用于讨论如何制造人工智能，
因为我们一定会这么做，

272
00:13:11,160 --> 00:13:14,570
而是去避免军备竞赛，

273
00:13:14,570 --> 00:13:18,110
最终以一种有利于
我们的方式去打造它。

274
00:13:18,110 --> 00:13:20,190
当你在谈论一个可以自我改造的

275
00:13:20,190 --> 00:13:22,510
超级人工智能时，

276
00:13:22,510 --> 00:13:27,180
我们似乎只有
一次正确搭建初始系统的机会，

277
00:13:27,180 --> 00:13:29,240
而这个正确的初始系统

278
00:13:29,240 --> 00:13:32,360
需要我们在经济以及政治上
做出很大的努力。

279
00:13:33,760 --> 00:13:35,780
但是当我们承认

280
00:13:35,780 --> 00:13:39,840
信息处理是智慧的源头，

281
00:13:40,720 --> 00:13:45,520
承认一些电脑系统是智能的基础，

282
00:13:46,360 --> 00:13:50,120
承认我们会不断改善这些系统，

283
00:13:51,280 --> 00:13:55,720
承认我们现存的认知远没有达到极限，

284
00:13:55,720 --> 00:13:56,960
将很可能被超越，

285
00:13:58,120 --> 00:13:59,310
我们又必须同时承认

286
00:13:59,310 --> 00:14:02,000
我们在某种意义上
正在创造一个新的“上帝”。

287
00:14:03,400 --> 00:14:04,960
现在正是思考人类是否


288
00:14:04,960 --> 00:14:07,623
能与这个“上帝”和睦相处的最佳时机。

289
00:14:08,120 --> 00:14:09,400
非常感谢！

290
00:14:09,400 --> 00:14:14,773
（掌声）