1
00:00:00,440 --> 00:00:02,204
这是李世石。

2
00:00:02,204 --> 00:00:05,923
李世石是全世界
最顶尖的围棋高手之一，

3
00:00:06,233 --> 00:00:09,218
在这一刻，他所经历的
足以让我硅谷的朋友们

4
00:00:09,218 --> 00:00:10,828
喊一句”我的天啊“——

5
00:00:10,828 --> 00:00:11,849
（笑声）

6
00:00:11,849 --> 00:00:14,037
在这一刻，我们意识到

7
00:00:14,037 --> 00:00:17,333
原来人工智能发展的进程
比我们预想的要快得多。

8
00:00:18,154 --> 00:00:21,121
人们在围棋棋盘上已经输了，
那在现实世界中又如何呢？

9
00:00:21,121 --> 00:00:23,211
当然了，现实世界要
比围棋棋盘要大得多，

10
00:00:23,211 --> 00:00:25,476
复杂得多。

11
00:00:25,476 --> 00:00:27,465
相比之下每一步也没那么明确，

12
00:00:27,465 --> 00:00:29,663
但现实世界仍然是一个选择性问题。

13
00:00:30,948 --> 00:00:33,243
如果我们想想那一些在不久的未来，

14
00:00:33,243 --> 00:00:35,042
即将来临的新科技……

15
00:00:35,738 --> 00:00:40,017
Noriko提到机器还不能进行阅读，

16
00:00:40,017 --> 00:00:41,551
至少达不到理解的程度，

17
00:00:41,551 --> 00:00:43,121
但这迟早会发生，

18
00:00:43,121 --> 00:00:44,926
而当它发生时，

19
00:00:44,926 --> 00:00:46,087
不久之后，

20
00:00:46,087 --> 00:00:50,759
机器就将读遍人类写下的所有东西。

21
00:00:51,850 --> 00:00:53,874
这将使机器除了拥有

22
00:00:53,874 --> 00:00:56,798
比人类看得更远的能力，

23
00:00:56,798 --> 00:00:58,502
就像我们在围棋中看到的那样，

24
00:00:58,502 --> 00:01:00,650
如果机器能接触到比人类更多的信息，

25
00:01:00,650 --> 00:01:05,008
则将能够在现实世界中
做出比人类更好的选择。

26
00:01:06,572 --> 00:01:08,398
那这是一件好事吗？

27
00:01:09,898 --> 00:01:12,130
我当然希望如此。

28
00:01:14,694 --> 00:01:17,913
人类的全部文明，
我们所珍视的一切，

29
00:01:17,913 --> 00:01:19,995
都是基于我们的智慧之上。

30
00:01:19,995 --> 00:01:23,743
如果我们能掌控更强大的智能，

31
00:01:23,743 --> 00:01:27,085
那我们人类的 创造力
就真的没有极限了。

32
00:01:28,665 --> 00:01:31,954
我认为这可能就像很多人描述的那样

33
00:01:31,954 --> 00:01:34,030
会成为人类历史上最重要的事件。

34
00:01:36,665 --> 00:01:39,458
那为什么有的人会说出以下的言论，

35
00:01:39,458 --> 00:01:42,394
说人工智能将是人类的末日呢？

36
00:01:43,438 --> 00:01:45,031
这是一个新事物吗？

37
00:01:45,031 --> 00:01:49,231
这只关乎伊隆马斯克、
比尔盖茨，和斯提芬霍金吗？

38
00:01:49,953 --> 00:01:53,209
其实不是的，人工智能
这个概念已经存在很长时间了。

39
00:01:53,209 --> 00:01:55,195
请看这段话：

40
00:01:55,195 --> 00:01:59,569
“即便我们能够将机器
维持在一个屈服于我们的地位，

41
00:01:59,569 --> 00:02:02,537
比如说，在战略性时刻将电源关闭。”——

42
00:02:02,537 --> 00:02:05,378
我等会儿再来讨论
”关闭电源“这一话题，

43
00:02:05,378 --> 00:02:08,672
”我们，作为一个物种，
仍然应该自感惭愧。“

44
00:02:10,177 --> 00:02:13,625
这段话是谁说的呢？
是阿兰图灵，他在1951年说的。

45
00:02:14,300 --> 00:02:17,047
阿兰图灵，众所皆知，
是计算机科学之父。

46
00:02:17,047 --> 00:02:20,135
从很多意义上说，
他也是人工智能之父。

47
00:02:21,239 --> 00:02:23,105
当我们考虑这个问题，

48
00:02:23,105 --> 00:02:26,906
创造一个比自己更智能的
物种的问题时，

49
00:02:26,906 --> 00:02:29,578
我们不妨将它称为”大猩猩问题“，

50
00:02:30,345 --> 00:02:34,095
因为这正是大猩猩的
祖先们几百万年前所经历的。

51
00:02:34,099 --> 00:02:35,864
我们今天可以去问大猩猩们：

52
00:02:36,752 --> 00:02:37,906
那么做是不是一个好主意？

53
00:02:37,906 --> 00:02:41,430
在这幅图里，大猩猩们正在
开会讨论那么做是不是一个好主意，

54
00:02:41,430 --> 00:02:44,836
片刻后他们下定结论，不是的。

55
00:02:44,840 --> 00:02:46,059
那是一个很糟糕的主意。

56
00:02:46,059 --> 00:02:48,011
我们的物种已经奄奄一息了，

57
00:02:48,538 --> 00:02:52,765
你都可以从它们的眼神中看到这种忧伤，

58
00:02:52,765 --> 00:02:54,465
（笑声）

59
00:02:54,469 --> 00:02:59,313
所以创造比你自己更聪明的物种，

60
00:02:59,313 --> 00:03:01,718
也许不是一个好主意——

61
00:03:02,488 --> 00:03:03,963
那我们能做些什么呢？

62
00:03:03,963 --> 00:03:08,850
其实没什么能做的，
除了停止研究人工智能，

63
00:03:08,850 --> 00:03:11,288
但因为人工智能能带来
我之前所说的诸多益处，

64
00:03:11,288 --> 00:03:12,808
也因为我是
人工智能的研究者之一，

65
00:03:12,808 --> 00:03:14,859
我可不同意就这么止步。

66
00:03:15,283 --> 00:03:17,751
实际上，我想继续做人工智能。

67
00:03:18,615 --> 00:03:21,067
所以我们需要把这个问题更细化一点，

68
00:03:21,067 --> 00:03:22,572
它到底是什么呢？

69
00:03:22,572 --> 00:03:25,958
那就是为什么更强大的
人工智能可能会是灾难呢？

70
00:03:27,398 --> 00:03:28,896
再来看这段话：

71
00:03:29,935 --> 00:03:33,214
”我们一定得确保我们
给机器输入的目的和价值

72
00:03:33,214 --> 00:03:35,592
是我们确实想要的目的和价值。“

73
00:03:36,282 --> 00:03:39,744
这是诺博特维纳在1960年说的，

74
00:03:39,744 --> 00:03:43,760
他说这话时是刚看到
一个早期的学习系统，

75
00:03:43,760 --> 00:03:47,313
这个系统在学习如何能把
西洋棋下得比它的创造者更好。

76
00:03:48,602 --> 00:03:51,259
与此如出一辙的一句话，

77
00:03:51,259 --> 00:03:52,476
迈达斯国王也说过。

78
00:03:53,083 --> 00:03:56,081
迈达斯国王说：”我希望
我触碰的所有东西都变成金子。“

79
00:03:56,081 --> 00:03:58,658
结果他真的获得了点石成金的能力。

80
00:03:58,658 --> 00:04:01,443
那就是他所输入的目的，

81
00:04:01,443 --> 00:04:02,887
从一定程度上说，

82
00:04:02,887 --> 00:04:06,345
后来他的食物、
他的家人都变成了金子，

83
00:04:06,345 --> 00:04:08,736
他死在痛苦与饥饿之中。

84
00:04:10,444 --> 00:04:12,719
我们可以把这个问题
叫做”迈达斯问题“，

85
00:04:12,719 --> 00:04:16,028
这个问题是我们阐述的目标，但实际上

86
00:04:16,028 --> 00:04:18,525
与我们真正想要的不一致，

87
00:04:18,525 --> 00:04:21,828
用现代的术语来说，
我们把它称为”价值一致性问题“。

88
00:04:25,047 --> 00:04:28,306
而输入错误的目标
仅仅是问题的一部分。

89
00:04:28,306 --> 00:04:29,708
它还有另一部分。

90
00:04:30,160 --> 00:04:31,937
如果你为机器输入一个目标，

91
00:04:31,937 --> 00:04:34,575
即便是一个很简单的目标，
比如说”去把咖啡端来“，

92
00:04:35,908 --> 00:04:37,749
机器会对自己说：

93
00:04:38,733 --> 00:04:41,220
”好吧，那我要怎么去拿咖啡呢？

94
00:04:41,220 --> 00:04:42,960
说不定有人会把我的电源关掉。

95
00:04:43,645 --> 00:04:45,926
好吧，那我要想办法
阻止别人把我关掉。

96
00:04:45,926 --> 00:04:47,962
我得让我的‘关闭’开关失效。

97
00:04:48,534 --> 00:04:51,227
我得尽一切可能自我防御，
不让别人干涉我，

98
00:04:51,227 --> 00:04:54,070
这都是因为我被赋予的目标。”

99
00:04:54,070 --> 00:04:56,182
这种一根筋的思维，

100
00:04:57,213 --> 00:04:59,912
以一种十分防御型的
模式去实现某一目标，

101
00:04:59,912 --> 00:05:02,996
实际上与我们人类最初
想实现的目标并不一致——

102
00:05:04,012 --> 00:05:05,984
这就是我们面临的问题。

103
00:05:07,007 --> 00:05:11,758
实际上，这就是今天这个演讲的核心。

104
00:05:11,758 --> 00:05:13,767
如果你在我的演讲中只记住一件事，

105
00:05:13,767 --> 00:05:16,496
那就是：如果你死了，
你就不能去端咖啡了。

106
00:05:16,496 --> 00:05:17,471
（笑声）

107
00:05:17,471 --> 00:05:21,484
这很简单。记住它就行了。
每天对自己重复三遍。

108
00:05:21,484 --> 00:05:23,329
（笑声）

109
00:05:23,329 --> 00:05:26,057
实际上，这正是电影

110
00:05:26,057 --> 00:05:28,785
《2001太空漫步》的剧情。

111
00:05:29,226 --> 00:05:31,260
HAL有一个目标，一个任务，

112
00:05:31,260 --> 00:05:35,046
但这个目标和人类的目标不一致，

113
00:05:35,046 --> 00:05:36,906
这就导致了矛盾的产生。

114
00:05:37,494 --> 00:05:40,457
幸运的是，HAL并不具备超级智能，

115
00:05:40,457 --> 00:05:44,058
他挺聪明的，但还是
比不过人类主角戴夫，

116
00:05:44,058 --> 00:05:45,947
戴夫成功地把HAL关掉了。

117
00:05:49,768 --> 00:05:51,447
但我们可能就没有这么幸运了。

118
00:05:56,193 --> 00:05:57,785
那我们应该怎么办呢？

119
00:06:00,371 --> 00:06:02,956
我想要重新定义人工智能，

120
00:06:02,956 --> 00:06:05,021
远离传统的定义，

121
00:06:05,021 --> 00:06:09,648
将其仅限定为
机器通过智能去达成目标。

122
00:06:10,712 --> 00:06:12,134
新的定义涉及到三个原则：

123
00:06:12,134 --> 00:06:15,767
第一个原则是利他主义原则，

124
00:06:15,767 --> 00:06:19,053
也就是说，机器的唯一目标

125
00:06:19,053 --> 00:06:23,223
就是去最大化地实现人类的目标，

126
00:06:23,223 --> 00:06:24,767
人类的价值。

127
00:06:24,767 --> 00:06:28,081
至于价值，我指的不是感情化的价值，

128
00:06:28,081 --> 00:06:31,932
而是指人类对生活所向往的，

129
00:06:31,932 --> 00:06:33,325
无论是什么。

130
00:06:35,364 --> 00:06:37,487
这实际上违背了阿西莫夫定律，

131
00:06:37,487 --> 00:06:39,750
他指出机器人一定要维护自己的生存。

132
00:06:39,750 --> 00:06:43,773
但我定义的机器
对维护自身生存毫无兴趣。

133
00:06:45,420 --> 00:06:49,188
第二个原则不妨称之为谦逊原则。

134
00:06:49,974 --> 00:06:53,651
这一条对于制造安全的机器十分重要。

135
00:06:53,651 --> 00:06:56,817
它说的是机器不知道

136
00:06:56,817 --> 00:06:58,859
人类的价值是什么，

137
00:06:58,859 --> 00:07:03,277
机器知道它需要将人类的价值最大化，
却不知道这价值究竟是什么。

138
00:07:03,277 --> 00:07:05,684
为了避免一根筋地追求

139
00:07:05,684 --> 00:07:06,760
某一目标，

140
00:07:06,760 --> 00:07:09,312
这种不确定性是至关重要的。

141
00:07:09,726 --> 00:07:11,309
那机器为了对我们有用，

142
00:07:11,309 --> 00:07:14,120
它就得掌握一些
关于我们想要什么的信息。

143
00:07:15,223 --> 00:07:20,544
它主要通过观察人类
做的选择来获取这样的信息，

144
00:07:20,544 --> 00:07:23,449
我们自己做出的选择会包含着

145
00:07:23,449 --> 00:07:26,799
关于我们希望我们的生活
是什么样的信息，

146
00:07:28,632 --> 00:07:29,699
这就是三条原则。

147
00:07:29,699 --> 00:07:32,381
让我们来看看它们是如何应用到

148
00:07:32,381 --> 00:07:35,470
像图灵说的那样，
“将机器关掉”这个问题上来。

149
00:07:37,073 --> 00:07:39,077
这是一个PR2机器人。

150
00:07:39,077 --> 00:07:41,032
我们实验室里有一个。

151
00:07:41,032 --> 00:07:43,965
它的背面有一个大大的红色的开关。

152
00:07:44,541 --> 00:07:46,920
那问题来了：它会让你把它关掉吗？

153
00:07:46,920 --> 00:07:48,419
如果我们按传统的方法，

154
00:07:48,419 --> 00:07:52,005
给它一个目标，让它拿咖啡，
它会想：”我必须去拿咖啡，

155
00:07:52,005 --> 00:07:54,699
但我死了就不能拿咖啡了。“

156
00:07:54,699 --> 00:07:58,014
显然PR2听过我的演讲了，

157
00:07:58,014 --> 00:08:01,897
所以它说：”我必须让我的开关失灵，

158
00:08:02,976 --> 00:08:05,494
可能还要把那些在星巴克里，

159
00:08:05,494 --> 00:08:07,188
可能干扰我的人都电击一下。“

160
00:08:07,188 --> 00:08:09,294
（笑声）

161
00:08:09,294 --> 00:08:11,411
这看起来必然会发生，对吗？

162
00:08:11,411 --> 00:08:13,903
这种失败看起来是必然的，

163
00:08:13,903 --> 00:08:17,506
因为机器人在遵循
一个十分确定的目标。

164
00:08:18,812 --> 00:08:21,680
那如果机器对目标
不那么确定会发生什么呢？

165
00:08:21,680 --> 00:08:24,021
那它的思路就不一样了。

166
00:08:24,021 --> 00:08:26,555
它会说：”好的，人类可能会把我关掉，

167
00:08:27,144 --> 00:08:29,010
但只在我做错事的时候。

168
00:08:29,747 --> 00:08:32,086
我不知道什么是错事，

169
00:08:32,086 --> 00:08:33,844
但我知道我不该做那些事。”

170
00:08:33,844 --> 00:08:37,258
这就是第一和第二原则。

171
00:08:37,258 --> 00:08:40,707
“那我就应该让人类把我关掉。”

172
00:08:41,721 --> 00:08:45,571
事实上你可以计算出机器人

173
00:08:45,571 --> 00:08:48,098
让人类把它关掉的动机，

174
00:08:48,098 --> 00:08:50,006
而且这个动机是

175
00:08:50,006 --> 00:08:52,902
与对目标的不确定程度直接相关的。

176
00:08:53,977 --> 00:08:56,750
当机器被关闭后，

177
00:08:56,750 --> 00:08:58,519
第三条原则就起作用了。

178
00:08:58,519 --> 00:09:01,545
机器开始学习它所追求的目标，

179
00:09:01,545 --> 00:09:04,372
因为它知道它刚做的事是不对的。

180
00:09:04,372 --> 00:09:07,796
实际上，我们可以用希腊字母

181
00:09:07,796 --> 00:09:10,051
就像数学家们经常做的那样，

182
00:09:10,051 --> 00:09:12,099
直接证明这一定理，

183
00:09:12,099 --> 00:09:15,516
那就是这样的一个机器人
对人们是绝对有利的。

184
00:09:15,516 --> 00:09:19,483
可以证明我们的生活
有如此设计的机器人会变得

185
00:09:19,483 --> 00:09:20,829
比没有这样的机器人更好。

186
00:09:21,237 --> 00:09:24,097
这是一个很简单的例子，但这只是

187
00:09:24,097 --> 00:09:28,070
我们尝试实现与人类
兼容的人工智能的第一步。

188
00:09:30,657 --> 00:09:33,858
现在来看第三个原则。

189
00:09:33,858 --> 00:09:36,214
我知道你们可能正在
为这一个原则而大伤脑筋。

190
00:09:36,214 --> 00:09:40,313
你可能会想：“你知道，
我有时不按规矩办事。

191
00:09:40,313 --> 00:09:43,160
我可不希望我的机器人
像我一样行事。

192
00:09:43,160 --> 00:09:46,378
我有时大半夜偷偷摸摸地
从冰箱里找东西吃，

193
00:09:46,378 --> 00:09:47,490
诸如此类的事。”

194
00:09:47,490 --> 00:09:50,571
有各种各样的事你是
不希望机器人去做的。

195
00:09:50,571 --> 00:09:52,296
但实际上并不一定会这样。

196
00:09:52,296 --> 00:09:54,885
仅仅是因为你表现不好，

197
00:09:54,885 --> 00:09:57,052
并不代表机器人就会复制你的行为。

198
00:09:57,052 --> 00:10:01,546
它会去尝试理解你做事的动机，
而且可能会在合适的情况下制止你去做

199
00:10:01,546 --> 00:10:02,936
那些不该做的事。

200
00:10:04,206 --> 00:10:05,670
但这仍然十分困难。

201
00:10:06,302 --> 00:10:08,801
实际上，我们在做的是

202
00:10:08,801 --> 00:10:14,621
让机器去预测任何一个人，
在他们的任何一种

203
00:10:14,621 --> 00:10:15,666
可能的生活中

204
00:10:15,666 --> 00:10:17,553
以及别人的生活中，

205
00:10:17,553 --> 00:10:20,014
他们会更倾向于哪一种？

206
00:10:22,061 --> 00:10:24,559
这涉及到诸多困难；

207
00:10:24,559 --> 00:10:27,805
我不认为这会很快地就被解决。

208
00:10:27,805 --> 00:10:30,638
实际上，真正的困难是我们自己。

209
00:10:32,149 --> 00:10:34,740
就像我刚说的那样，
我们做事不守规矩，

210
00:10:34,740 --> 00:10:37,611
我们中有的人甚至行为肮脏。

211
00:10:38,431 --> 00:10:41,447
就像我说的，
机器人并不会复制那些行为，

212
00:10:41,447 --> 00:10:44,282
机器人没有自己的目标，

213
00:10:44,282 --> 00:10:46,059
它是完全无私的。

214
00:10:47,293 --> 00:10:52,468
它的设计不是去满足
某一个人、一个用户的欲望，

215
00:10:52,468 --> 00:10:55,676
而是去尊重所有人的意愿。

216
00:10:57,263 --> 00:10:59,817
所以它能对付一定程度的肮脏行为。

217
00:10:59,817 --> 00:11:03,542
它甚至能理解你的不端行为，比如说

218
00:11:03,542 --> 00:11:06,187
假如你是一个边境护照官员，
很可能收取贿赂，

219
00:11:06,187 --> 00:11:10,043
因为你得养家、
得供你的孩子们上学。

220
00:11:10,043 --> 00:11:12,753
机器人能理解这一点，
它不会因此去偷，

221
00:11:12,753 --> 00:11:15,722
它反而会帮助你去供孩子们上学。

222
00:11:16,976 --> 00:11:19,962
我们的计算能力也是有限的。

223
00:11:19,962 --> 00:11:22,491
李世石是一个杰出的围棋大师，

224
00:11:22,491 --> 00:11:23,820
但他还是输了。

225
00:11:23,820 --> 00:11:28,083
如果我们看他的行动，
他最终输掉了棋局。

226
00:11:28,083 --> 00:11:30,314
但这不意味着他想要输。

227
00:11:31,240 --> 00:11:33,374
所以要理解他的行为，

228
00:11:33,374 --> 00:11:36,902
我们得从人类认知模型来反过来想，

229
00:11:36,902 --> 00:11:41,883
这包含了我们的计算能力限制，
是一个很复杂的模型，

230
00:11:41,883 --> 00:11:45,066
但仍然是我们可以尝试去理解的。

231
00:11:45,876 --> 00:11:50,160
可能对于我这样一个
人工智能研究人员来说最大的困难，

232
00:11:50,160 --> 00:11:52,795
是我们彼此各不相同。

233
00:11:54,294 --> 00:11:57,859
所以机器必须想办法去判别衡量

234
00:11:57,859 --> 00:12:00,058
不同人的不同需求，

235
00:12:00,058 --> 00:12:02,038
而又有众多方法去做这样的判断。

236
00:12:02,038 --> 00:12:05,711
经济学家、社会学家、
哲学家都理解这一点，

237
00:12:05,711 --> 00:12:08,220
我们正在积极地去寻求合作。

238
00:12:08,220 --> 00:12:11,475
让我们来看看如果我们
把这一步弄错了会怎么样。

239
00:12:11,475 --> 00:12:13,622
举例来说，你可能会
与你的人工智能助理，

240
00:12:13,622 --> 00:12:15,310
有这样的对话：

241
00:12:15,310 --> 00:12:17,839
这样的人工智能可能几年内就会出现，

242
00:12:17,839 --> 00:12:20,503
可以把它想做加强版的Siri。

243
00:12:21,627 --> 00:12:25,949
Siri对你说：“你的妻子打电话
提醒你今晚要跟她共进晚餐。”

244
00:12:26,616 --> 00:12:28,808
而你呢，自然忘了这回事：
“什么？什么晚饭？

245
00:12:28,808 --> 00:12:30,593
你在说什么？”

246
00:12:30,603 --> 00:12:34,343
“啊，你们晚上7点，
庆祝结婚20周年纪念日。”

247
00:12:36,915 --> 00:12:40,518
“我可去不了。
我约了晚上7点半见领导。

248
00:12:40,518 --> 00:12:42,314
怎么会这样呢？”

249
00:12:42,314 --> 00:12:47,034
“呃，我可是提醒过你的，
但你不听我的建议。”

250
00:12:48,146 --> 00:12:51,474
“我该怎么办呢？我可不能
跟领导说我有事，没空见他。”

251
00:12:52,490 --> 00:12:55,655
“别担心。我已经安排了，
让他的航班延误。

252
00:12:55,655 --> 00:12:57,477
（笑声）

253
00:12:58,249 --> 00:13:00,334
“像是因为某种计算机故障那样。”

254
00:13:00,334 --> 00:13:01,460
（笑声）

255
00:13:01,460 --> 00:13:03,227
“真的吗？这个你也能做到？”

256
00:13:04,400 --> 00:13:06,523
“领导很不好意思，跟你道歉，

257
00:13:06,523 --> 00:13:09,102
并且告诉你明天
中午午饭不见不散。”

258
00:13:09,102 --> 00:13:10,065
（笑声）

259
00:13:10,065 --> 00:13:14,908
这里就有一个小小的问题。

260
00:13:14,912 --> 00:13:17,755
这显然是在遵循我妻子的价值论，

261
00:13:17,755 --> 00:13:19,908
那就是“老婆开心，生活舒心”。

262
00:13:19,908 --> 00:13:21,575
（笑声）

263
00:13:21,575 --> 00:13:23,109
它也有可能发展成另一种情况。

264
00:13:23,821 --> 00:13:25,746
你忙碌一天，回到家里，

265
00:13:25,746 --> 00:13:28,065
电脑对你说：“像是繁忙的一天啊？”

266
00:13:28,065 --> 00:13:29,927
“是啊，我连午饭都没来得及吃。”

267
00:13:29,927 --> 00:13:31,673
“那你一定很饿了吧。”

268
00:13:31,673 --> 00:13:34,529
“快饿晕了。你能做点晚饭吗？”

269
00:13:36,070 --> 00:13:38,074
“有一件事我得告诉你。

270
00:13:38,074 --> 00:13:39,339
（笑声）

271
00:13:40,193 --> 00:13:45,012
”南苏丹的人们可比你更需要照顾。

272
00:13:45,012 --> 00:13:45,950
（笑声）

273
00:13:45,950 --> 00:13:48,259
“所以我要离开了。
你自己做饭去吧。”

274
00:13:48,259 --> 00:13:50,349
（笑声）

275
00:13:50,763 --> 00:13:52,496
我们得解决这些问题，

276
00:13:52,496 --> 00:13:55,095
我也很期待去解决。

277
00:13:55,095 --> 00:13:56,932
我们有理由感到乐观。

278
00:13:56,932 --> 00:13:58,125
理由之一是

279
00:13:58,125 --> 00:13:59,857
我们有大量的数据，

280
00:13:59,857 --> 00:14:02,005
记住，我说过机器将能够阅读一切

281
00:14:02,005 --> 00:14:03,235
人类所写下来的东西，

282
00:14:03,235 --> 00:14:06,703
而我们写下的大多数是
我们做的什么事情，

283
00:14:06,703 --> 00:14:08,811
以及其他人对此有什么意见。

284
00:14:08,811 --> 00:14:11,233
所以机器可以从大量的数据中去学习。

285
00:14:11,233 --> 00:14:13,799
同时从经济的角度，
我们也有足够的动机

286
00:14:15,331 --> 00:14:16,441
去把这件事做对。

287
00:14:16,441 --> 00:14:18,446
想象一下，你家里有个居家机器人，

288
00:14:18,446 --> 00:14:21,427
而你又得加班，
机器人得给孩子们做饭,

289
00:14:21,427 --> 00:14:24,394
孩子们很饿，
但冰箱里什么都没有。

290
00:14:24,394 --> 00:14:26,973
然后机器人看到了家里的猫，

291
00:14:26,973 --> 00:14:28,739
（笑声）

292
00:14:28,739 --> 00:14:33,013
机器人还没学透人类的价值论，

293
00:14:33,013 --> 00:14:34,128
所以它不知道

294
00:14:34,128 --> 00:14:39,046
猫的感情价值
大于猫的营养价值。

295
00:14:39,046 --> 00:14:40,045
（笑声）

296
00:14:40,045 --> 00:14:42,057
接下来会发生什么？

297
00:14:42,057 --> 00:14:45,338
差不多是这样的：

298
00:14:45,338 --> 00:14:48,382
头版头条：“疯狂的机器人
把猫煮了给主人当晚饭！”

299
00:14:48,386 --> 00:14:52,863
这一个事故就足以结束
整个居家机器人产业。

300
00:14:52,863 --> 00:14:56,299
所以我们有足够的动机在我们实现

301
00:14:56,299 --> 00:14:59,064
超级智能机器让它更加完善。

302
00:15:00,128 --> 00:15:01,627
总结来说：

303
00:15:01,627 --> 00:15:04,532
我想要改变人工智能的定义，

304
00:15:04,532 --> 00:15:07,529
让我们可以证明机器对我们是有利的。

305
00:15:07,529 --> 00:15:08,685
这三个原则是：

306
00:15:08,685 --> 00:15:10,207
机器是利他的，

307
00:15:10,207 --> 00:15:12,985
只想着实现我们的目标，

308
00:15:12,985 --> 00:15:16,165
但它不确定我们的目标是什么，

309
00:15:16,165 --> 00:15:18,207
所以它会观察我们，

310
00:15:18,207 --> 00:15:21,470
从中学习我们想要的究竟是什么。

311
00:15:22,373 --> 00:15:25,876
希望在这个过程中，
我们也能学会成为更好的人。

312
00:15:25,876 --> 00:15:27,081
谢谢大家。

313
00:15:27,081 --> 00:15:30,870
（掌声）

314
00:15:30,870 --> 00:15:32,156
克里斯安德森：
非常有意思，斯图尔特。

315
00:15:32,156 --> 00:15:34,640
我们趁着工作人员
为下一位演讲者布置的时候

316
00:15:34,640 --> 00:15:36,391
来简单聊几句。

317
00:15:37,165 --> 00:15:38,687
我有几个问题。

318
00:15:38,687 --> 00:15:44,144
从直觉上来看，将无知编入到程序中
似乎是一个很重要的理念，

319
00:15:44,144 --> 00:15:45,752
当你要实现超级智能时，

320
00:15:45,752 --> 00:15:48,044
什么能阻止机器人？

321
00:15:48,044 --> 00:15:51,006
当它在阅读和学习的过程中发现，

322
00:15:51,006 --> 00:15:52,602
知识比无知更强大，

323
00:15:52,602 --> 00:15:56,794
然后就改变它的目标
去重新编写程序呢？

324
00:15:57,652 --> 00:16:04,002
斯图尔特拉塞尔：是的，
我们想要它去学习，就像我说的，

325
00:16:04,002 --> 00:16:05,449
学习我们的目标。

326
00:16:05,449 --> 00:16:10,954
它只有在理解得越来越正确的时候，
才会变得更确定，

327
00:16:10,954 --> 00:16:12,837
我们有证据显示，

328
00:16:12,837 --> 00:16:15,705
它的设计使它能按正确的方式理解。

329
00:16:15,705 --> 00:16:19,505
比如说，它能够理解书中的论证是

330
00:16:19,505 --> 00:16:20,972
带有非常强的偏见的。

331
00:16:20,972 --> 00:16:23,443
书中只会讲述国王、王子

332
00:16:23,443 --> 00:16:26,327
和那些精英白人男性做的事。

333
00:16:26,327 --> 00:16:28,447
这是一个复杂的问题，

334
00:16:28,447 --> 00:16:32,439
但当它更深入地学习我们的目标时，

335
00:16:32,439 --> 00:16:34,410
它就变得对我们更有用。

336
00:16:34,410 --> 00:16:36,890
CA：那你不能把这些
都集中在一条准则里吗？

337
00:16:36,890 --> 00:16:38,624
把这样的命令写在它的程序里：

338
00:16:38,624 --> 00:16:41,971
“如果人类什么时候想把我关掉，

339
00:16:41,971 --> 00:16:43,920
我服从。我服从。”

340
00:16:43,920 --> 00:16:45,076
SR：绝对不行，

341
00:16:45,076 --> 00:16:46,349
那将是一个很糟糕的主意。

342
00:16:46,349 --> 00:16:49,342
试想一下，你有一辆无人驾驶汽车，

343
00:16:49,342 --> 00:16:51,819
你想让它送你五岁的孩子

344
00:16:51,819 --> 00:16:53,027
去上学。

345
00:16:53,027 --> 00:16:55,462
你希望你五岁的孩子
能在汽车运行过程中

346
00:16:55,462 --> 00:16:56,499
将它关闭吗？

347
00:16:56,499 --> 00:16:57,582
应该不会吧。

348
00:16:57,582 --> 00:17:03,309
它得理解下指令的人有多理智，
是不是讲道理。

349
00:17:03,309 --> 00:17:04,929
这个人越理智，

350
00:17:04,929 --> 00:17:06,776
它就越愿意自己被关掉。

351
00:17:06,776 --> 00:17:09,683
如果这个人是完全思绪混乱
或者甚至是有恶意的，

352
00:17:09,683 --> 00:17:12,249
那你就不愿意它被关掉。

353
00:17:12,249 --> 00:17:13,709
CA：好吧。斯图尔特，我得说

354
00:17:13,709 --> 00:17:15,827
我真的希望你为我们
能把这一切研究出来，

355
00:17:15,827 --> 00:17:18,406
很感谢你的演讲，太精彩了。

356
00:17:18,406 --> 00:17:19,277
SR：谢谢。

357
00:17:19,277 --> 00:17:21,934
（掌声）