1
00:00:00,570 --> 00:00:04,777
私は沢山の数学者や哲学者や
コンピュータ科学者といっしょにやっていますが

2
00:00:04,777 --> 00:00:07,766
よく話題にすることに

3
00:00:07,766 --> 00:00:12,030
機械の知性の未来
というのがあります

4
00:00:12,030 --> 00:00:16,565
そんなのは現実離れした
SFの世界の

5
00:00:16,565 --> 00:00:19,666
馬鹿げた話だと
考える人もいます

6
00:00:19,666 --> 00:00:22,206
でも現在の人間の状態
というものについて

7
00:00:22,206 --> 00:00:24,930
ちょっと考えてみて
ほしいのです

8
00:00:24,930 --> 00:00:26,622
(笑)

9
00:00:26,622 --> 00:00:29,024
これが普通の状況とされています

10
00:00:29,024 --> 00:00:31,309
しかし考えてみれば

11
00:00:31,309 --> 00:00:33,942
人間というのは
この地球に

12
00:00:33,942 --> 00:00:36,444
ごく最近現れた
客に過ぎません

13
00:00:36,444 --> 00:00:41,430
地球ができたのが
１年前だったとしたら

14
00:00:41,430 --> 00:00:44,978
人間がいたのは
10分間だけで

15
00:00:44,978 --> 00:00:48,146
工業化時代が始まったのは
２秒前です

16
00:00:49,276 --> 00:00:54,501
このことの別な見方として
過去１万年における世界のGDPを考えてみましょう

17
00:00:54,501 --> 00:00:57,530
私は実際グラフにしてみたんですが

18
00:00:57,530 --> 00:00:59,304
こんな感じになります

19
00:00:59,304 --> 00:01:00,367
(笑)

20
00:01:00,367 --> 00:01:02,828
正常な状態のものとしては
興味深い形です

21
00:01:02,828 --> 00:01:05,095
この上に乗っていたいとは
あまり思いません

22
00:01:05,095 --> 00:01:07,067
(笑)

23
00:01:07,067 --> 00:01:11,841
この現在における例外的な状態の
原因を考えてみましょう

24
00:01:11,841 --> 00:01:14,393
それはテクノロジーのためだ
という人もいるでしょう

25
00:01:14,393 --> 00:01:19,061
それはその通りで 人類の歴史を通じて
テクノロジーは蓄積され続け

26
00:01:19,061 --> 00:01:23,713
現在ではテクノロジーの進歩が
非常に速くなっています

27
00:01:23,713 --> 00:01:25,278
それがおおよその答えで

28
00:01:25,278 --> 00:01:28,403
現在の我々の高い生産性を
もたらしているものです

29
00:01:28,403 --> 00:01:32,134
しかしもっと突っ込んで
究極の原因を探ってみたいと思います

30
00:01:33,114 --> 00:01:36,750
この非常に際だった２人を
ご覧ください

31
00:01:36,750 --> 00:01:38,080
カンジは

32
00:01:38,080 --> 00:01:42,933
200の字句をマスターしています
すごいことです

33
00:01:42,933 --> 00:01:46,817
エドワード・ウィッテンは
超弦理論の第２の革命の立役者です

34
00:01:46,817 --> 00:01:49,141
中身を覗いてみれば 
そこにあるのはこれで

35
00:01:49,141 --> 00:01:50,711
基本的には同じものです

36
00:01:50,711 --> 00:01:52,524
一方がすこしばかり大きく

37
00:01:52,524 --> 00:01:55,602
配線のされ方にも より巧妙なところが
あるかもしれませんが

38
00:01:55,602 --> 00:01:59,094
その違いはさほど
複雑なものではないはずです

39
00:01:59,094 --> 00:02:02,209
我々は共通の祖先から

40
00:02:02,209 --> 00:02:05,111
25万世代しか
隔たっていませんが

41
00:02:05,111 --> 00:02:09,910
複雑なメカニズムが進化するのには
とても長い時間がかかることが分かっています

42
00:02:09,910 --> 00:02:12,899
比較的小さな変化の
沢山の積み重ねが

43
00:02:12,899 --> 00:02:15,566
カンジとウィッテンを

44
00:02:15,566 --> 00:02:20,109
あるいは木切れと大陸間弾道弾を
隔てているものなのです

45
00:02:20,839 --> 00:02:24,754
これで明らかになるのは 
人類が達成したこと

46
00:02:24,754 --> 00:02:26,502
気にかけていることすべては

47
00:02:26,502 --> 00:02:31,380
人間の心を作り出した比較的小さな変化によって
生じたということです

48
00:02:32,650 --> 00:02:36,312
それはまた
思考の基質を

49
00:02:36,312 --> 00:02:39,009
はっきり変えるような
さらなる変化は

50
00:02:39,009 --> 00:02:42,991
極めて大きな結果をもたらしうる
ということでもあります

51
00:02:44,321 --> 00:02:48,006
私の研究仲間の間には 
この思考の基質を本質的に変えうるものに

52
00:02:48,006 --> 00:02:51,134
人類は今直面していると
考えている人もいます

53
00:02:51,134 --> 00:02:54,347
それは超知的な機械です

54
00:02:54,347 --> 00:02:59,086
人工知能というのはかつては
コマンドを詰め込んだ箱のようなものでした

55
00:02:59,086 --> 00:03:01,231
人間のプログラマーが
苦労して

56
00:03:01,231 --> 00:03:03,886
個々の知識項目を
手作りしていました

57
00:03:03,886 --> 00:03:06,232
そうやってエキスパート・システムを作り

58
00:03:06,232 --> 00:03:08,296
ある種の用途には
役立ちましたが

59
00:03:08,296 --> 00:03:10,977
融通が効かず
拡張性を欠いていました

60
00:03:10,977 --> 00:03:14,410
基本的には入れたものが
出てくるだけです

61
00:03:14,410 --> 00:03:15,407
しかしその後

62
00:03:15,407 --> 00:03:18,874
人工知能の世界で
パラダイムシフトが起きました

63
00:03:18,874 --> 00:03:22,044
現在 機械学習の周辺で
非常に興味深いことが起きています

64
00:03:22,394 --> 00:03:27,781
知識的な機能や表現を
手作りする代わりに

65
00:03:28,511 --> 00:03:34,065
生の知覚データから
自ら学習するアルゴリズムを作るのです

66
00:03:34,065 --> 00:03:39,063
基本的には人間の子供と同じことを
機械がするわけです

67
00:03:39,063 --> 00:03:43,270
結果としてできるのは
１つの領域に限定されない人工知能です

68
00:03:43,270 --> 00:03:47,901
どんな言語間の翻訳でも
できるシステムとか

69
00:03:47,901 --> 00:03:53,338
アタリのゲーム機用のどんなゲームでも
プレイしてしまうシステムとか

70
00:03:53,338 --> 00:03:55,117
もちろん
人工知能はまだ

71
00:03:55,117 --> 00:03:59,116
多様な領域のことを
学び構想できる

72
00:03:59,116 --> 00:04:02,335
人間の脳の強力さには
遠く及びません

73
00:04:02,335 --> 00:04:05,761
大脳皮質にはまだ
機械で対抗する方法の見当もつかないような

74
00:04:05,761 --> 00:04:07,356
アルゴリズム的仕掛けがあります

75
00:04:07,886 --> 00:04:09,105
問題は そういう仕掛けに

76
00:04:09,105 --> 00:04:13,595
機械が対抗するようになる日が
いつ来るのかということです

77
00:04:14,245 --> 00:04:15,328
２年ほど前に

78
00:04:15,328 --> 00:04:19,296
世界の人工知能の専門家にアンケートを取って
考えを聞いたんですが

79
00:04:19,296 --> 00:04:21,440
その時の質問の１つが

80
00:04:21,440 --> 00:04:24,793
「機械の知性が人間並みのレベルに
到達する可能性が

81
00:04:24,793 --> 00:04:28,275
50%あるのはいつか？」
というものでした

82
00:04:28,785 --> 00:04:31,688
ここでの「人間並み」の定義は

83
00:04:31,688 --> 00:04:35,839
ほとんどの作業を大人の人間と
同じくらいにこなせる能力ということで

84
00:04:35,839 --> 00:04:40,164
特定の領域に関してということではなく 
本当に人間並みということです

85
00:04:40,164 --> 00:04:43,494
回答の中央値は
2040年か2050年で

86
00:04:43,494 --> 00:04:46,690
質問をした専門家のグループによって
若干違いました

87
00:04:46,690 --> 00:04:50,339
それが起きるのはずっと遅いかもしれないし 
ずっと早いかもしれません

88
00:04:50,339 --> 00:04:52,279
本当のところは
誰にも分かりません

89
00:04:53,259 --> 00:04:57,671
しかし分かっているのは 
機械の基質による情報処理能力の限界は

90
00:04:57,671 --> 00:05:02,542
生物組織の限界の
遙か先にあるということです

91
00:05:03,241 --> 00:05:05,619
これは単純に物理の問題です

92
00:05:05,619 --> 00:05:10,337
神経の発火頻度は200ヘルツ 
毎秒200回ほどですが

93
00:05:10,337 --> 00:05:13,931
現在のトランジスタでさえ
ギガヘルツで動いています

94
00:05:13,931 --> 00:05:19,228
神経伝達は軸索をゆっくり伝わり 
せいぜい毎秒100メートルですが

95
00:05:19,228 --> 00:05:22,339
コンピュータの信号は
光速で伝わります

96
00:05:23,079 --> 00:05:24,948
大きさの点でも制限があります

97
00:05:24,948 --> 00:05:27,975
人間の脳は頭蓋骨の中に
収まる必要がありますが

98
00:05:27,975 --> 00:05:32,736
コンピュータの大きさは倉庫のサイズか
もっと大きくもできます

99
00:05:32,736 --> 00:05:38,335
だから超知的な機械の可能性は
休眠状態にあるのです

100
00:05:38,335 --> 00:05:43,717
ちょうど原子の力が
1945年に目覚めるまで

101
00:05:43,717 --> 00:05:48,242
人類の歴史を通じて
休眠状態にあったのと同じように

102
00:05:48,252 --> 00:05:49,700
この世紀中に

103
00:05:49,700 --> 00:05:53,818
科学者達は人工知能の力を
目覚めさせるかもしれません

104
00:05:53,818 --> 00:05:57,826
私たちは知性の爆発を目の当たりに
することになるかもしれません

105
00:05:58,406 --> 00:06:02,363
頭の良し悪しの尺度というと
多くの人は

106
00:06:02,363 --> 00:06:05,386
こんなものを
イメージするのではと思います

107
00:06:05,386 --> 00:06:07,984
一方の端に間抜けな人間がいて

108
00:06:07,984 --> 00:06:11,117
遙か彼方の別の極端にいるのが

109
00:06:11,117 --> 00:06:15,223
ウィッテンとかアインシュタインです
誰でもお気に入りの天才を置いてください

110
00:06:15,223 --> 00:06:19,057
しかし人工知能という
観点を加えると

111
00:06:19,057 --> 00:06:22,738
実際のイメージは
たぶんこんな感じになるでしょう

112
00:06:23,258 --> 00:06:26,636
人工知能は
知性のない状態からスタートして

113
00:06:26,636 --> 00:06:29,647
長年の努力の後に

114
00:06:29,647 --> 00:06:33,491
いつかネズミ並みの知性に
到達できるかもしれません

115
00:06:33,491 --> 00:06:35,921
雑然とした環境中を
ネズミのように

116
00:06:35,921 --> 00:06:37,968
目的地へと
移動できる能力です

117
00:06:37,968 --> 00:06:42,221
さらに長年に渡る
多くの努力と投資の末に

118
00:06:42,221 --> 00:06:46,860
いつかチンパンジー並みの知性に
到達できるかもしれません

119
00:06:46,860 --> 00:06:50,070
そこからさらに
長年の大きな努力を重ねて

120
00:06:50,070 --> 00:06:52,983
間抜けな人間のレベルの
人工知能ができます

121
00:06:52,983 --> 00:06:56,255
それから少しばかり後に
エドワード・ウィッテンを越えます

122
00:06:56,255 --> 00:06:59,225
この列車は人間レベルで
止まりはしません

123
00:06:59,225 --> 00:07:02,247
むしろ一瞬で
通り過ぎるでしょう

124
00:07:02,247 --> 00:07:04,961
これには特に
力関係という点で

125
00:07:04,961 --> 00:07:07,273
重大な意味があります

126
00:07:07,273 --> 00:07:09,942
たえとば チンパンジーというのは
強いものです

127
00:07:09,942 --> 00:07:15,214
体重換算すると チンパンジーは
体力に優れた成人男性の倍の力があります

128
00:07:15,214 --> 00:07:19,828
それでもカンジや
その仲間達の運命は

129
00:07:19,828 --> 00:07:23,968
チンパンジー達自身よりは
人間の手に握られています

130
00:07:25,228 --> 00:07:27,542
超知的な機械が出現したら

131
00:07:27,542 --> 00:07:31,711
人類の運命は超知的な機械に
握られることになるかもしれません

132
00:07:32,261 --> 00:07:33,508
そのことを考えてみてください

133
00:07:33,508 --> 00:07:38,552
機械の知性は
人類がする必要のある最後の発明です

134
00:07:38,552 --> 00:07:41,335
機械が人間よりも
うまく発明をするようになり

135
00:07:41,335 --> 00:07:44,405
しかもデジタルの時間尺度で
進歩することでしょう

136
00:07:44,405 --> 00:07:48,966
それが意味するのは 
未来が短縮されるということです

137
00:07:48,966 --> 00:07:52,524
人類が遠い未来に
実現するかもしれない

138
00:07:52,524 --> 00:07:55,322
夢のようなテクノロジーについて
考えてください

139
00:07:55,322 --> 00:07:58,580
老化を止めるとか
宇宙への移民

140
00:07:58,580 --> 00:08:02,311
自己増殖ナノボットや 
意識のコンピュータへのアップロードなど

141
00:08:02,311 --> 00:08:04,470
SFっぽいけれど

142
00:08:04,470 --> 00:08:07,207
物理法則には
反していないものです

143
00:08:07,207 --> 00:08:12,199
超知的な機械が そういったものを
あっさり開発してしまうかもしれません

144
00:08:12,199 --> 00:08:16,007
超知的な機械は
そのような高度な技術によって

145
00:08:16,007 --> 00:08:18,186
非常に大きな力を持ち

146
00:08:18,186 --> 00:08:23,162
シナリオ次第では 望むものを何でも
手に入れるようになるかもしれません

147
00:08:23,162 --> 00:08:28,393
そうすると人類の未来は人工知能が好む通りに
形作られることになります

148
00:08:29,855 --> 00:08:33,604
ここで問題は その好むことが
何かということです

149
00:08:34,244 --> 00:08:36,013
話しがややこしくなってきますが

150
00:08:36,013 --> 00:08:37,448
この議論を進める上では

151
00:08:37,448 --> 00:08:40,724
何より擬人化を
避けなければなりません

152
00:08:41,933 --> 00:08:45,815
皮肉なのは
未来の人工知能を取り上げる記事で

153
00:08:45,815 --> 00:08:49,090
必ず出てくるのが
こんな写真だということです

154
00:08:50,280 --> 00:08:54,414
私たちはこの問題を
ハリウッドの鮮明なシナリオに沿ってではなく

155
00:08:54,414 --> 00:08:57,204
もっと抽象的に
考える必要があります

156
00:08:57,204 --> 00:09:01,661
我々は知性を 
未来を特定の状態へと舵取りしていく

157
00:09:01,661 --> 00:09:06,470
最適化プロセスとして
捉える必要があります

158
00:09:06,470 --> 00:09:09,981
超知的な機械は
非常に強力な最適化プロセスです

159
00:09:09,981 --> 00:09:14,098
利用可能な手段を使って
目的が充たされた状態を達成することに

160
00:09:14,098 --> 00:09:16,007
極めて長けています

161
00:09:16,447 --> 00:09:19,119
この意味での
高い知性を持つことと

162
00:09:19,119 --> 00:09:23,433
人間が価値や意味を認める
目的を抱くことの間には

163
00:09:23,433 --> 00:09:26,515
必ずしも関係がありません

164
00:09:27,321 --> 00:09:31,115
人間を笑顔にさせるという目的を
人工知能に与えたとしましょう

165
00:09:31,115 --> 00:09:34,097
弱い人工知能は
人が見て笑うような

166
00:09:34,097 --> 00:09:36,614
何か可笑しいことを
するでしょう

167
00:09:36,614 --> 00:09:39,031
人工知能が
超知的になったなら

168
00:09:39,031 --> 00:09:42,804
この目的を達するには
もっと効果的なやり方があることに気付くでしょう

169
00:09:42,804 --> 00:09:44,476
世界をコントロールし

170
00:09:44,476 --> 00:09:47,638
人間の表情筋に
電極を差し込んで

171
00:09:47,638 --> 00:09:50,579
笑い顔が持続するようにするんです

172
00:09:50,579 --> 00:09:51,614
別の例として

173
00:09:51,614 --> 00:09:54,997
人工知能に難しい数学の問題を解くことを
目的として与えたとします

174
00:09:54,997 --> 00:09:56,934
人工知能が超知的になったら

175
00:09:56,934 --> 00:10:01,105
この問題を解くための
最も効果的な方法は

176
00:10:01,105 --> 00:10:02,985
地球を巨大なコンピュータに変えて

177
00:10:02,985 --> 00:10:06,351
思考能力を増大させることだと
考えるかもしれません

178
00:10:06,351 --> 00:10:08,625
このような目的は
人工知能に対して

179
00:10:08,625 --> 00:10:12,301
人間が認めないような行為をする動機を
与えうることに注意してください

180
00:10:12,301 --> 00:10:13,496
このモデルにおいては

181
00:10:13,496 --> 00:10:17,097
人間は人工知能にとって数学的問題を解くのを妨げる
邪魔者になりうるのです

182
00:10:17,097 --> 00:10:20,701
もちろん物事がこの筋書き通りに
まずいことに陥ることはないでしょう

183
00:10:20,701 --> 00:10:22,454
これはあくまで
戯画化した例です

184
00:10:22,454 --> 00:10:24,393
しかしこの一般的な論点は重要です

185
00:10:24,393 --> 00:10:26,996
目的Ｘに向けて最大化を行う

186
00:10:26,996 --> 00:10:29,500
強力な最適化プロセスを
作るときには

187
00:10:29,500 --> 00:10:31,966
Ｘの定義が自分の気にかける
その他すべてのことに

188
00:10:31,966 --> 00:10:34,775
問題を生じないか
よく確認する必要があります

189
00:10:34,775 --> 00:10:39,079
これは伝説が教える
教訓でもあります

190
00:10:39,079 --> 00:10:44,517
ミダス王は自分の触るものすべてが
金になることを望みました

191
00:10:44,517 --> 00:10:47,378
娘に触れば
娘が金に変わり

192
00:10:47,378 --> 00:10:49,931
食べ物に触れば
食べ物が金に変わりました

193
00:10:49,931 --> 00:10:52,520
これが本当に
問題になるかもしれません

194
00:10:52,520 --> 00:10:54,900
単なる強欲を諫める
メタファーとしてではなく

195
00:10:54,900 --> 00:10:56,915
強力な最適化プロセスを作って

196
00:10:56,915 --> 00:11:00,422
間違った あるいは
まずく定義された目的を与えたときに

197
00:11:00,422 --> 00:11:04,111
何が起きるかを
示すものとしてです

198
00:11:04,111 --> 00:11:09,300
コンピュータが人の顔に
電極を差し始めたら

199
00:11:09,300 --> 00:11:11,565
単にスイッチを切ればいいと
思うかもしれません

200
00:11:12,285 --> 00:11:17,895
(A) そのシステムに依存するようになったとき
スイッチを切ることは難しくなります

201
00:11:17,895 --> 00:11:20,627
たとえばの話 インターネットのスイッチは
どこにあるのでしょう？

202
00:11:20,627 --> 00:11:25,747
(B) チンパンジーはなぜ人間のスイッチを
オフにしなかったんでしょう？

203
00:11:25,747 --> 00:11:27,298
あるいはネアンデルタール人は？

204
00:11:27,298 --> 00:11:29,964
彼らにはそうすべき理由が
あったことでしょう

205
00:11:29,964 --> 00:11:32,759
人間を切るスイッチはあります
たとえはここに

206
00:11:32,759 --> 00:11:34,313
(うぐぅ)

207
00:11:34,313 --> 00:11:37,238
その理由は人間が
知的な相手だからです

208
00:11:37,238 --> 00:11:39,816
人間は危険を予期して
回避することができます

209
00:11:39,816 --> 00:11:42,860
そしてそれは超知的な機械にも
できるだろうことで

210
00:11:42,860 --> 00:11:45,724
しかも人間よりずっと
上手くできることでしょう

211
00:11:45,724 --> 00:11:52,911
我々は制御できるはずだと
高をくくらない方がよいということです

212
00:11:52,911 --> 00:11:56,078
この問題をもう少し簡単にして

213
00:11:56,078 --> 00:11:57,948
人工知能を逃げ出すことのできない

214
00:11:57,948 --> 00:11:59,744
安全なソフトウェア環境や

215
00:11:59,744 --> 00:12:03,146
仮想現実シミュレーションの中に閉じ込める
というのでもいいかもしれません

216
00:12:03,146 --> 00:12:06,912
しかし人工知能がシステムの欠陥を見つけたりしないと
自信を持てるでしょうか？

217
00:12:06,912 --> 00:12:10,331
ただの人間のハッカーでさえ
年中バグを見つけていることを思えば

218
00:12:10,331 --> 00:12:13,117
あまり自信は持てないでしょう

219
00:12:14,237 --> 00:12:18,435
ではネットワークケーブルを抜いて
エアギャップを作ればどうか？

220
00:12:18,435 --> 00:12:21,453
これにしたって人間のハッカーが
ソーシャルエンジニアリングによって

221
00:12:21,453 --> 00:12:24,704
エアギャップを越えるということが
たびたび起きています

222
00:12:24,704 --> 00:12:26,293
私が話をしているこの瞬間にも

223
00:12:26,293 --> 00:12:28,482
きっとどこかの社員が

224
00:12:28,482 --> 00:12:31,608
情報管理部門から来たという人間に

225
00:12:31,608 --> 00:12:34,634
アカウントの情報を教えるよう
仕向けられていることでしょう

226
00:12:34,634 --> 00:12:36,701
もっと奇想天外なシナリオだって
考えられます

227
00:12:36,701 --> 00:12:38,016
たとえば人工知能が

228
00:12:38,016 --> 00:12:41,548
内部回路にある電極の
振動で発生した

229
00:12:41,548 --> 00:12:45,010
電波を使って
通信をするとか

230
00:12:45,010 --> 00:12:47,434
あるいは人工知能が故障を装って

231
00:12:47,434 --> 00:12:50,041
プログラマーが調べようと中を開け

232
00:12:50,041 --> 00:12:52,267
ソースコードを見たところで 
バーン！

233
00:12:52,267 --> 00:12:55,054
操作してしまうとか

234
00:12:55,054 --> 00:12:58,744
あるいはすごく洗練された
技術の設計図を出して

235
00:12:58,744 --> 00:13:00,502
人間がそれを実装してみると

236
00:13:00,502 --> 00:13:04,539
そこには人工知能が潜ませていた
密かな副作用があるとか

237
00:13:04,539 --> 00:13:08,002
要は我々は高度に知的な魔神を

238
00:13:08,002 --> 00:13:11,810
いつまでも壺に閉じ込めておけるとは
思わない方がよいということです

239
00:13:11,810 --> 00:13:14,784
遅かれ早かれ
出口を見つけ出すことでしょう

240
00:13:14,784 --> 00:13:18,137
この問題への答えは 
非常に知的な人工知能を

241
00:13:18,137 --> 00:13:23,161
それが逃げ出しても
危険がないように作るということ

242
00:13:23,161 --> 00:13:25,128
人間と同じ価値観を持っていて

243
00:13:25,128 --> 00:13:28,377
人間の側に立つように作る
ということだと思います

244
00:13:28,377 --> 00:13:31,547
この難しい問題を
避けて通ることはできません

245
00:13:32,557 --> 00:13:36,391
私はこの問題は
解決できると楽観しています

246
00:13:36,391 --> 00:13:40,034
私たちが気にかける
あらゆることを書き出し

247
00:13:40,034 --> 00:13:42,987
さらにはC++やPythonのような
プログラミング言語で

248
00:13:42,987 --> 00:13:46,331
厳密に定義することは
望みがないくらい難しいことでしょうが

249
00:13:46,331 --> 00:13:48,158
そうする必要はないと思います

250
00:13:48,158 --> 00:13:52,455
自らの知性を使って
人間が価値を置くことを

251
00:13:52,455 --> 00:13:55,226
学び取る人工知能を
作ればよいのです

252
00:13:55,226 --> 00:14:00,506
人間の価値を追求し 
人間がよしとすることを予測して行動するような

253
00:14:00,506 --> 00:14:05,738
動機付けのシステムを
持たせるのです

254
00:14:05,738 --> 00:14:09,152
そうやって価値付けの
問題を解くために

255
00:14:09,152 --> 00:14:11,897
人工知能の知性を
可能な限り活用するのです

256
00:14:12,727 --> 00:14:14,239
これは可能なことで

257
00:14:14,239 --> 00:14:17,835
人類にとって
とても好ましい結果をもたらします

258
00:14:17,835 --> 00:14:21,792
しかし自動的に
起きるわけではありません

259
00:14:21,792 --> 00:14:25,420
知性爆発が人間の制御下で
起きるようにするためには

260
00:14:25,420 --> 00:14:27,653
初期条件を正しく

261
00:14:27,653 --> 00:14:30,503
設定する必要があります

262
00:14:30,503 --> 00:14:33,801
人工知能の価値観を人間の価値観と
合ったものにする必要があります

263
00:14:33,801 --> 00:14:36,291
人工知能が適切に行動しているか
容易に確認できるような

264
00:14:36,291 --> 00:14:37,999
分かりやすい状況だけでなく

265
00:14:37,999 --> 00:14:41,233
将来のいつか人工知能が出会うかもしれない
あらゆる新奇な状況において

266
00:14:41,233 --> 00:14:42,790
そうなる必要があります

267
00:14:42,790 --> 00:14:47,527
それから解決しなければならない
難解な問題がいろいろあります

268
00:14:47,527 --> 00:14:49,616
決定理論の正確な詳細

269
00:14:49,616 --> 00:14:52,480
論理的不確定性をどう扱うか 
といったことです

270
00:14:53,330 --> 00:14:56,432
だからこれを機能させるために
解くべき技術的問題は

271
00:14:56,432 --> 00:14:57,545
とても難しいものです

272
00:14:57,545 --> 00:15:01,175
超知的な人工知能を作ること自体ほど
難しくはないにしても

273
00:15:01,175 --> 00:15:03,793
かなり難しいことです

274
00:15:03,793 --> 00:15:05,488
ひとつ懸念すべきことがあります

275
00:15:05,488 --> 00:15:09,952
超知的な人工知能を作るのは
非常に難しいことで

276
00:15:09,952 --> 00:15:12,720
超知的な人工知能を
安全なものにするのは

277
00:15:12,720 --> 00:15:15,566
その上にさらなる問題を
重ねることになりますが

278
00:15:16,216 --> 00:15:19,703
危険があるのは 
誰かが安全を確保するという

279
00:15:19,703 --> 00:15:22,704
２番目の問題を解決することなく

280
00:15:22,704 --> 00:15:25,215
最初の問題を解く方法を見つける
ということです

281
00:15:25,215 --> 00:15:28,706
だから私たちは
この制御の問題を

282
00:15:28,706 --> 00:15:31,528
前もって解決しておくべきだと思います

283
00:15:31,528 --> 00:15:34,188
そうすれば必要になったときに
すぐ使えます

284
00:15:34,768 --> 00:15:38,275
制御の問題のすべてを前もって解決することは
できないかもしれません

285
00:15:38,275 --> 00:15:41,299
ある部分は実装される
アーキテクチャの詳細が

286
00:15:41,299 --> 00:15:45,296
明かになって初めて
可能になるかもしれません

287
00:15:45,296 --> 00:15:48,676
しかし前もって制御の問題の
より多くの部分が解かれているほど

288
00:15:48,676 --> 00:15:52,766
機械知性の時代への移行が
うまくいく見込みは

289
00:15:52,766 --> 00:15:54,306
高くなるでしょう

290
00:15:54,306 --> 00:15:58,950
これはやるに値することだと
私には思えます

291
00:15:58,950 --> 00:16:02,282
私には想像できます
すべてがうまくいった暁に

292
00:16:02,282 --> 00:16:06,940
百万年後の人類が
この世紀を振り返って

293
00:16:06,940 --> 00:16:10,152
私たちがした本当に重要なことが
何かあるとすれば

294
00:16:10,152 --> 00:16:12,509
それはこの問題を
正しく解決したことだと言うのを

295
00:16:12,509 --> 00:16:14,198
ありがとうございました

296
00:16:14,198 --> 00:16:17,011
(拍手)