WEBVTT

00:00:00.570 --> 00:00:04.777
私は沢山の数学者や哲学者や
コンピュータ科学者といっしょにやっていますが

00:00:04.777 --> 00:00:07.766
よく話題にすることに

00:00:07.766 --> 00:00:12.030
機械の知性の未来
というのがあります

00:00:12.030 --> 00:00:16.565
そんなのは現実離れした
SFの世界の

00:00:16.565 --> 00:00:19.666
馬鹿げた話だと
考える人もいます

00:00:19.666 --> 00:00:22.206
でも現在の人間の状態
というものについて

00:00:22.206 --> 00:00:24.930
ちょっと考えてみて
ほしいのです

00:00:24.930 --> 00:00:26.622
(笑)

00:00:26.622 --> 00:00:29.024
これが普通の状況とされています

NOTE Paragraph

00:00:29.024 --> 00:00:31.309
しかし考えてみれば

00:00:31.309 --> 00:00:33.942
人間というのは
この地球に

00:00:33.942 --> 00:00:36.444
ごく最近現れた
客に過ぎません

00:00:36.444 --> 00:00:41.430
地球ができたのが
１年前だったとしたら

00:00:41.430 --> 00:00:44.978
人間がいたのは
10分間だけで

00:00:44.978 --> 00:00:48.146
工業化時代が始まったのは
２秒前です

00:00:49.276 --> 00:00:54.501
このことの別な見方として
過去１万年における世界のGDPを考えてみましょう

00:00:54.501 --> 00:00:57.530
私は実際グラフにしてみたんですが

00:00:57.530 --> 00:00:59.304
こんな感じになります

00:00:59.304 --> 00:01:00.367
(笑)

00:01:00.367 --> 00:01:02.828
正常な状態のものとしては
興味深い形です

00:01:02.828 --> 00:01:05.095
この上に乗っていたいとは
あまり思いません

00:01:05.095 --> 00:01:07.067
(笑)

NOTE Paragraph

00:01:07.067 --> 00:01:11.841
この現在における例外的な状態の
原因を考えてみましょう

00:01:11.841 --> 00:01:14.393
それはテクノロジーのためだ
という人もいるでしょう

00:01:14.393 --> 00:01:19.061
それはその通りで 人類の歴史を通じて
テクノロジーは蓄積され続け

00:01:19.061 --> 00:01:23.713
現在ではテクノロジーの進歩が
非常に速くなっています

00:01:23.713 --> 00:01:25.278
それがおおよその答えで

00:01:25.278 --> 00:01:28.403
現在の我々の高い生産性を
もたらしているものです

00:01:28.403 --> 00:01:32.134
しかしもっと突っ込んで
究極の原因を探ってみたいと思います

NOTE Paragraph

00:01:33.114 --> 00:01:36.750
この非常に際だった２人を
ご覧ください

00:01:36.750 --> 00:01:38.080
カンジは

00:01:38.080 --> 00:01:42.933
200の字句をマスターしています
すごいことです

00:01:42.933 --> 00:01:46.817
エドワード・ウィッテンは
超弦理論の第２の革命の立役者です

00:01:46.817 --> 00:01:49.141
中身を覗いてみれば 
そこにあるのはこれで

00:01:49.141 --> 00:01:50.711
基本的には同じものです

00:01:50.711 --> 00:01:52.524
一方がすこしばかり大きく

00:01:52.524 --> 00:01:55.602
配線のされ方にも より巧妙なところが
あるかもしれませんが

00:01:55.602 --> 00:01:59.094
その違いはさほど
複雑なものではないはずです

00:01:59.094 --> 00:02:02.209
我々は共通の祖先から

00:02:02.209 --> 00:02:05.111
25万世代しか
隔たっていませんが

00:02:05.111 --> 00:02:09.910
複雑なメカニズムが進化するのには
とても長い時間がかかることが分かっています

00:02:09.910 --> 00:02:12.899
比較的小さな変化の
沢山の積み重ねが

00:02:12.899 --> 00:02:15.566
カンジとウィッテンを

00:02:15.566 --> 00:02:20.109
あるいは木切れと大陸間弾道弾を
隔てているものなのです

NOTE Paragraph

00:02:20.839 --> 00:02:24.754
これで明らかになるのは 
人類が達成したこと

00:02:24.754 --> 00:02:26.502
気にかけていることすべては

00:02:26.502 --> 00:02:31.380
人間の心を作り出した比較的小さな変化によって
生じたということです

00:02:32.650 --> 00:02:36.312
それはまた
思考の基質を

00:02:36.312 --> 00:02:39.009
はっきり変えるような
さらなる変化は

00:02:39.009 --> 00:02:42.991
極めて大きな結果をもたらしうる
ということでもあります

NOTE Paragraph

00:02:44.321 --> 00:02:48.006
私の研究仲間の間には 
この思考の基質を本質的に変えうるものに

00:02:48.006 --> 00:02:51.134
人類は今直面していると
考えている人もいます

00:02:51.134 --> 00:02:54.347
それは超知的な機械です

00:02:54.347 --> 00:02:59.086
人工知能というのはかつては
コマンドを詰め込んだ箱のようなものでした

00:02:59.086 --> 00:03:01.231
人間のプログラマーが
苦労して

00:03:01.231 --> 00:03:03.886
個々の知識項目を
手作りしていました

00:03:03.886 --> 00:03:06.232
そうやってエキスパート・システムを作り

00:03:06.232 --> 00:03:08.296
ある種の用途には
役立ちましたが

00:03:08.296 --> 00:03:10.977
融通が効かず
拡張性を欠いていました

00:03:10.977 --> 00:03:14.410
基本的には入れたものが
出てくるだけです

00:03:14.410 --> 00:03:15.407
しかしその後

00:03:15.407 --> 00:03:18.874
人工知能の世界で
パラダイムシフトが起きました

NOTE Paragraph

00:03:18.874 --> 00:03:22.044
現在 機械学習の周辺で
非常に興味深いことが起きています

00:03:22.394 --> 00:03:27.781
知識的な機能や表現を
手作りする代わりに

00:03:28.511 --> 00:03:34.065
生の知覚データから
自ら学習するアルゴリズムを作るのです

00:03:34.065 --> 00:03:39.063
基本的には人間の子供と同じことを
機械がするわけです

00:03:39.063 --> 00:03:43.270
結果としてできるのは
１つの領域に限定されない人工知能です

00:03:43.270 --> 00:03:47.901
どんな言語間の翻訳でも
できるシステムとか

00:03:47.901 --> 00:03:53.338
アタリのゲーム機用のどんなゲームでも
プレイしてしまうシステムとか

00:03:53.338 --> 00:03:55.117
もちろん
人工知能はまだ

00:03:55.117 --> 00:03:59.116
多様な領域のことを
学び構想できる

00:03:59.116 --> 00:04:02.335
人間の脳の強力さには
遠く及びません

00:04:02.335 --> 00:04:05.761
大脳皮質にはまだ
機械で対抗する方法の見当もつかないような

00:04:05.761 --> 00:04:07.356
アルゴリズム的仕掛けがあります

NOTE Paragraph

00:04:07.886 --> 00:04:09.105
問題は そういう仕掛けに

00:04:09.105 --> 00:04:13.595
機械が対抗するようになる日が
いつ来るのかということです

00:04:14.245 --> 00:04:15.328
２年ほど前に

00:04:15.328 --> 00:04:19.296
世界の人工知能の専門家にアンケートを取って
考えを聞いたんですが

00:04:19.296 --> 00:04:21.440
その時の質問の１つが

00:04:21.440 --> 00:04:24.793
「機械の知性が人間並みのレベルに
到達する可能性が

00:04:24.793 --> 00:04:28.275
50%あるのはいつか？」
というものでした

00:04:28.785 --> 00:04:31.688
ここでの「人間並み」の定義は

00:04:31.688 --> 00:04:35.839
ほとんどの作業を大人の人間と
同じくらいにこなせる能力ということで

00:04:35.839 --> 00:04:40.164
特定の領域に関してということではなく 
本当に人間並みということです

00:04:40.164 --> 00:04:43.494
回答の中央値は
2040年か2050年で

00:04:43.494 --> 00:04:46.690
質問をした専門家のグループによって
若干違いました

00:04:46.690 --> 00:04:50.339
それが起きるのはずっと遅いかもしれないし 
ずっと早いかもしれません

00:04:50.339 --> 00:04:52.279
本当のところは
誰にも分かりません

NOTE Paragraph

00:04:53.259 --> 00:04:57.671
しかし分かっているのは 
機械の基質による情報処理能力の限界は

00:04:57.671 --> 00:05:02.542
生物組織の限界の
遙か先にあるということです

00:05:03.241 --> 00:05:05.619
これは単純に物理の問題です

00:05:05.619 --> 00:05:10.337
神経の発火頻度は200ヘルツ 
毎秒200回ほどですが

00:05:10.337 --> 00:05:13.931
現在のトランジスタでさえ
ギガヘルツで動いています

00:05:13.931 --> 00:05:19.228
神経伝達は軸索をゆっくり伝わり 
せいぜい毎秒100メートルですが

00:05:19.228 --> 00:05:22.339
コンピュータの信号は
光速で伝わります

00:05:23.079 --> 00:05:24.948
大きさの点でも制限があります

00:05:24.948 --> 00:05:27.975
人間の脳は頭蓋骨の中に
収まる必要がありますが

00:05:27.975 --> 00:05:32.736
コンピュータの大きさは倉庫のサイズか
もっと大きくもできます

00:05:32.736 --> 00:05:38.335
だから超知的な機械の可能性は
休眠状態にあるのです

00:05:38.335 --> 00:05:43.717
ちょうど原子の力が
1945年に目覚めるまで

00:05:43.717 --> 00:05:48.242
人類の歴史を通じて
休眠状態にあったのと同じように

00:05:48.252 --> 00:05:49.700
この世紀中に

00:05:49.700 --> 00:05:53.818
科学者達は人工知能の力を
目覚めさせるかもしれません

00:05:53.818 --> 00:05:57.826
私たちは知性の爆発を目の当たりに
することになるかもしれません

NOTE Paragraph

00:05:58.406 --> 00:06:02.363
頭の良し悪しの尺度というと
多くの人は

00:06:02.363 --> 00:06:05.386
こんなものを
イメージするのではと思います

00:06:05.386 --> 00:06:07.984
一方の端に間抜けな人間がいて

00:06:07.984 --> 00:06:11.117
遙か彼方の別の極端にいるのが

00:06:11.117 --> 00:06:15.223
ウィッテンとかアインシュタインです
誰でもお気に入りの天才を置いてください

00:06:15.223 --> 00:06:19.057
しかし人工知能という
観点を加えると

00:06:19.057 --> 00:06:22.738
実際のイメージは
たぶんこんな感じになるでしょう

00:06:23.258 --> 00:06:26.636
人工知能は
知性のない状態からスタートして

00:06:26.636 --> 00:06:29.647
長年の努力の後に

00:06:29.647 --> 00:06:33.491
いつかネズミ並みの知性に
到達できるかもしれません

00:06:33.491 --> 00:06:35.921
雑然とした環境中を
ネズミのように

00:06:35.921 --> 00:06:37.968
目的地へと
移動できる能力です

00:06:37.968 --> 00:06:42.221
さらに長年に渡る
多くの努力と投資の末に

00:06:42.221 --> 00:06:46.860
いつかチンパンジー並みの知性に
到達できるかもしれません

00:06:46.860 --> 00:06:50.070
そこからさらに
長年の大きな努力を重ねて

00:06:50.070 --> 00:06:52.983
間抜けな人間のレベルの
人工知能ができます

00:06:52.983 --> 00:06:56.255
それから少しばかり後に
エドワード・ウィッテンを越えます

00:06:56.255 --> 00:06:59.225
この列車は人間レベルで
止まりはしません

00:06:59.225 --> 00:07:02.247
むしろ一瞬で
通り過ぎるでしょう

NOTE Paragraph

00:07:02.247 --> 00:07:04.961
これには特に
力関係という点で

00:07:04.961 --> 00:07:07.273
重大な意味があります

00:07:07.273 --> 00:07:09.942
たえとば チンパンジーというのは
強いものです

00:07:09.942 --> 00:07:15.214
体重換算すると チンパンジーは
体力に優れた成人男性の倍の力があります

00:07:15.214 --> 00:07:19.828
それでもカンジや
その仲間達の運命は

00:07:19.828 --> 00:07:23.968
チンパンジー達自身よりは
人間の手に握られています

00:07:25.228 --> 00:07:27.542
超知的な機械が出現したら

00:07:27.542 --> 00:07:31.711
人類の運命は超知的な機械に
握られることになるかもしれません

00:07:32.261 --> 00:07:33.508
そのことを考えてみてください

00:07:33.508 --> 00:07:38.552
機械の知性は
人類がする必要のある最後の発明です

00:07:38.552 --> 00:07:41.335
機械が人間よりも
うまく発明をするようになり

00:07:41.335 --> 00:07:44.405
しかもデジタルの時間尺度で
進歩することでしょう

00:07:44.405 --> 00:07:48.966
それが意味するのは 
未来が短縮されるということです

00:07:48.966 --> 00:07:52.524
人類が遠い未来に
実現するかもしれない

00:07:52.524 --> 00:07:55.322
夢のようなテクノロジーについて
考えてください

00:07:55.322 --> 00:07:58.580
老化を止めるとか
宇宙への移民

00:07:58.580 --> 00:08:02.311
自己増殖ナノボットや 
意識のコンピュータへのアップロードなど

00:08:02.311 --> 00:08:04.470
SFっぽいけれど

00:08:04.470 --> 00:08:07.207
物理法則には
反していないものです

00:08:07.207 --> 00:08:12.199
超知的な機械が そういったものを
あっさり開発してしまうかもしれません

NOTE Paragraph

00:08:12.199 --> 00:08:16.007
超知的な機械は
そのような高度な技術によって

00:08:16.007 --> 00:08:18.186
非常に大きな力を持ち

00:08:18.186 --> 00:08:23.162
シナリオ次第では 望むものを何でも
手に入れるようになるかもしれません

00:08:23.162 --> 00:08:28.393
そうすると人類の未来は人工知能が好む通りに
形作られることになります

00:08:29.855 --> 00:08:33.604
ここで問題は その好むことが
何かということです

00:08:34.244 --> 00:08:36.013
話しがややこしくなってきますが

00:08:36.013 --> 00:08:37.448
この議論を進める上では

00:08:37.448 --> 00:08:40.724
何より擬人化を
避けなければなりません

00:08:41.933 --> 00:08:45.815
皮肉なのは
未来の人工知能を取り上げる記事で

00:08:45.815 --> 00:08:49.090
必ず出てくるのが
こんな写真だということです

00:08:50.280 --> 00:08:54.414
私たちはこの問題を
ハリウッドの鮮明なシナリオに沿ってではなく

00:08:54.414 --> 00:08:57.204
もっと抽象的に
考える必要があります

NOTE Paragraph

00:08:57.204 --> 00:09:01.661
我々は知性を 
未来を特定の状態へと舵取りしていく

00:09:01.661 --> 00:09:06.470
最適化プロセスとして
捉える必要があります

00:09:06.470 --> 00:09:09.981
超知的な機械は
非常に強力な最適化プロセスです

00:09:09.981 --> 00:09:14.098
利用可能な手段を使って
目的が充たされた状態を達成することに

00:09:14.098 --> 00:09:16.007
極めて長けています

00:09:16.447 --> 00:09:19.119
この意味での
高い知性を持つことと

00:09:19.119 --> 00:09:23.433
人間が価値や意味を認める
目的を抱くことの間には

00:09:23.433 --> 00:09:26.515
必ずしも関係がありません

NOTE Paragraph

00:09:27.321 --> 00:09:31.115
人間を笑顔にさせるという目的を
人工知能に与えたとしましょう

00:09:31.115 --> 00:09:34.097
弱い人工知能は
人が見て笑うような

00:09:34.097 --> 00:09:36.614
何か可笑しいことを
するでしょう

00:09:36.614 --> 00:09:39.031
人工知能が
超知的になったなら

00:09:39.031 --> 00:09:42.804
この目的を達するには
もっと効果的なやり方があることに気付くでしょう

00:09:42.804 --> 00:09:44.476
世界をコントロールし

00:09:44.476 --> 00:09:47.638
人間の表情筋に
電極を差し込んで

00:09:47.638 --> 00:09:50.579
笑い顔が持続するようにするんです

00:09:50.579 --> 00:09:51.614
別の例として

00:09:51.614 --> 00:09:54.997
人工知能に難しい数学の問題を解くことを
目的として与えたとします

00:09:54.997 --> 00:09:56.934
人工知能が超知的になったら

00:09:56.934 --> 00:10:01.105
この問題を解くための
最も効果的な方法は

00:10:01.105 --> 00:10:02.985
地球を巨大なコンピュータに変えて

00:10:02.985 --> 00:10:06.351
思考能力を増大させることだと
考えるかもしれません

00:10:06.351 --> 00:10:08.625
このような目的は
人工知能に対して

00:10:08.625 --> 00:10:12.301
人間が認めないような行為をする動機を
与えうることに注意してください

00:10:12.301 --> 00:10:13.496
このモデルにおいては

00:10:13.496 --> 00:10:17.097
人間は人工知能にとって数学的問題を解くのを妨げる
邪魔者になりうるのです

NOTE Paragraph

00:10:17.097 --> 00:10:20.701
もちろん物事がこの筋書き通りに
まずいことに陥ることはないでしょう

00:10:20.701 --> 00:10:22.454
これはあくまで
戯画化した例です

00:10:22.454 --> 00:10:24.393
しかしこの一般的な論点は重要です

00:10:24.393 --> 00:10:26.996
目的Ｘに向けて最大化を行う

00:10:26.996 --> 00:10:29.500
強力な最適化プロセスを
作るときには

00:10:29.500 --> 00:10:31.966
Ｘの定義が自分の気にかける
その他すべてのことに

00:10:31.966 --> 00:10:34.775
問題を生じないか
よく確認する必要があります

00:10:34.775 --> 00:10:39.079
これは伝説が教える
教訓でもあります

00:10:39.079 --> 00:10:44.517
ミダス王は自分の触るものすべてが
金になることを望みました

00:10:44.517 --> 00:10:47.378
娘に触れば
娘が金に変わり

00:10:47.378 --> 00:10:49.931
食べ物に触れば
食べ物が金に変わりました

00:10:49.931 --> 00:10:52.520
これが本当に
問題になるかもしれません

00:10:52.520 --> 00:10:54.900
単なる強欲を諫める
メタファーとしてではなく

00:10:54.900 --> 00:10:56.915
強力な最適化プロセスを作って

00:10:56.915 --> 00:11:00.422
間違った あるいは
まずく定義された目的を与えたときに

00:11:00.422 --> 00:11:04.111
何が起きるかを
示すものとしてです

NOTE Paragraph

00:11:04.111 --> 00:11:09.300
コンピュータが人の顔に
電極を差し始めたら

00:11:09.300 --> 00:11:11.565
単にスイッチを切ればいいと
思うかもしれません

00:11:12.285 --> 00:11:17.895
(A) そのシステムに依存するようになったとき
スイッチを切ることは難しくなります

00:11:17.895 --> 00:11:20.627
たとえばの話 インターネットのスイッチは
どこにあるのでしょう？

00:11:20.627 --> 00:11:25.747
(B) チンパンジーはなぜ人間のスイッチを
オフにしなかったんでしょう？

00:11:25.747 --> 00:11:27.298
あるいはネアンデルタール人は？

00:11:27.298 --> 00:11:29.964
彼らにはそうすべき理由が
あったことでしょう

00:11:29.964 --> 00:11:32.759
人間を切るスイッチはあります
たとえはここに

00:11:32.759 --> 00:11:34.313
(うぐぅ)

00:11:34.313 --> 00:11:37.238
その理由は人間が
知的な相手だからです

00:11:37.238 --> 00:11:39.816
人間は危険を予期して
回避することができます

00:11:39.816 --> 00:11:42.860
そしてそれは超知的な機械にも
できるだろうことで

00:11:42.860 --> 00:11:45.724
しかも人間よりずっと
上手くできることでしょう

00:11:45.724 --> 00:11:52.911
我々は制御できるはずだと
高をくくらない方がよいということです

NOTE Paragraph

00:11:52.911 --> 00:11:56.078
この問題をもう少し簡単にして

00:11:56.078 --> 00:11:57.948
人工知能を逃げ出すことのできない

00:11:57.948 --> 00:11:59.744
安全なソフトウェア環境や

00:11:59.744 --> 00:12:03.146
仮想現実シミュレーションの中に閉じ込める
というのでもいいかもしれません

00:12:03.146 --> 00:12:06.912
しかし人工知能がシステムの欠陥を見つけたりしないと
自信を持てるでしょうか？

00:12:06.912 --> 00:12:10.331
ただの人間のハッカーでさえ
年中バグを見つけていることを思えば

00:12:10.331 --> 00:12:13.117
あまり自信は持てないでしょう

00:12:14.237 --> 00:12:18.435
ではネットワークケーブルを抜いて
エアギャップを作ればどうか？

00:12:18.435 --> 00:12:21.453
これにしたって人間のハッカーが
ソーシャルエンジニアリングによって

00:12:21.453 --> 00:12:24.704
エアギャップを越えるということが
たびたび起きています

00:12:24.704 --> 00:12:26.293
私が話をしているこの瞬間にも

00:12:26.293 --> 00:12:28.482
きっとどこかの社員が

00:12:28.482 --> 00:12:31.608
情報管理部門から来たという人間に

00:12:31.608 --> 00:12:34.634
アカウントの情報を教えるよう
仕向けられていることでしょう

NOTE Paragraph

00:12:34.634 --> 00:12:36.701
もっと奇想天外なシナリオだって
考えられます

00:12:36.701 --> 00:12:38.016
たとえば人工知能が

00:12:38.016 --> 00:12:41.548
内部回路にある電極の
振動で発生した

00:12:41.548 --> 00:12:45.010
電波を使って
通信をするとか

00:12:45.010 --> 00:12:47.434
あるいは人工知能が故障を装って

00:12:47.434 --> 00:12:50.041
プログラマーが調べようと中を開け

00:12:50.041 --> 00:12:52.267
ソースコードを見たところで 
バーン！

00:12:52.267 --> 00:12:55.054
操作してしまうとか

00:12:55.054 --> 00:12:58.744
あるいはすごく洗練された
技術の設計図を出して

00:12:58.744 --> 00:13:00.502
人間がそれを実装してみると

00:13:00.502 --> 00:13:04.539
そこには人工知能が潜ませていた
密かな副作用があるとか

00:13:04.539 --> 00:13:08.002
要は我々は高度に知的な魔神を

00:13:08.002 --> 00:13:11.810
いつまでも壺に閉じ込めておけるとは
思わない方がよいということです

00:13:11.810 --> 00:13:14.784
遅かれ早かれ
出口を見つけ出すことでしょう

NOTE Paragraph

00:13:14.784 --> 00:13:18.137
この問題への答えは 
非常に知的な人工知能を

00:13:18.137 --> 00:13:23.161
それが逃げ出しても
危険がないように作るということ

00:13:23.161 --> 00:13:25.128
人間と同じ価値観を持っていて

00:13:25.128 --> 00:13:28.377
人間の側に立つように作る
ということだと思います

00:13:28.377 --> 00:13:31.547
この難しい問題を
避けて通ることはできません

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
私はこの問題は
解決できると楽観しています

00:13:36.391 --> 00:13:40.034
私たちが気にかける
あらゆることを書き出し

00:13:40.034 --> 00:13:42.987
さらにはC++やPythonのような
プログラミング言語で

00:13:42.987 --> 00:13:46.331
厳密に定義することは
望みがないくらい難しいことでしょうが

00:13:46.331 --> 00:13:48.158
そうする必要はないと思います

00:13:48.158 --> 00:13:52.455
自らの知性を使って
人間が価値を置くことを

00:13:52.455 --> 00:13:55.226
学び取る人工知能を
作ればよいのです

00:13:55.226 --> 00:14:00.506
人間の価値を追求し 
人間がよしとすることを予測して行動するような

00:14:00.506 --> 00:14:05.738
動機付けのシステムを
持たせるのです

00:14:05.738 --> 00:14:09.152
そうやって価値付けの
問題を解くために

00:14:09.152 --> 00:14:11.897
人工知能の知性を
可能な限り活用するのです

NOTE Paragraph

00:14:12.727 --> 00:14:14.239
これは可能なことで

00:14:14.239 --> 00:14:17.835
人類にとって
とても好ましい結果をもたらします

00:14:17.835 --> 00:14:21.792
しかし自動的に
起きるわけではありません

00:14:21.792 --> 00:14:25.420
知性爆発が人間の制御下で
起きるようにするためには

00:14:25.420 --> 00:14:27.653
初期条件を正しく

00:14:27.653 --> 00:14:30.503
設定する必要があります

00:14:30.503 --> 00:14:33.801
人工知能の価値観を人間の価値観と
合ったものにする必要があります

00:14:33.801 --> 00:14:36.291
人工知能が適切に行動しているか
容易に確認できるような

00:14:36.291 --> 00:14:37.999
分かりやすい状況だけでなく

00:14:37.999 --> 00:14:41.233
将来のいつか人工知能が出会うかもしれない
あらゆる新奇な状況において

00:14:41.233 --> 00:14:42.790
そうなる必要があります

NOTE Paragraph

00:14:42.790 --> 00:14:47.527
それから解決しなければならない
難解な問題がいろいろあります

00:14:47.527 --> 00:14:49.616
決定理論の正確な詳細

00:14:49.616 --> 00:14:52.480
論理的不確定性をどう扱うか 
といったことです

00:14:53.330 --> 00:14:56.432
だからこれを機能させるために
解くべき技術的問題は

00:14:56.432 --> 00:14:57.545
とても難しいものです

00:14:57.545 --> 00:15:01.175
超知的な人工知能を作ること自体ほど
難しくはないにしても

00:15:01.175 --> 00:15:03.793
かなり難しいことです

00:15:03.793 --> 00:15:05.488
ひとつ懸念すべきことがあります

00:15:05.488 --> 00:15:09.952
超知的な人工知能を作るのは
非常に難しいことで

00:15:09.952 --> 00:15:12.720
超知的な人工知能を
安全なものにするのは

00:15:12.720 --> 00:15:15.566
その上にさらなる問題を
重ねることになりますが

00:15:16.216 --> 00:15:19.703
危険があるのは 
誰かが安全を確保するという

00:15:19.703 --> 00:15:22.704
２番目の問題を解決することなく

00:15:22.704 --> 00:15:25.215
最初の問題を解く方法を見つける
ということです

NOTE Paragraph

00:15:25.215 --> 00:15:28.706
だから私たちは
この制御の問題を

00:15:28.706 --> 00:15:31.528
前もって解決しておくべきだと思います

00:15:31.528 --> 00:15:34.188
そうすれば必要になったときに
すぐ使えます

00:15:34.768 --> 00:15:38.275
制御の問題のすべてを前もって解決することは
できないかもしれません

00:15:38.275 --> 00:15:41.299
ある部分は実装される
アーキテクチャの詳細が

00:15:41.299 --> 00:15:45.296
明かになって初めて
可能になるかもしれません

00:15:45.296 --> 00:15:48.676
しかし前もって制御の問題の
より多くの部分が解かれているほど

00:15:48.676 --> 00:15:52.766
機械知性の時代への移行が
うまくいく見込みは

00:15:52.766 --> 00:15:54.306
高くなるでしょう

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
これはやるに値することだと
私には思えます

00:15:58.950 --> 00:16:02.282
私には想像できます
すべてがうまくいった暁に

00:16:02.282 --> 00:16:06.940
百万年後の人類が
この世紀を振り返って

00:16:06.940 --> 00:16:10.152
私たちがした本当に重要なことが
何かあるとすれば

00:16:10.152 --> 00:16:12.509
それはこの問題を
正しく解決したことだと言うのを

NOTE Paragraph

00:16:12.509 --> 00:16:14.198
ありがとうございました

NOTE Paragraph

00:16:14.198 --> 00:16:17.011
(拍手)