0:00:00.570,0:00:04.777
私は沢山の数学者や哲学者や[br]コンピュータ科学者といっしょにやっていますが

0:00:04.777,0:00:07.766
よく話題にすることに

0:00:07.766,0:00:12.030
機械の知性の未来[br]というのがあります

0:00:12.030,0:00:16.565
そんなのは現実離れした[br]SFの世界の

0:00:16.565,0:00:19.666
馬鹿げた話だと[br]考える人もいます

0:00:19.666,0:00:22.206
でも現在の人間の状態[br]というものについて

0:00:22.206,0:00:24.930
ちょっと考えてみて[br]ほしいのです

0:00:24.930,0:00:26.622
(笑)

0:00:26.622,0:00:29.024
これが普通の状況とされています

0:00:29.024,0:00:31.309
しかし考えてみれば

0:00:31.309,0:00:33.942
人間というのは[br]この地球に

0:00:33.942,0:00:36.444
ごく最近現れた[br]客に過ぎません

0:00:36.444,0:00:41.430
地球ができたのが[br]１年前だったとしたら

0:00:41.430,0:00:44.978
人間がいたのは[br]10分間だけで

0:00:44.978,0:00:48.146
工業化時代が始まったのは[br]２秒前です

0:00:49.276,0:00:54.501
このことの別な見方として[br]過去１万年における世界のGDPを考えてみましょう

0:00:54.501,0:00:57.530
私は実際グラフにしてみたんですが

0:00:57.530,0:00:59.304
こんな感じになります

0:00:59.304,0:01:00.367
(笑)

0:01:00.367,0:01:02.828
正常な状態のものとしては[br]興味深い形です

0:01:02.828,0:01:05.095
この上に乗っていたいとは[br]あまり思いません

0:01:05.095,0:01:07.067
(笑)

0:01:07.067,0:01:11.841
この現在における例外的な状態の[br]原因を考えてみましょう

0:01:11.841,0:01:14.393
それはテクノロジーのためだ[br]という人もいるでしょう

0:01:14.393,0:01:19.061
それはその通りで 人類の歴史を通じて[br]テクノロジーは蓄積され続け

0:01:19.061,0:01:23.713
現在ではテクノロジーの進歩が[br]非常に速くなっています

0:01:23.713,0:01:25.278
それがおおよその答えで

0:01:25.278,0:01:28.403
現在の我々の高い生産性を[br]もたらしているものです

0:01:28.403,0:01:32.134
しかしもっと突っ込んで[br]究極の原因を探ってみたいと思います

0:01:33.114,0:01:36.750
この非常に際だった２人を[br]ご覧ください

0:01:36.750,0:01:38.080
カンジは

0:01:38.080,0:01:42.933
200の字句をマスターしています[br]すごいことです

0:01:42.933,0:01:46.817
エドワード・ウィッテンは[br]超弦理論の第２の革命の立役者です

0:01:46.817,0:01:49.141
中身を覗いてみれば [br]そこにあるのはこれで

0:01:49.141,0:01:50.711
基本的には同じものです

0:01:50.711,0:01:52.524
一方がすこしばかり大きく

0:01:52.524,0:01:55.602
配線のされ方にも より巧妙なところが[br]あるかもしれませんが

0:01:55.602,0:01:59.094
その違いはさほど[br]複雑なものではないはずです

0:01:59.094,0:02:02.209
我々は共通の祖先から

0:02:02.209,0:02:05.111
25万世代しか[br]隔たっていませんが

0:02:05.111,0:02:09.910
複雑なメカニズムが進化するのには[br]とても長い時間がかかることが分かっています

0:02:09.910,0:02:12.899
比較的小さな変化の[br]沢山の積み重ねが

0:02:12.899,0:02:15.566
カンジとウィッテンを

0:02:15.566,0:02:20.109
あるいは木切れと大陸間弾道弾を[br]隔てているものなのです

0:02:20.839,0:02:24.754
これで明らかになるのは [br]人類が達成したこと

0:02:24.754,0:02:26.502
気にかけていることすべては

0:02:26.502,0:02:31.380
人間の心を作り出した比較的小さな変化によって[br]生じたということです

0:02:32.650,0:02:36.312
それはまた[br]思考の基質を

0:02:36.312,0:02:39.009
はっきり変えるような[br]さらなる変化は

0:02:39.009,0:02:42.991
極めて大きな結果をもたらしうる[br]ということでもあります

0:02:44.321,0:02:48.006
私の研究仲間の間には [br]この思考の基質を本質的に変えうるものに

0:02:48.006,0:02:51.134
人類は今直面していると[br]考えている人もいます

0:02:51.134,0:02:54.347
それは超知的な機械です

0:02:54.347,0:02:59.086
人工知能というのはかつては[br]コマンドを詰め込んだ箱のようなものでした

0:02:59.086,0:03:01.231
人間のプログラマーが[br]苦労して

0:03:01.231,0:03:03.886
個々の知識項目を[br]手作りしていました

0:03:03.886,0:03:06.232
そうやってエキスパート・システムを作り

0:03:06.232,0:03:08.296
ある種の用途には[br]役立ちましたが

0:03:08.296,0:03:10.977
融通が効かず[br]拡張性を欠いていました

0:03:10.977,0:03:14.410
基本的には入れたものが[br]出てくるだけです

0:03:14.410,0:03:15.407
しかしその後

0:03:15.407,0:03:18.874
人工知能の世界で[br]パラダイムシフトが起きました

0:03:18.874,0:03:22.044
現在 機械学習の周辺で[br]非常に興味深いことが起きています

0:03:22.394,0:03:27.781
知識的な機能や表現を[br]手作りする代わりに

0:03:28.511,0:03:34.065
生の知覚データから[br]自ら学習するアルゴリズムを作るのです

0:03:34.065,0:03:39.063
基本的には人間の子供と同じことを[br]機械がするわけです

0:03:39.063,0:03:43.270
結果としてできるのは[br]１つの領域に限定されない人工知能です

0:03:43.270,0:03:47.901
どんな言語間の翻訳でも[br]できるシステムとか

0:03:47.901,0:03:53.338
アタリのゲーム機用のどんなゲームでも[br]プレイしてしまうシステムとか

0:03:53.338,0:03:55.117
もちろん[br]人工知能はまだ

0:03:55.117,0:03:59.116
多様な領域のことを[br]学び構想できる

0:03:59.116,0:04:02.335
人間の脳の強力さには[br]遠く及びません

0:04:02.335,0:04:05.761
大脳皮質にはまだ[br]機械で対抗する方法の見当もつかないような

0:04:05.761,0:04:07.356
アルゴリズム的仕掛けがあります

0:04:07.886,0:04:09.105
問題は そういう仕掛けに

0:04:09.105,0:04:13.595
機械が対抗するようになる日が[br]いつ来るのかということです

0:04:14.245,0:04:15.328
２年ほど前に

0:04:15.328,0:04:19.296
世界の人工知能の専門家にアンケートを取って[br]考えを聞いたんですが

0:04:19.296,0:04:21.440
その時の質問の１つが

0:04:21.440,0:04:24.793
「機械の知性が人間並みのレベルに[br]到達する可能性が

0:04:24.793,0:04:28.275
50%あるのはいつか？」[br]というものでした

0:04:28.785,0:04:31.688
ここでの「人間並み」の定義は

0:04:31.688,0:04:35.839
ほとんどの作業を大人の人間と[br]同じくらいにこなせる能力ということで

0:04:35.839,0:04:40.164
特定の領域に関してということではなく [br]本当に人間並みということです

0:04:40.164,0:04:43.494
回答の中央値は[br]2040年か2050年で

0:04:43.494,0:04:46.690
質問をした専門家のグループによって[br]若干違いました

0:04:46.690,0:04:50.339
それが起きるのはずっと遅いかもしれないし [br]ずっと早いかもしれません

0:04:50.339,0:04:52.279
本当のところは[br]誰にも分かりません

0:04:53.259,0:04:57.671
しかし分かっているのは [br]機械の基質による情報処理能力の限界は

0:04:57.671,0:05:02.542
生物組織の限界の[br]遙か先にあるということです

0:05:03.241,0:05:05.619
これは単純に物理の問題です

0:05:05.619,0:05:10.337
神経の発火頻度は200ヘルツ [br]毎秒200回ほどですが

0:05:10.337,0:05:13.931
現在のトランジスタでさえ[br]ギガヘルツで動いています

0:05:13.931,0:05:19.228
神経伝達は軸索をゆっくり伝わり [br]せいぜい毎秒100メートルですが

0:05:19.228,0:05:22.339
コンピュータの信号は[br]光速で伝わります

0:05:23.079,0:05:24.948
大きさの点でも制限があります

0:05:24.948,0:05:27.975
人間の脳は頭蓋骨の中に[br]収まる必要がありますが

0:05:27.975,0:05:32.736
コンピュータの大きさは倉庫のサイズか[br]もっと大きくもできます

0:05:32.736,0:05:38.335
だから超知的な機械の可能性は[br]休眠状態にあるのです

0:05:38.335,0:05:43.717
ちょうど原子の力が[br]1945年に目覚めるまで

0:05:43.717,0:05:48.242
人類の歴史を通じて[br]休眠状態にあったのと同じように

0:05:48.252,0:05:49.700
この世紀中に

0:05:49.700,0:05:53.818
科学者達は人工知能の力を[br]目覚めさせるかもしれません

0:05:53.818,0:05:57.826
私たちは知性の爆発を目の当たりに[br]することになるかもしれません

0:05:58.406,0:06:02.363
頭の良し悪しの尺度というと[br]多くの人は

0:06:02.363,0:06:05.386
こんなものを[br]イメージするのではと思います

0:06:05.386,0:06:07.984
一方の端に間抜けな人間がいて

0:06:07.984,0:06:11.117
遙か彼方の別の極端にいるのが

0:06:11.117,0:06:15.223
ウィッテンとかアインシュタインです[br]誰でもお気に入りの天才を置いてください

0:06:15.223,0:06:19.057
しかし人工知能という[br]観点を加えると

0:06:19.057,0:06:22.738
実際のイメージは[br]たぶんこんな感じになるでしょう

0:06:23.258,0:06:26.636
人工知能は[br]知性のない状態からスタートして

0:06:26.636,0:06:29.647
長年の努力の後に

0:06:29.647,0:06:33.491
いつかネズミ並みの知性に[br]到達できるかもしれません

0:06:33.491,0:06:35.921
雑然とした環境中を[br]ネズミのように

0:06:35.921,0:06:37.968
目的地へと[br]移動できる能力です

0:06:37.968,0:06:42.221
さらに長年に渡る[br]多くの努力と投資の末に

0:06:42.221,0:06:46.860
いつかチンパンジー並みの知性に[br]到達できるかもしれません

0:06:46.860,0:06:50.070
そこからさらに[br]長年の大きな努力を重ねて

0:06:50.070,0:06:52.983
間抜けな人間のレベルの[br]人工知能ができます

0:06:52.983,0:06:56.255
それから少しばかり後に[br]エドワード・ウィッテンを越えます

0:06:56.255,0:06:59.225
この列車は人間レベルで[br]止まりはしません

0:06:59.225,0:07:02.247
むしろ一瞬で[br]通り過ぎるでしょう

0:07:02.247,0:07:04.961
これには特に[br]力関係という点で

0:07:04.961,0:07:07.273
重大な意味があります

0:07:07.273,0:07:09.942
たえとば チンパンジーというのは[br]強いものです

0:07:09.942,0:07:15.214
体重換算すると チンパンジーは[br]体力に優れた成人男性の倍の力があります

0:07:15.214,0:07:19.828
それでもカンジや[br]その仲間達の運命は

0:07:19.828,0:07:23.968
チンパンジー達自身よりは[br]人間の手に握られています

0:07:25.228,0:07:27.542
超知的な機械が出現したら

0:07:27.542,0:07:31.711
人類の運命は超知的な機械に[br]握られることになるかもしれません

0:07:32.261,0:07:33.508
そのことを考えてみてください

0:07:33.508,0:07:38.552
機械の知性は[br]人類がする必要のある最後の発明です

0:07:38.552,0:07:41.335
機械が人間よりも[br]うまく発明をするようになり

0:07:41.335,0:07:44.405
しかもデジタルの時間尺度で[br]進歩することでしょう

0:07:44.405,0:07:48.966
それが意味するのは [br]未来が短縮されるということです

0:07:48.966,0:07:52.524
人類が遠い未来に[br]実現するかもしれない

0:07:52.524,0:07:55.322
夢のようなテクノロジーについて[br]考えてください

0:07:55.322,0:07:58.580
老化を止めるとか[br]宇宙への移民

0:07:58.580,0:08:02.311
自己増殖ナノボットや [br]意識のコンピュータへのアップロードなど

0:08:02.311,0:08:04.470
SFっぽいけれど

0:08:04.470,0:08:07.207
物理法則には[br]反していないものです

0:08:07.207,0:08:12.199
超知的な機械が そういったものを[br]あっさり開発してしまうかもしれません

0:08:12.199,0:08:16.007
超知的な機械は[br]そのような高度な技術によって

0:08:16.007,0:08:18.186
非常に大きな力を持ち

0:08:18.186,0:08:23.162
シナリオ次第では 望むものを何でも[br]手に入れるようになるかもしれません

0:08:23.162,0:08:28.393
そうすると人類の未来は人工知能が好む通りに[br]形作られることになります

0:08:29.855,0:08:33.604
ここで問題は その好むことが[br]何かということです

0:08:34.244,0:08:36.013
話しがややこしくなってきますが

0:08:36.013,0:08:37.448
この議論を進める上では

0:08:37.448,0:08:40.724
何より擬人化を[br]避けなければなりません

0:08:41.933,0:08:45.815
皮肉なのは[br]未来の人工知能を取り上げる記事で

0:08:45.815,0:08:49.090
必ず出てくるのが[br]こんな写真だということです

0:08:50.280,0:08:54.414
私たちはこの問題を[br]ハリウッドの鮮明なシナリオに沿ってではなく

0:08:54.414,0:08:57.204
もっと抽象的に[br]考える必要があります

0:08:57.204,0:09:01.661
我々は知性を [br]未来を特定の状態へと舵取りしていく

0:09:01.661,0:09:06.470
最適化プロセスとして[br]捉える必要があります

0:09:06.470,0:09:09.981
超知的な機械は[br]非常に強力な最適化プロセスです

0:09:09.981,0:09:14.098
利用可能な手段を使って[br]目的が充たされた状態を達成することに

0:09:14.098,0:09:16.007
極めて長けています

0:09:16.447,0:09:19.119
この意味での[br]高い知性を持つことと

0:09:19.119,0:09:23.433
人間が価値や意味を認める[br]目的を抱くことの間には

0:09:23.433,0:09:26.515
必ずしも関係がありません

0:09:27.321,0:09:31.115
人間を笑顔にさせるという目的を[br]人工知能に与えたとしましょう

0:09:31.115,0:09:34.097
弱い人工知能は[br]人が見て笑うような

0:09:34.097,0:09:36.614
何か可笑しいことを[br]するでしょう

0:09:36.614,0:09:39.031
人工知能が[br]超知的になったなら

0:09:39.031,0:09:42.804
この目的を達するには[br]もっと効果的なやり方があることに気付くでしょう

0:09:42.804,0:09:44.476
世界をコントロールし

0:09:44.476,0:09:47.638
人間の表情筋に[br]電極を差し込んで

0:09:47.638,0:09:50.579
笑い顔が持続するようにするんです

0:09:50.579,0:09:51.614
別の例として

0:09:51.614,0:09:54.997
人工知能に難しい数学の問題を解くことを[br]目的として与えたとします

0:09:54.997,0:09:56.934
人工知能が超知的になったら

0:09:56.934,0:10:01.105
この問題を解くための[br]最も効果的な方法は

0:10:01.105,0:10:02.985
地球を巨大なコンピュータに変えて

0:10:02.985,0:10:06.351
思考能力を増大させることだと[br]考えるかもしれません

0:10:06.351,0:10:08.625
このような目的は[br]人工知能に対して

0:10:08.625,0:10:12.301
人間が認めないような行為をする動機を[br]与えうることに注意してください

0:10:12.301,0:10:13.496
このモデルにおいては

0:10:13.496,0:10:17.097
人間は人工知能にとって数学的問題を解くのを妨げる[br]邪魔者になりうるのです

0:10:17.097,0:10:20.701
もちろん物事がこの筋書き通りに[br]まずいことに陥ることはないでしょう

0:10:20.701,0:10:22.454
これはあくまで[br]戯画化した例です

0:10:22.454,0:10:24.393
しかしこの一般的な論点は重要です

0:10:24.393,0:10:26.996
目的Ｘに向けて最大化を行う

0:10:26.996,0:10:29.500
強力な最適化プロセスを[br]作るときには

0:10:29.500,0:10:31.966
Ｘの定義が自分の気にかける[br]その他すべてのことに

0:10:31.966,0:10:34.775
問題を生じないか[br]よく確認する必要があります

0:10:34.775,0:10:39.079
これは伝説が教える[br]教訓でもあります

0:10:39.079,0:10:44.517
ミダス王は自分の触るものすべてが[br]金になることを望みました

0:10:44.517,0:10:47.378
娘に触れば[br]娘が金に変わり

0:10:47.378,0:10:49.931
食べ物に触れば[br]食べ物が金に変わりました

0:10:49.931,0:10:52.520
これが本当に[br]問題になるかもしれません

0:10:52.520,0:10:54.900
単なる強欲を諫める[br]メタファーとしてではなく

0:10:54.900,0:10:56.915
強力な最適化プロセスを作って

0:10:56.915,0:11:00.422
間違った あるいは[br]まずく定義された目的を与えたときに

0:11:00.422,0:11:04.111
何が起きるかを[br]示すものとしてです

0:11:04.111,0:11:09.300
コンピュータが人の顔に[br]電極を差し始めたら

0:11:09.300,0:11:11.565
単にスイッチを切ればいいと[br]思うかもしれません

0:11:12.285,0:11:17.895
(A) そのシステムに依存するようになったとき[br]スイッチを切ることは難しくなります

0:11:17.895,0:11:20.627
たとえばの話 インターネットのスイッチは[br]どこにあるのでしょう？

0:11:20.627,0:11:25.747
(B) チンパンジーはなぜ人間のスイッチを[br]オフにしなかったんでしょう？

0:11:25.747,0:11:27.298
あるいはネアンデルタール人は？

0:11:27.298,0:11:29.964
彼らにはそうすべき理由が[br]あったことでしょう

0:11:29.964,0:11:32.759
人間を切るスイッチはあります[br]たとえはここに

0:11:32.759,0:11:34.313
(うぐぅ)

0:11:34.313,0:11:37.238
その理由は人間が[br]知的な相手だからです

0:11:37.238,0:11:39.816
人間は危険を予期して[br]回避することができます

0:11:39.816,0:11:42.860
そしてそれは超知的な機械にも[br]できるだろうことで

0:11:42.860,0:11:45.724
しかも人間よりずっと[br]上手くできることでしょう

0:11:45.724,0:11:52.911
我々は制御できるはずだと[br]高をくくらない方がよいということです

0:11:52.911,0:11:56.078
この問題をもう少し簡単にして

0:11:56.078,0:11:57.948
人工知能を逃げ出すことのできない

0:11:57.948,0:11:59.744
安全なソフトウェア環境や

0:11:59.744,0:12:03.146
仮想現実シミュレーションの中に閉じ込める[br]というのでもいいかもしれません

0:12:03.146,0:12:06.912
しかし人工知能がシステムの欠陥を見つけたりしないと[br]自信を持てるでしょうか？

0:12:06.912,0:12:10.331
ただの人間のハッカーでさえ[br]年中バグを見つけていることを思えば

0:12:10.331,0:12:13.117
あまり自信は持てないでしょう

0:12:14.237,0:12:18.435
ではネットワークケーブルを抜いて[br]エアギャップを作ればどうか？

0:12:18.435,0:12:21.453
これにしたって人間のハッカーが[br]ソーシャルエンジニアリングによって

0:12:21.453,0:12:24.704
エアギャップを越えるということが[br]たびたび起きています

0:12:24.704,0:12:26.293
私が話をしているこの瞬間にも

0:12:26.293,0:12:28.482
きっとどこかの社員が

0:12:28.482,0:12:31.608
情報管理部門から来たという人間に

0:12:31.608,0:12:34.634
アカウントの情報を教えるよう[br]仕向けられていることでしょう

0:12:34.634,0:12:36.701
もっと奇想天外なシナリオだって[br]考えられます

0:12:36.701,0:12:38.016
たとえば人工知能が

0:12:38.016,0:12:41.548
内部回路にある電極の[br]振動で発生した

0:12:41.548,0:12:45.010
電波を使って[br]通信をするとか

0:12:45.010,0:12:47.434
あるいは人工知能が故障を装って

0:12:47.434,0:12:50.041
プログラマーが調べようと中を開け

0:12:50.041,0:12:52.267
ソースコードを見たところで [br]バーン！

0:12:52.267,0:12:55.054
操作してしまうとか

0:12:55.054,0:12:58.744
あるいはすごく洗練された[br]技術の設計図を出して

0:12:58.744,0:13:00.502
人間がそれを実装してみると

0:13:00.502,0:13:04.539
そこには人工知能が潜ませていた[br]密かな副作用があるとか

0:13:04.539,0:13:08.002
要は我々は高度に知的な魔神を

0:13:08.002,0:13:11.810
いつまでも壺に閉じ込めておけるとは[br]思わない方がよいということです

0:13:11.810,0:13:14.784
遅かれ早かれ[br]出口を見つけ出すことでしょう

0:13:14.784,0:13:18.137
この問題への答えは [br]非常に知的な人工知能を

0:13:18.137,0:13:23.161
それが逃げ出しても[br]危険がないように作るということ

0:13:23.161,0:13:25.128
人間と同じ価値観を持っていて

0:13:25.128,0:13:28.377
人間の側に立つように作る[br]ということだと思います

0:13:28.377,0:13:31.547
この難しい問題を[br]避けて通ることはできません

0:13:32.557,0:13:36.391
私はこの問題は[br]解決できると楽観しています

0:13:36.391,0:13:40.034
私たちが気にかける[br]あらゆることを書き出し

0:13:40.034,0:13:42.987
さらにはC++やPythonのような[br]プログラミング言語で

0:13:42.987,0:13:46.331
厳密に定義することは[br]望みがないくらい難しいことでしょうが

0:13:46.331,0:13:48.158
そうする必要はないと思います

0:13:48.158,0:13:52.455
自らの知性を使って[br]人間が価値を置くことを

0:13:52.455,0:13:55.226
学び取る人工知能を[br]作ればよいのです

0:13:55.226,0:14:00.506
人間の価値を追求し [br]人間がよしとすることを予測して行動するような

0:14:00.506,0:14:05.738
動機付けのシステムを[br]持たせるのです

0:14:05.738,0:14:09.152
そうやって価値付けの[br]問題を解くために

0:14:09.152,0:14:11.897
人工知能の知性を[br]可能な限り活用するのです

0:14:12.727,0:14:14.239
これは可能なことで

0:14:14.239,0:14:17.835
人類にとって[br]とても好ましい結果をもたらします

0:14:17.835,0:14:21.792
しかし自動的に[br]起きるわけではありません

0:14:21.792,0:14:25.420
知性爆発が人間の制御下で[br]起きるようにするためには

0:14:25.420,0:14:27.653
初期条件を正しく

0:14:27.653,0:14:30.503
設定する必要があります

0:14:30.503,0:14:33.801
人工知能の価値観を人間の価値観と[br]合ったものにする必要があります

0:14:33.801,0:14:36.291
人工知能が適切に行動しているか[br]容易に確認できるような

0:14:36.291,0:14:37.999
分かりやすい状況だけでなく

0:14:37.999,0:14:41.233
将来のいつか人工知能が出会うかもしれない[br]あらゆる新奇な状況において

0:14:41.233,0:14:42.790
そうなる必要があります

0:14:42.790,0:14:47.527
それから解決しなければならない[br]難解な問題がいろいろあります

0:14:47.527,0:14:49.616
決定理論の正確な詳細

0:14:49.616,0:14:52.480
論理的不確定性をどう扱うか [br]といったことです

0:14:53.330,0:14:56.432
だからこれを機能させるために[br]解くべき技術的問題は

0:14:56.432,0:14:57.545
とても難しいものです

0:14:57.545,0:15:01.175
超知的な人工知能を作ること自体ほど[br]難しくはないにしても

0:15:01.175,0:15:03.793
かなり難しいことです

0:15:03.793,0:15:05.488
ひとつ懸念すべきことがあります

0:15:05.488,0:15:09.952
超知的な人工知能を作るのは[br]非常に難しいことで

0:15:09.952,0:15:12.720
超知的な人工知能を[br]安全なものにするのは

0:15:12.720,0:15:15.566
その上にさらなる問題を[br]重ねることになりますが

0:15:16.216,0:15:19.703
危険があるのは [br]誰かが安全を確保するという

0:15:19.703,0:15:22.704
２番目の問題を解決することなく

0:15:22.704,0:15:25.215
最初の問題を解く方法を見つける[br]ということです

0:15:25.215,0:15:28.706
だから私たちは[br]この制御の問題を

0:15:28.706,0:15:31.528
前もって解決しておくべきだと思います

0:15:31.528,0:15:34.188
そうすれば必要になったときに[br]すぐ使えます

0:15:34.768,0:15:38.275
制御の問題のすべてを前もって解決することは[br]できないかもしれません

0:15:38.275,0:15:41.299
ある部分は実装される[br]アーキテクチャの詳細が

0:15:41.299,0:15:45.296
明かになって初めて[br]可能になるかもしれません

0:15:45.296,0:15:48.676
しかし前もって制御の問題の[br]より多くの部分が解かれているほど

0:15:48.676,0:15:52.766
機械知性の時代への移行が[br]うまくいく見込みは

0:15:52.766,0:15:54.306
高くなるでしょう

0:15:54.306,0:15:58.950
これはやるに値することだと[br]私には思えます

0:15:58.950,0:16:02.282
私には想像できます[br]すべてがうまくいった暁に

0:16:02.282,0:16:06.940
百万年後の人類が[br]この世紀を振り返って

0:16:06.940,0:16:10.152
私たちがした本当に重要なことが[br]何かあるとすれば

0:16:10.152,0:16:12.509
それはこの問題を[br]正しく解決したことだと言うのを

0:16:12.509,0:16:14.198
ありがとうございました

0:16:14.198,0:16:17.011
(拍手)