[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.57,0:00:04.78,Default,,0000,0000,0000,,私は沢山の数学者や哲学者や\Nコンピュータ科学者といっしょにやっていますが
Dialogue: 0,0:00:04.78,0:00:07.77,Default,,0000,0000,0000,,よく話題にすることに
Dialogue: 0,0:00:07.77,0:00:12.03,Default,,0000,0000,0000,,機械の知性の未来\Nというのがあります
Dialogue: 0,0:00:12.03,0:00:16.56,Default,,0000,0000,0000,,そんなのは現実離れした\NSFの世界の
Dialogue: 0,0:00:16.56,0:00:19.67,Default,,0000,0000,0000,,馬鹿げた話だと\N考える人もいます
Dialogue: 0,0:00:19.67,0:00:22.21,Default,,0000,0000,0000,,でも現在の人間の状態\Nというものについて
Dialogue: 0,0:00:22.21,0:00:24.93,Default,,0000,0000,0000,,ちょっと考えてみて\Nほしいのです
Dialogue: 0,0:00:24.93,0:00:26.62,Default,,0000,0000,0000,,(笑)
Dialogue: 0,0:00:26.62,0:00:29.02,Default,,0000,0000,0000,,これが普通の状況とされています
Dialogue: 0,0:00:29.02,0:00:31.31,Default,,0000,0000,0000,,しかし考えてみれば
Dialogue: 0,0:00:31.31,0:00:33.94,Default,,0000,0000,0000,,人間というのは\Nこの地球に
Dialogue: 0,0:00:33.94,0:00:36.44,Default,,0000,0000,0000,,ごく最近現れた\N客に過ぎません
Dialogue: 0,0:00:36.44,0:00:41.43,Default,,0000,0000,0000,,地球ができたのが\N１年前だったとしたら
Dialogue: 0,0:00:41.43,0:00:44.98,Default,,0000,0000,0000,,人間がいたのは\N10分間だけで
Dialogue: 0,0:00:44.98,0:00:48.15,Default,,0000,0000,0000,,工業化時代が始まったのは\N２秒前です
Dialogue: 0,0:00:49.28,0:00:54.50,Default,,0000,0000,0000,,このことの別な見方として\N過去１万年における世界のGDPを考えてみましょう
Dialogue: 0,0:00:54.50,0:00:57.53,Default,,0000,0000,0000,,私は実際グラフにしてみたんですが
Dialogue: 0,0:00:57.53,0:00:59.30,Default,,0000,0000,0000,,こんな感じになります
Dialogue: 0,0:00:59.30,0:01:00.37,Default,,0000,0000,0000,,(笑)
Dialogue: 0,0:01:00.37,0:01:02.83,Default,,0000,0000,0000,,正常な状態のものとしては\N興味深い形です
Dialogue: 0,0:01:02.83,0:01:05.10,Default,,0000,0000,0000,,この上に乗っていたいとは\Nあまり思いません
Dialogue: 0,0:01:05.10,0:01:07.07,Default,,0000,0000,0000,,(笑)
Dialogue: 0,0:01:07.07,0:01:11.84,Default,,0000,0000,0000,,この現在における例外的な状態の\N原因を考えてみましょう
Dialogue: 0,0:01:11.84,0:01:14.39,Default,,0000,0000,0000,,それはテクノロジーのためだ\Nという人もいるでしょう
Dialogue: 0,0:01:14.39,0:01:19.06,Default,,0000,0000,0000,,それはその通りで 人類の歴史を通じて\Nテクノロジーは蓄積され続け
Dialogue: 0,0:01:19.06,0:01:23.71,Default,,0000,0000,0000,,現在ではテクノロジーの進歩が\N非常に速くなっています
Dialogue: 0,0:01:23.71,0:01:25.28,Default,,0000,0000,0000,,それがおおよその答えで
Dialogue: 0,0:01:25.28,0:01:28.40,Default,,0000,0000,0000,,現在の我々の高い生産性を\Nもたらしているものです
Dialogue: 0,0:01:28.40,0:01:32.13,Default,,0000,0000,0000,,しかしもっと突っ込んで\N究極の原因を探ってみたいと思います
Dialogue: 0,0:01:33.11,0:01:36.75,Default,,0000,0000,0000,,この非常に際だった２人を\Nご覧ください
Dialogue: 0,0:01:36.75,0:01:38.08,Default,,0000,0000,0000,,カンジは
Dialogue: 0,0:01:38.08,0:01:42.93,Default,,0000,0000,0000,,200の字句をマスターしています\Nすごいことです
Dialogue: 0,0:01:42.93,0:01:46.82,Default,,0000,0000,0000,,エドワード・ウィッテンは\N超弦理論の第２の革命の立役者です
Dialogue: 0,0:01:46.82,0:01:49.14,Default,,0000,0000,0000,,中身を覗いてみれば \Nそこにあるのはこれで
Dialogue: 0,0:01:49.14,0:01:50.71,Default,,0000,0000,0000,,基本的には同じものです
Dialogue: 0,0:01:50.71,0:01:52.52,Default,,0000,0000,0000,,一方がすこしばかり大きく
Dialogue: 0,0:01:52.52,0:01:55.60,Default,,0000,0000,0000,,配線のされ方にも より巧妙なところが\Nあるかもしれませんが
Dialogue: 0,0:01:55.60,0:01:59.09,Default,,0000,0000,0000,,その違いはさほど\N複雑なものではないはずです
Dialogue: 0,0:01:59.09,0:02:02.21,Default,,0000,0000,0000,,我々は共通の祖先から
Dialogue: 0,0:02:02.21,0:02:05.11,Default,,0000,0000,0000,,25万世代しか\N隔たっていませんが
Dialogue: 0,0:02:05.11,0:02:09.91,Default,,0000,0000,0000,,複雑なメカニズムが進化するのには\Nとても長い時間がかかることが分かっています
Dialogue: 0,0:02:09.91,0:02:12.90,Default,,0000,0000,0000,,比較的小さな変化の\N沢山の積み重ねが
Dialogue: 0,0:02:12.90,0:02:15.57,Default,,0000,0000,0000,,カンジとウィッテンを
Dialogue: 0,0:02:15.57,0:02:20.11,Default,,0000,0000,0000,,あるいは木切れと大陸間弾道弾を\N隔てているものなのです
Dialogue: 0,0:02:20.84,0:02:24.75,Default,,0000,0000,0000,,これで明らかになるのは \N人類が達成したこと
Dialogue: 0,0:02:24.75,0:02:26.50,Default,,0000,0000,0000,,気にかけていることすべては
Dialogue: 0,0:02:26.50,0:02:31.38,Default,,0000,0000,0000,,人間の心を作り出した比較的小さな変化によって\N生じたということです
Dialogue: 0,0:02:32.65,0:02:36.31,Default,,0000,0000,0000,,それはまた\N思考の基質を
Dialogue: 0,0:02:36.31,0:02:39.01,Default,,0000,0000,0000,,はっきり変えるような\Nさらなる変化は
Dialogue: 0,0:02:39.01,0:02:42.99,Default,,0000,0000,0000,,極めて大きな結果をもたらしうる\Nということでもあります
Dialogue: 0,0:02:44.32,0:02:48.01,Default,,0000,0000,0000,,私の研究仲間の間には \Nこの思考の基質を本質的に変えうるものに
Dialogue: 0,0:02:48.01,0:02:51.13,Default,,0000,0000,0000,,人類は今直面していると\N考えている人もいます
Dialogue: 0,0:02:51.13,0:02:54.35,Default,,0000,0000,0000,,それは超知的な機械です
Dialogue: 0,0:02:54.35,0:02:59.09,Default,,0000,0000,0000,,人工知能というのはかつては\Nコマンドを詰め込んだ箱のようなものでした
Dialogue: 0,0:02:59.09,0:03:01.23,Default,,0000,0000,0000,,人間のプログラマーが\N苦労して
Dialogue: 0,0:03:01.23,0:03:03.89,Default,,0000,0000,0000,,個々の知識項目を\N手作りしていました
Dialogue: 0,0:03:03.89,0:03:06.23,Default,,0000,0000,0000,,そうやってエキスパート・システムを作り
Dialogue: 0,0:03:06.23,0:03:08.30,Default,,0000,0000,0000,,ある種の用途には\N役立ちましたが
Dialogue: 0,0:03:08.30,0:03:10.98,Default,,0000,0000,0000,,融通が効かず\N拡張性を欠いていました
Dialogue: 0,0:03:10.98,0:03:14.41,Default,,0000,0000,0000,,基本的には入れたものが\N出てくるだけです
Dialogue: 0,0:03:14.41,0:03:15.41,Default,,0000,0000,0000,,しかしその後
Dialogue: 0,0:03:15.41,0:03:18.87,Default,,0000,0000,0000,,人工知能の世界で\Nパラダイムシフトが起きました
Dialogue: 0,0:03:18.87,0:03:22.04,Default,,0000,0000,0000,,現在 機械学習の周辺で\N非常に興味深いことが起きています
Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,知識的な機能や表現を\N手作りする代わりに
Dialogue: 0,0:03:28.51,0:03:34.06,Default,,0000,0000,0000,,生の知覚データから\N自ら学習するアルゴリズムを作るのです
Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,基本的には人間の子供と同じことを\N機械がするわけです
Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,結果としてできるのは\N１つの領域に限定されない人工知能です
Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,どんな言語間の翻訳でも\Nできるシステムとか
Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,アタリのゲーム機用のどんなゲームでも\Nプレイしてしまうシステムとか
Dialogue: 0,0:03:53.34,0:03:55.12,Default,,0000,0000,0000,,もちろん\N人工知能はまだ
Dialogue: 0,0:03:55.12,0:03:59.12,Default,,0000,0000,0000,,多様な領域のことを\N学び構想できる
Dialogue: 0,0:03:59.12,0:04:02.34,Default,,0000,0000,0000,,人間の脳の強力さには\N遠く及びません
Dialogue: 0,0:04:02.34,0:04:05.76,Default,,0000,0000,0000,,大脳皮質にはまだ\N機械で対抗する方法の見当もつかないような
Dialogue: 0,0:04:05.76,0:04:07.36,Default,,0000,0000,0000,,アルゴリズム的仕掛けがあります
Dialogue: 0,0:04:07.89,0:04:09.10,Default,,0000,0000,0000,,問題は そういう仕掛けに
Dialogue: 0,0:04:09.10,0:04:13.60,Default,,0000,0000,0000,,機械が対抗するようになる日が\Nいつ来るのかということです
Dialogue: 0,0:04:14.24,0:04:15.33,Default,,0000,0000,0000,,２年ほど前に
Dialogue: 0,0:04:15.33,0:04:19.30,Default,,0000,0000,0000,,世界の人工知能の専門家にアンケートを取って\N考えを聞いたんですが
Dialogue: 0,0:04:19.30,0:04:21.44,Default,,0000,0000,0000,,その時の質問の１つが
Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,「機械の知性が人間並みのレベルに\N到達する可能性が
Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,50%あるのはいつか？」\Nというものでした
Dialogue: 0,0:04:28.78,0:04:31.69,Default,,0000,0000,0000,,ここでの「人間並み」の定義は
Dialogue: 0,0:04:31.69,0:04:35.84,Default,,0000,0000,0000,,ほとんどの作業を大人の人間と\N同じくらいにこなせる能力ということで
Dialogue: 0,0:04:35.84,0:04:40.16,Default,,0000,0000,0000,,特定の領域に関してということではなく \N本当に人間並みということです
Dialogue: 0,0:04:40.16,0:04:43.49,Default,,0000,0000,0000,,回答の中央値は\N2040年か2050年で
Dialogue: 0,0:04:43.49,0:04:46.69,Default,,0000,0000,0000,,質問をした専門家のグループによって\N若干違いました
Dialogue: 0,0:04:46.69,0:04:50.34,Default,,0000,0000,0000,,それが起きるのはずっと遅いかもしれないし \Nずっと早いかもしれません
Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,本当のところは\N誰にも分かりません
Dialogue: 0,0:04:53.26,0:04:57.67,Default,,0000,0000,0000,,しかし分かっているのは \N機械の基質による情報処理能力の限界は
Dialogue: 0,0:04:57.67,0:05:02.54,Default,,0000,0000,0000,,生物組織の限界の\N遙か先にあるということです
Dialogue: 0,0:05:03.24,0:05:05.62,Default,,0000,0000,0000,,これは単純に物理の問題です
Dialogue: 0,0:05:05.62,0:05:10.34,Default,,0000,0000,0000,,神経の発火頻度は200ヘルツ \N毎秒200回ほどですが
Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,現在のトランジスタでさえ\Nギガヘルツで動いています
Dialogue: 0,0:05:13.93,0:05:19.23,Default,,0000,0000,0000,,神経伝達は軸索をゆっくり伝わり \Nせいぜい毎秒100メートルですが
Dialogue: 0,0:05:19.23,0:05:22.34,Default,,0000,0000,0000,,コンピュータの信号は\N光速で伝わります
Dialogue: 0,0:05:23.08,0:05:24.95,Default,,0000,0000,0000,,大きさの点でも制限があります
Dialogue: 0,0:05:24.95,0:05:27.98,Default,,0000,0000,0000,,人間の脳は頭蓋骨の中に\N収まる必要がありますが
Dialogue: 0,0:05:27.98,0:05:32.74,Default,,0000,0000,0000,,コンピュータの大きさは倉庫のサイズか\Nもっと大きくもできます
Dialogue: 0,0:05:32.74,0:05:38.34,Default,,0000,0000,0000,,だから超知的な機械の可能性は\N休眠状態にあるのです
Dialogue: 0,0:05:38.34,0:05:43.72,Default,,0000,0000,0000,,ちょうど原子の力が\N1945年に目覚めるまで
Dialogue: 0,0:05:43.72,0:05:48.24,Default,,0000,0000,0000,,人類の歴史を通じて\N休眠状態にあったのと同じように
Dialogue: 0,0:05:48.25,0:05:49.70,Default,,0000,0000,0000,,この世紀中に
Dialogue: 0,0:05:49.70,0:05:53.82,Default,,0000,0000,0000,,科学者達は人工知能の力を\N目覚めさせるかもしれません
Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,私たちは知性の爆発を目の当たりに\Nすることになるかもしれません
Dialogue: 0,0:05:58.41,0:06:02.36,Default,,0000,0000,0000,,頭の良し悪しの尺度というと\N多くの人は
Dialogue: 0,0:06:02.36,0:06:05.39,Default,,0000,0000,0000,,こんなものを\Nイメージするのではと思います
Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,一方の端に間抜けな人間がいて
Dialogue: 0,0:06:07.98,0:06:11.12,Default,,0000,0000,0000,,遙か彼方の別の極端にいるのが
Dialogue: 0,0:06:11.12,0:06:15.22,Default,,0000,0000,0000,,ウィッテンとかアインシュタインです\N誰でもお気に入りの天才を置いてください
Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,しかし人工知能という\N観点を加えると
Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,実際のイメージは\Nたぶんこんな感じになるでしょう
Dialogue: 0,0:06:23.26,0:06:26.64,Default,,0000,0000,0000,,人工知能は\N知性のない状態からスタートして
Dialogue: 0,0:06:26.64,0:06:29.65,Default,,0000,0000,0000,,長年の努力の後に
Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,いつかネズミ並みの知性に\N到達できるかもしれません
Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,雑然とした環境中を\Nネズミのように
Dialogue: 0,0:06:35.92,0:06:37.97,Default,,0000,0000,0000,,目的地へと\N移動できる能力です
Dialogue: 0,0:06:37.97,0:06:42.22,Default,,0000,0000,0000,,さらに長年に渡る\N多くの努力と投資の末に
Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,いつかチンパンジー並みの知性に\N到達できるかもしれません
Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,そこからさらに\N長年の大きな努力を重ねて
Dialogue: 0,0:06:50.07,0:06:52.98,Default,,0000,0000,0000,,間抜けな人間のレベルの\N人工知能ができます
Dialogue: 0,0:06:52.98,0:06:56.26,Default,,0000,0000,0000,,それから少しばかり後に\Nエドワード・ウィッテンを越えます
Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,この列車は人間レベルで\N止まりはしません
Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,むしろ一瞬で\N通り過ぎるでしょう
Dialogue: 0,0:07:02.25,0:07:04.96,Default,,0000,0000,0000,,これには特に\N力関係という点で
Dialogue: 0,0:07:04.96,0:07:07.27,Default,,0000,0000,0000,,重大な意味があります
Dialogue: 0,0:07:07.27,0:07:09.94,Default,,0000,0000,0000,,たえとば チンパンジーというのは\N強いものです
Dialogue: 0,0:07:09.94,0:07:15.21,Default,,0000,0000,0000,,体重換算すると チンパンジーは\N体力に優れた成人男性の倍の力があります
Dialogue: 0,0:07:15.21,0:07:19.83,Default,,0000,0000,0000,,それでもカンジや\Nその仲間達の運命は
Dialogue: 0,0:07:19.83,0:07:23.97,Default,,0000,0000,0000,,チンパンジー達自身よりは\N人間の手に握られています
Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,超知的な機械が出現したら
Dialogue: 0,0:07:27.54,0:07:31.71,Default,,0000,0000,0000,,人類の運命は超知的な機械に\N握られることになるかもしれません
Dialogue: 0,0:07:32.26,0:07:33.51,Default,,0000,0000,0000,,そのことを考えてみてください
Dialogue: 0,0:07:33.51,0:07:38.55,Default,,0000,0000,0000,,機械の知性は\N人類がする必要のある最後の発明です
Dialogue: 0,0:07:38.55,0:07:41.34,Default,,0000,0000,0000,,機械が人間よりも\Nうまく発明をするようになり
Dialogue: 0,0:07:41.34,0:07:44.40,Default,,0000,0000,0000,,しかもデジタルの時間尺度で\N進歩することでしょう
Dialogue: 0,0:07:44.40,0:07:48.97,Default,,0000,0000,0000,,それが意味するのは \N未来が短縮されるということです
Dialogue: 0,0:07:48.97,0:07:52.52,Default,,0000,0000,0000,,人類が遠い未来に\N実現するかもしれない
Dialogue: 0,0:07:52.52,0:07:55.32,Default,,0000,0000,0000,,夢のようなテクノロジーについて\N考えてください
Dialogue: 0,0:07:55.32,0:07:58.58,Default,,0000,0000,0000,,老化を止めるとか\N宇宙への移民
Dialogue: 0,0:07:58.58,0:08:02.31,Default,,0000,0000,0000,,自己増殖ナノボットや \N意識のコンピュータへのアップロードなど
Dialogue: 0,0:08:02.31,0:08:04.47,Default,,0000,0000,0000,,SFっぽいけれど
Dialogue: 0,0:08:04.47,0:08:07.21,Default,,0000,0000,0000,,物理法則には\N反していないものです
Dialogue: 0,0:08:07.21,0:08:12.20,Default,,0000,0000,0000,,超知的な機械が そういったものを\Nあっさり開発してしまうかもしれません
Dialogue: 0,0:08:12.20,0:08:16.01,Default,,0000,0000,0000,,超知的な機械は\Nそのような高度な技術によって
Dialogue: 0,0:08:16.01,0:08:18.19,Default,,0000,0000,0000,,非常に大きな力を持ち
Dialogue: 0,0:08:18.19,0:08:23.16,Default,,0000,0000,0000,,シナリオ次第では 望むものを何でも\N手に入れるようになるかもしれません
Dialogue: 0,0:08:23.16,0:08:28.39,Default,,0000,0000,0000,,そうすると人類の未来は人工知能が好む通りに\N形作られることになります
Dialogue: 0,0:08:29.86,0:08:33.60,Default,,0000,0000,0000,,ここで問題は その好むことが\N何かということです
Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,話しがややこしくなってきますが
Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,この議論を進める上では
Dialogue: 0,0:08:37.45,0:08:40.72,Default,,0000,0000,0000,,何より擬人化を\N避けなければなりません
Dialogue: 0,0:08:41.93,0:08:45.82,Default,,0000,0000,0000,,皮肉なのは\N未来の人工知能を取り上げる記事で
Dialogue: 0,0:08:45.82,0:08:49.09,Default,,0000,0000,0000,,必ず出てくるのが\Nこんな写真だということです
Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,私たちはこの問題を\Nハリウッドの鮮明なシナリオに沿ってではなく
Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,もっと抽象的に\N考える必要があります
Dialogue: 0,0:08:57.20,0:09:01.66,Default,,0000,0000,0000,,我々は知性を \N未来を特定の状態へと舵取りしていく
Dialogue: 0,0:09:01.66,0:09:06.47,Default,,0000,0000,0000,,最適化プロセスとして\N捉える必要があります
Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,超知的な機械は\N非常に強力な最適化プロセスです
Dialogue: 0,0:09:09.98,0:09:14.10,Default,,0000,0000,0000,,利用可能な手段を使って\N目的が充たされた状態を達成することに
Dialogue: 0,0:09:14.10,0:09:16.01,Default,,0000,0000,0000,,極めて長けています
Dialogue: 0,0:09:16.45,0:09:19.12,Default,,0000,0000,0000,,この意味での\N高い知性を持つことと
Dialogue: 0,0:09:19.12,0:09:23.43,Default,,0000,0000,0000,,人間が価値や意味を認める\N目的を抱くことの間には
Dialogue: 0,0:09:23.43,0:09:26.52,Default,,0000,0000,0000,,必ずしも関係がありません
Dialogue: 0,0:09:27.32,0:09:31.12,Default,,0000,0000,0000,,人間を笑顔にさせるという目的を\N人工知能に与えたとしましょう
Dialogue: 0,0:09:31.12,0:09:34.10,Default,,0000,0000,0000,,弱い人工知能は\N人が見て笑うような
Dialogue: 0,0:09:34.10,0:09:36.61,Default,,0000,0000,0000,,何か可笑しいことを\Nするでしょう
Dialogue: 0,0:09:36.61,0:09:39.03,Default,,0000,0000,0000,,人工知能が\N超知的になったなら
Dialogue: 0,0:09:39.03,0:09:42.80,Default,,0000,0000,0000,,この目的を達するには\Nもっと効果的なやり方があることに気付くでしょう
Dialogue: 0,0:09:42.80,0:09:44.48,Default,,0000,0000,0000,,世界をコントロールし
Dialogue: 0,0:09:44.48,0:09:47.64,Default,,0000,0000,0000,,人間の表情筋に\N電極を差し込んで
Dialogue: 0,0:09:47.64,0:09:50.58,Default,,0000,0000,0000,,笑い顔が持続するようにするんです
Dialogue: 0,0:09:50.58,0:09:51.61,Default,,0000,0000,0000,,別の例として
Dialogue: 0,0:09:51.61,0:09:54.100,Default,,0000,0000,0000,,人工知能に難しい数学の問題を解くことを\N目的として与えたとします
Dialogue: 0,0:09:54.100,0:09:56.93,Default,,0000,0000,0000,,人工知能が超知的になったら
Dialogue: 0,0:09:56.93,0:10:01.10,Default,,0000,0000,0000,,この問題を解くための\N最も効果的な方法は
Dialogue: 0,0:10:01.10,0:10:02.98,Default,,0000,0000,0000,,地球を巨大なコンピュータに変えて
Dialogue: 0,0:10:02.98,0:10:06.35,Default,,0000,0000,0000,,思考能力を増大させることだと\N考えるかもしれません
Dialogue: 0,0:10:06.35,0:10:08.62,Default,,0000,0000,0000,,このような目的は\N人工知能に対して
Dialogue: 0,0:10:08.62,0:10:12.30,Default,,0000,0000,0000,,人間が認めないような行為をする動機を\N与えうることに注意してください
Dialogue: 0,0:10:12.30,0:10:13.50,Default,,0000,0000,0000,,このモデルにおいては
Dialogue: 0,0:10:13.50,0:10:17.10,Default,,0000,0000,0000,,人間は人工知能にとって数学的問題を解くのを妨げる\N邪魔者になりうるのです
Dialogue: 0,0:10:17.10,0:10:20.70,Default,,0000,0000,0000,,もちろん物事がこの筋書き通りに\Nまずいことに陥ることはないでしょう
Dialogue: 0,0:10:20.70,0:10:22.45,Default,,0000,0000,0000,,これはあくまで\N戯画化した例です
Dialogue: 0,0:10:22.45,0:10:24.39,Default,,0000,0000,0000,,しかしこの一般的な論点は重要です
Dialogue: 0,0:10:24.39,0:10:26.100,Default,,0000,0000,0000,,目的Ｘに向けて最大化を行う
Dialogue: 0,0:10:26.100,0:10:29.50,Default,,0000,0000,0000,,強力な最適化プロセスを\N作るときには
Dialogue: 0,0:10:29.50,0:10:31.97,Default,,0000,0000,0000,,Ｘの定義が自分の気にかける\Nその他すべてのことに
Dialogue: 0,0:10:31.97,0:10:34.78,Default,,0000,0000,0000,,問題を生じないか\Nよく確認する必要があります
Dialogue: 0,0:10:34.78,0:10:39.08,Default,,0000,0000,0000,,これは伝説が教える\N教訓でもあります
Dialogue: 0,0:10:39.08,0:10:44.52,Default,,0000,0000,0000,,ミダス王は自分の触るものすべてが\N金になることを望みました
Dialogue: 0,0:10:44.52,0:10:47.38,Default,,0000,0000,0000,,娘に触れば\N娘が金に変わり
Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,食べ物に触れば\N食べ物が金に変わりました
Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,これが本当に\N問題になるかもしれません
Dialogue: 0,0:10:52.52,0:10:54.90,Default,,0000,0000,0000,,単なる強欲を諫める\Nメタファーとしてではなく
Dialogue: 0,0:10:54.90,0:10:56.92,Default,,0000,0000,0000,,強力な最適化プロセスを作って
Dialogue: 0,0:10:56.92,0:11:00.42,Default,,0000,0000,0000,,間違った あるいは\Nまずく定義された目的を与えたときに
Dialogue: 0,0:11:00.42,0:11:04.11,Default,,0000,0000,0000,,何が起きるかを\N示すものとしてです
Dialogue: 0,0:11:04.11,0:11:09.30,Default,,0000,0000,0000,,コンピュータが人の顔に\N電極を差し始めたら
Dialogue: 0,0:11:09.30,0:11:11.56,Default,,0000,0000,0000,,単にスイッチを切ればいいと\N思うかもしれません
Dialogue: 0,0:11:12.28,0:11:17.90,Default,,0000,0000,0000,,(A) そのシステムに依存するようになったとき\Nスイッチを切ることは難しくなります
Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,たとえばの話 インターネットのスイッチは\Nどこにあるのでしょう？
Dialogue: 0,0:11:20.63,0:11:25.75,Default,,0000,0000,0000,,(B) チンパンジーはなぜ人間のスイッチを\Nオフにしなかったんでしょう？
Dialogue: 0,0:11:25.75,0:11:27.30,Default,,0000,0000,0000,,あるいはネアンデルタール人は？
Dialogue: 0,0:11:27.30,0:11:29.96,Default,,0000,0000,0000,,彼らにはそうすべき理由が\Nあったことでしょう
Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,人間を切るスイッチはあります\Nたとえはここに
Dialogue: 0,0:11:32.76,0:11:34.31,Default,,0000,0000,0000,,(うぐぅ)
Dialogue: 0,0:11:34.31,0:11:37.24,Default,,0000,0000,0000,,その理由は人間が\N知的な相手だからです
Dialogue: 0,0:11:37.24,0:11:39.82,Default,,0000,0000,0000,,人間は危険を予期して\N回避することができます
Dialogue: 0,0:11:39.82,0:11:42.86,Default,,0000,0000,0000,,そしてそれは超知的な機械にも\Nできるだろうことで
Dialogue: 0,0:11:42.86,0:11:45.72,Default,,0000,0000,0000,,しかも人間よりずっと\N上手くできることでしょう
Dialogue: 0,0:11:45.72,0:11:52.91,Default,,0000,0000,0000,,我々は制御できるはずだと\N高をくくらない方がよいということです
Dialogue: 0,0:11:52.91,0:11:56.08,Default,,0000,0000,0000,,この問題をもう少し簡単にして
Dialogue: 0,0:11:56.08,0:11:57.95,Default,,0000,0000,0000,,人工知能を逃げ出すことのできない
Dialogue: 0,0:11:57.95,0:11:59.74,Default,,0000,0000,0000,,安全なソフトウェア環境や
Dialogue: 0,0:11:59.74,0:12:03.15,Default,,0000,0000,0000,,仮想現実シミュレーションの中に閉じ込める\Nというのでもいいかもしれません
Dialogue: 0,0:12:03.15,0:12:06.91,Default,,0000,0000,0000,,しかし人工知能がシステムの欠陥を見つけたりしないと\N自信を持てるでしょうか？
Dialogue: 0,0:12:06.91,0:12:10.33,Default,,0000,0000,0000,,ただの人間のハッカーでさえ\N年中バグを見つけていることを思えば
Dialogue: 0,0:12:10.33,0:12:13.12,Default,,0000,0000,0000,,あまり自信は持てないでしょう
Dialogue: 0,0:12:14.24,0:12:18.44,Default,,0000,0000,0000,,ではネットワークケーブルを抜いて\Nエアギャップを作ればどうか？
Dialogue: 0,0:12:18.44,0:12:21.45,Default,,0000,0000,0000,,これにしたって人間のハッカーが\Nソーシャルエンジニアリングによって
Dialogue: 0,0:12:21.45,0:12:24.70,Default,,0000,0000,0000,,エアギャップを越えるということが\Nたびたび起きています
Dialogue: 0,0:12:24.70,0:12:26.29,Default,,0000,0000,0000,,私が話をしているこの瞬間にも
Dialogue: 0,0:12:26.29,0:12:28.48,Default,,0000,0000,0000,,きっとどこかの社員が
Dialogue: 0,0:12:28.48,0:12:31.61,Default,,0000,0000,0000,,情報管理部門から来たという人間に
Dialogue: 0,0:12:31.61,0:12:34.63,Default,,0000,0000,0000,,アカウントの情報を教えるよう\N仕向けられていることでしょう
Dialogue: 0,0:12:34.63,0:12:36.70,Default,,0000,0000,0000,,もっと奇想天外なシナリオだって\N考えられます
Dialogue: 0,0:12:36.70,0:12:38.02,Default,,0000,0000,0000,,たとえば人工知能が
Dialogue: 0,0:12:38.02,0:12:41.55,Default,,0000,0000,0000,,内部回路にある電極の\N振動で発生した
Dialogue: 0,0:12:41.55,0:12:45.01,Default,,0000,0000,0000,,電波を使って\N通信をするとか
Dialogue: 0,0:12:45.01,0:12:47.43,Default,,0000,0000,0000,,あるいは人工知能が故障を装って
Dialogue: 0,0:12:47.43,0:12:50.04,Default,,0000,0000,0000,,プログラマーが調べようと中を開け
Dialogue: 0,0:12:50.04,0:12:52.27,Default,,0000,0000,0000,,ソースコードを見たところで \Nバーン！
Dialogue: 0,0:12:52.27,0:12:55.05,Default,,0000,0000,0000,,操作してしまうとか
Dialogue: 0,0:12:55.05,0:12:58.74,Default,,0000,0000,0000,,あるいはすごく洗練された\N技術の設計図を出して
Dialogue: 0,0:12:58.74,0:13:00.50,Default,,0000,0000,0000,,人間がそれを実装してみると
Dialogue: 0,0:13:00.50,0:13:04.54,Default,,0000,0000,0000,,そこには人工知能が潜ませていた\N密かな副作用があるとか
Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,要は我々は高度に知的な魔神を
Dialogue: 0,0:13:08.00,0:13:11.81,Default,,0000,0000,0000,,いつまでも壺に閉じ込めておけるとは\N思わない方がよいということです
Dialogue: 0,0:13:11.81,0:13:14.78,Default,,0000,0000,0000,,遅かれ早かれ\N出口を見つけ出すことでしょう
Dialogue: 0,0:13:14.78,0:13:18.14,Default,,0000,0000,0000,,この問題への答えは \N非常に知的な人工知能を
Dialogue: 0,0:13:18.14,0:13:23.16,Default,,0000,0000,0000,,それが逃げ出しても\N危険がないように作るということ
Dialogue: 0,0:13:23.16,0:13:25.13,Default,,0000,0000,0000,,人間と同じ価値観を持っていて
Dialogue: 0,0:13:25.13,0:13:28.38,Default,,0000,0000,0000,,人間の側に立つように作る\Nということだと思います
Dialogue: 0,0:13:28.38,0:13:31.55,Default,,0000,0000,0000,,この難しい問題を\N避けて通ることはできません
Dialogue: 0,0:13:32.56,0:13:36.39,Default,,0000,0000,0000,,私はこの問題は\N解決できると楽観しています
Dialogue: 0,0:13:36.39,0:13:40.03,Default,,0000,0000,0000,,私たちが気にかける\Nあらゆることを書き出し
Dialogue: 0,0:13:40.03,0:13:42.99,Default,,0000,0000,0000,,さらにはC++やPythonのような\Nプログラミング言語で
Dialogue: 0,0:13:42.99,0:13:46.33,Default,,0000,0000,0000,,厳密に定義することは\N望みがないくらい難しいことでしょうが
Dialogue: 0,0:13:46.33,0:13:48.16,Default,,0000,0000,0000,,そうする必要はないと思います
Dialogue: 0,0:13:48.16,0:13:52.46,Default,,0000,0000,0000,,自らの知性を使って\N人間が価値を置くことを
Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,学び取る人工知能を\N作ればよいのです
Dialogue: 0,0:13:55.23,0:14:00.51,Default,,0000,0000,0000,,人間の価値を追求し \N人間がよしとすることを予測して行動するような
Dialogue: 0,0:14:00.51,0:14:05.74,Default,,0000,0000,0000,,動機付けのシステムを\N持たせるのです
Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,そうやって価値付けの\N問題を解くために
Dialogue: 0,0:14:09.15,0:14:11.90,Default,,0000,0000,0000,,人工知能の知性を\N可能な限り活用するのです
Dialogue: 0,0:14:12.73,0:14:14.24,Default,,0000,0000,0000,,これは可能なことで
Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,人類にとって\Nとても好ましい結果をもたらします
Dialogue: 0,0:14:17.84,0:14:21.79,Default,,0000,0000,0000,,しかし自動的に\N起きるわけではありません
Dialogue: 0,0:14:21.79,0:14:25.42,Default,,0000,0000,0000,,知性爆発が人間の制御下で\N起きるようにするためには
Dialogue: 0,0:14:25.42,0:14:27.65,Default,,0000,0000,0000,,初期条件を正しく
Dialogue: 0,0:14:27.65,0:14:30.50,Default,,0000,0000,0000,,設定する必要があります
Dialogue: 0,0:14:30.50,0:14:33.80,Default,,0000,0000,0000,,人工知能の価値観を人間の価値観と\N合ったものにする必要があります
Dialogue: 0,0:14:33.80,0:14:36.29,Default,,0000,0000,0000,,人工知能が適切に行動しているか\N容易に確認できるような
Dialogue: 0,0:14:36.29,0:14:37.100,Default,,0000,0000,0000,,分かりやすい状況だけでなく
Dialogue: 0,0:14:37.100,0:14:41.23,Default,,0000,0000,0000,,将来のいつか人工知能が出会うかもしれない\Nあらゆる新奇な状況において
Dialogue: 0,0:14:41.23,0:14:42.79,Default,,0000,0000,0000,,そうなる必要があります
Dialogue: 0,0:14:42.79,0:14:47.53,Default,,0000,0000,0000,,それから解決しなければならない\N難解な問題がいろいろあります
Dialogue: 0,0:14:47.53,0:14:49.62,Default,,0000,0000,0000,,決定理論の正確な詳細
Dialogue: 0,0:14:49.62,0:14:52.48,Default,,0000,0000,0000,,論理的不確定性をどう扱うか \Nといったことです
Dialogue: 0,0:14:53.33,0:14:56.43,Default,,0000,0000,0000,,だからこれを機能させるために\N解くべき技術的問題は
Dialogue: 0,0:14:56.43,0:14:57.54,Default,,0000,0000,0000,,とても難しいものです
Dialogue: 0,0:14:57.54,0:15:01.18,Default,,0000,0000,0000,,超知的な人工知能を作ること自体ほど\N難しくはないにしても
Dialogue: 0,0:15:01.18,0:15:03.79,Default,,0000,0000,0000,,かなり難しいことです
Dialogue: 0,0:15:03.79,0:15:05.49,Default,,0000,0000,0000,,ひとつ懸念すべきことがあります
Dialogue: 0,0:15:05.49,0:15:09.95,Default,,0000,0000,0000,,超知的な人工知能を作るのは\N非常に難しいことで
Dialogue: 0,0:15:09.95,0:15:12.72,Default,,0000,0000,0000,,超知的な人工知能を\N安全なものにするのは
Dialogue: 0,0:15:12.72,0:15:15.57,Default,,0000,0000,0000,,その上にさらなる問題を\N重ねることになりますが
Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,危険があるのは \N誰かが安全を確保するという
Dialogue: 0,0:15:19.70,0:15:22.70,Default,,0000,0000,0000,,２番目の問題を解決することなく
Dialogue: 0,0:15:22.70,0:15:25.22,Default,,0000,0000,0000,,最初の問題を解く方法を見つける\Nということです
Dialogue: 0,0:15:25.22,0:15:28.71,Default,,0000,0000,0000,,だから私たちは\Nこの制御の問題を
Dialogue: 0,0:15:28.71,0:15:31.53,Default,,0000,0000,0000,,前もって解決しておくべきだと思います
Dialogue: 0,0:15:31.53,0:15:34.19,Default,,0000,0000,0000,,そうすれば必要になったときに\Nすぐ使えます
Dialogue: 0,0:15:34.77,0:15:38.28,Default,,0000,0000,0000,,制御の問題のすべてを前もって解決することは\Nできないかもしれません
Dialogue: 0,0:15:38.28,0:15:41.30,Default,,0000,0000,0000,,ある部分は実装される\Nアーキテクチャの詳細が
Dialogue: 0,0:15:41.30,0:15:45.30,Default,,0000,0000,0000,,明かになって初めて\N可能になるかもしれません
Dialogue: 0,0:15:45.30,0:15:48.68,Default,,0000,0000,0000,,しかし前もって制御の問題の\Nより多くの部分が解かれているほど
Dialogue: 0,0:15:48.68,0:15:52.77,Default,,0000,0000,0000,,機械知性の時代への移行が\Nうまくいく見込みは
Dialogue: 0,0:15:52.77,0:15:54.31,Default,,0000,0000,0000,,高くなるでしょう
Dialogue: 0,0:15:54.31,0:15:58.95,Default,,0000,0000,0000,,これはやるに値することだと\N私には思えます
Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,私には想像できます\Nすべてがうまくいった暁に
Dialogue: 0,0:16:02.28,0:16:06.94,Default,,0000,0000,0000,,百万年後の人類が\Nこの世紀を振り返って
Dialogue: 0,0:16:06.94,0:16:10.15,Default,,0000,0000,0000,,私たちがした本当に重要なことが\N何かあるとすれば
Dialogue: 0,0:16:10.15,0:16:12.51,Default,,0000,0000,0000,,それはこの問題を\N正しく解決したことだと言うのを
Dialogue: 0,0:16:12.51,0:16:14.20,Default,,0000,0000,0000,,ありがとうございました
Dialogue: 0,0:16:14.20,0:16:17.01,Default,,0000,0000,0000,,(拍手)