WEBVTT 00:00:01.000 --> 00:00:02.821 (クリス・アンダーソン) ニック・ボストロムさん 00:00:02.821 --> 00:00:06.821 あなたはこれまで私達に 様々なすごいアイデアを示してきました 00:00:06.821 --> 00:00:08.571 20年ほど前には 00:00:08.571 --> 00:00:13.277 我々がシミュレーションの中に 生きている可能性を示し 00:00:13.277 --> 00:00:14.738 もっと最近では 00:00:14.738 --> 00:00:19.363 汎用人工知能が どのように酷い結果をもたらしうるか 00:00:19.363 --> 00:00:21.736 鮮やかに描き出しています 00:00:21.750 --> 00:00:25.559 今年は「脆弱世界仮説」なるものを 00:00:25.559 --> 00:00:29.363 論文で発表しようとしています 00:00:29.363 --> 00:00:34.140 それを分かりやすく解説してもらおう というのが今晩の趣旨です 00:00:34.417 --> 00:00:36.250 では始めましょう 00:00:36.833 --> 00:00:38.877 いったい どんな仮説なんでしょう？ NOTE Paragraph 00:00:40.000 --> 00:00:42.578 (ニック・ボストロム) 現在の人間のあり方の 00:00:42.578 --> 00:00:45.826 構造的特徴を 考察しようというものです 00:00:47.125 --> 00:00:49.677 壺のメタファーが お気に召したようなので 00:00:49.677 --> 00:00:51.538 それを使って説明しましょう 00:00:51.538 --> 00:00:56.763 アイデアや 方法や 存在しうる技術を表す玉が詰まった 00:00:56.763 --> 00:00:59.965 大きな壺を思い描いてください 00:01:00.833 --> 00:01:04.571 人類の創造性の歴史は 00:01:04.571 --> 00:01:08.649 この壺に手を入れて 玉を取り出していくことだとみなせ 00:01:08.649 --> 00:01:12.035 その結果はこれまでのところ 全体として とても有益でした 00:01:12.035 --> 00:01:14.598 たくさんの白い玉が取り出され 00:01:14.598 --> 00:01:17.805 良い面も悪い面もある 灰色の玉もありました 00:01:18.042 --> 00:01:21.374 黒い玉は まだ取り出されていません 00:01:22.292 --> 00:01:27.844 それを取り出した文明は必然的に滅びるような テクノロジーということです 00:01:27.844 --> 00:01:31.179 黒い玉として どのようなものが考えられるかを 論文では探っています NOTE Paragraph 00:01:31.179 --> 00:01:32.905 (アンダーソン) 黒い玉は 00:01:32.905 --> 00:01:36.613 文明の崩壊を必然的にもたらすものと 定義しているんですね NOTE Paragraph 00:01:36.613 --> 00:01:41.946 (ボストロム) 「半無秩序的既定条件」と 呼んでいるものを脱しない限りは 00:01:41.946 --> 00:01:43.602 そうなります NOTE Paragraph 00:01:44.333 --> 00:01:49.905 (アンダーソン) これまで我々は 幸運だっただけで 00:01:49.905 --> 00:01:55.738 その「死の玉」を そうとは知らずに 取り出していたかもしれないことを 00:01:55.738 --> 00:01:57.505 例を使って示されていますね 00:01:57.505 --> 00:02:00.083 引用が出ていますが これは何ですか？ NOTE Paragraph 00:02:00.625 --> 00:02:05.446 (ボストロム) 根本的な発見が 何をもたらすか 00:02:05.446 --> 00:02:08.155 予見するのは難しいことを 言っています 00:02:08.155 --> 00:02:11.238 我々にそういう能力はないのです 00:02:11.238 --> 00:02:14.613 玉を取り出すのは上手くても 00:02:14.613 --> 00:02:18.363 玉を壺に戻すことは できないのです 00:02:18.363 --> 00:02:20.903 発明はできても その逆はできません 00:02:21.583 --> 00:02:24.363 それに対する 我々の戦略といえば 00:02:24.363 --> 00:02:26.894 壺の中に黒い玉がないことを 祈るだけです NOTE Paragraph 00:02:26.894 --> 00:02:30.060 (アンダーソン) 玉を取り出したら 元に戻すことはできず 00:02:30.060 --> 00:02:32.678 我々はこれまで 幸運だっただけだと ― 00:02:32.678 --> 00:02:34.888 例を使って議論しましょう 00:02:34.888 --> 00:02:37.821 いろいろな種類の危険性を 挙げておられますね NOTE Paragraph 00:02:37.821 --> 00:02:40.280 (ボストロム) 一番分かりやすいのは 00:02:40.280 --> 00:02:45.936 大規模な破壊を容易に引き起こせる テクノロジーです 00:02:47.375 --> 00:02:51.075 合成生物学などは そういう黒い玉の 豊かな源になるでしょうが 00:02:51.075 --> 00:02:53.858 他にもいろいろ考えられます 00:02:53.858 --> 00:02:55.824 地球工学とか 00:02:55.824 --> 00:02:58.405 地球温暖化への 対抗手段になりますが 00:02:58.405 --> 00:03:00.571 あまり容易にできても困ります 00:03:00.571 --> 00:03:02.969 そのへんにいる人や そのおばあちゃんに 00:03:02.969 --> 00:03:06.363 地球の気候を大きく変えられるように なってほしくはありません 00:03:06.363 --> 00:03:09.738 あるいは自律的暗殺ドローン ― 00:03:09.738 --> 00:03:13.458 大量生産された蚊ほどの大きさの 殺人ロボットの群れとか 00:03:14.500 --> 00:03:17.238 ナノテクノロジーや 汎用人工知能もそうです NOTE Paragraph 00:03:17.238 --> 00:03:21.488 (アンダーソン) 核エネルギーで爆弾を 作れることが発見されたとき 00:03:21.488 --> 00:03:26.363 それが誰でも容易に 手に入るものでなかったのは 00:03:26.363 --> 00:03:31.821 幸運だっただけという 議論をされていますね NOTE Paragraph 00:03:31.821 --> 00:03:35.405 (ボストロム) 1930年代に 核物理学の発展があったとき 00:03:35.405 --> 00:03:40.030 頭のいい人たちは気づきました 00:03:40.030 --> 00:03:43.738 連鎖反応を引き起こすことが可能で 00:03:43.738 --> 00:03:46.946 それは爆弾になり得ると 00:03:46.946 --> 00:03:48.863 その後研究が進められ 00:03:48.863 --> 00:03:50.393 核爆弾を作るには 00:03:50.393 --> 00:03:54.030 高度に濃縮したウランやプルトニウムが 必要だと分かりましたが 00:03:54.030 --> 00:03:56.071 それは入手困難なものです 00:03:56.071 --> 00:03:59.424 超遠心分離機や 原子炉や 00:03:59.424 --> 00:04:02.155 膨大なエネルギーが 必要になります 00:04:02.155 --> 00:04:05.494 しかし 原子の力を 容易に解き放てる方法が 00:04:05.494 --> 00:04:07.988 もしあったとしたら どうでしょう 00:04:07.988 --> 00:04:11.934 電子レンジで 砂を焼くみたいなことで 00:04:11.934 --> 00:04:14.196 核爆発を起こせたとしたら 00:04:14.196 --> 00:04:16.363 物理学的にあり得ないと 今では分かっていますが 00:04:16.363 --> 00:04:18.845 そういう物理学研究をする前に どんな結果になるか 00:04:18.845 --> 00:04:20.495 どうして分かるでしょう？ NOTE Paragraph 00:04:20.495 --> 00:04:22.071 (アンダーソン) 生命が進化するためには 00:04:22.071 --> 00:04:27.321 地球が安定した環境である 必要があり 00:04:27.321 --> 00:04:30.385 大規模な核反応が 容易に起こせたとしたら 00:04:30.385 --> 00:04:31.915 地球は安定し得ず 00:04:31.915 --> 00:04:35.103 我々はそもそも存在しなかったはず という議論もできるのでは？ NOTE Paragraph 00:04:35.103 --> 00:04:38.405 (ボストロム) 意図的になら 簡単にできるけど 00:04:38.405 --> 00:04:41.280 偶然には起きないようなことも 考えられます 00:04:41.280 --> 00:04:45.019 ブロックを10個積み上げるというのは 簡単にできますが 00:04:45.019 --> 00:04:48.240 自然に積みあがった10個のブロックというのは 見つからないでしょう NOTE Paragraph 00:04:48.240 --> 00:04:51.905 (アンダーソン) これは私達の多くが すごく懸念していることで 00:04:51.905 --> 00:04:55.446 近い将来 そういうことが 最も起きそうに思えるのが 00:04:55.446 --> 00:04:58.488 合成生物学ですね NOTE Paragraph 00:04:58.488 --> 00:05:01.446 (ボストロム) その意味するところを 考えてみましょう 00:05:01.446 --> 00:05:04.763 誰でも午後にちょっと 台所で作業すると 00:05:04.763 --> 00:05:06.758 都市を壊滅させられる のだとしたら 00:05:06.758 --> 00:05:10.113 その上で我々の知る現代文明が どう生き残れるものか 00:05:10.113 --> 00:05:11.571 想像しにくいでしょう 00:05:11.571 --> 00:05:14.113 どんな集団でも 百万人もいれば 00:05:14.113 --> 00:05:16.821 そういう破壊的な力を 理由はどうあれ 00:05:16.821 --> 00:05:19.046 使おうとする者が いるだろうからです 00:05:19.750 --> 00:05:22.905 そういう終末論的な人が 00:05:22.905 --> 00:05:24.905 都市を破壊することに決めたら 00:05:24.905 --> 00:05:26.488 破壊されることになるでしょう NOTE Paragraph 00:05:26.488 --> 00:05:28.863 (アンダーソン) こちらは別種の危険性ですが 00:05:28.863 --> 00:05:30.530 これについて話しましょう NOTE Paragraph 00:05:30.530 --> 00:05:34.530 (ボストロム) 多くのものを吹き飛ばすことを 可能にする黒い玉という 00:05:34.530 --> 00:05:37.364 分かりやすい危険性に加え 00:05:37.364 --> 00:05:41.821 人に有害なことを行わせる まずい動機を生み出すという 00:05:41.821 --> 00:05:44.071 危険性もあります 00:05:44.071 --> 00:05:48.356 これを 2a型と呼びましょう 00:05:48.356 --> 00:05:56.578 大きな力を破壊に使うよう動機づけるような テクノロジーを考えてみてください 00:05:56.578 --> 00:06:00.198 核兵器は実際 これに近かったと思います 00:06:02.083 --> 00:06:07.696 人類は10兆ドルかけて ７万発の核弾頭を作り 00:06:07.696 --> 00:06:10.155 いつでも撃てる 状態にしました 00:06:10.155 --> 00:06:12.446 冷戦中に互いを 吹き飛ばしそうになったことが 00:06:12.446 --> 00:06:13.905 何度かありました 00:06:13.905 --> 00:06:16.649 10兆ドルかけて 自らを吹き飛ばすのが 00:06:16.649 --> 00:06:19.272 いい考えだと みんな思ったわけではありません 00:06:19.272 --> 00:06:21.708 そうなった動機というのは ― 00:06:21.708 --> 00:06:23.775 もっと酷いことにも なり得ました 00:06:23.775 --> 00:06:26.488 安全に先制攻撃することが 可能だったとしてみましょう 00:06:26.488 --> 00:06:28.821 危機的な状況になったとき 00:06:28.821 --> 00:06:31.032 核ミサイルの発射を抑えるのは 00:06:31.032 --> 00:06:32.775 難しかったかもしれません 00:06:32.775 --> 00:06:35.826 相手がそうする 恐れがあるからです NOTE Paragraph 00:06:35.826 --> 00:06:38.353 (アンダーソン) 双方とも壊滅するのが 確かだったからこそ 00:06:38.353 --> 00:06:40.613 冷戦は比較的安定していたのであって 00:06:40.613 --> 00:06:42.821 そうでなければ我々はここに いなかったかもしれないと NOTE Paragraph 00:06:42.821 --> 00:06:44.496 (ボストロム) もっと不安定だった かもしれません 00:06:44.496 --> 00:06:46.438 テクノロジーには 別の特質もあります 00:06:46.438 --> 00:06:49.613 もし兵器が核ほど 破壊的なものでなかったら 00:06:49.613 --> 00:06:54.280 軍縮協定を結ぶのは 難しかったかもしれません NOTE Paragraph 00:06:54.280 --> 00:06:56.863 (アンダーソン) 強大な勢力が まずい動機を持つこと同様に 00:06:56.863 --> 00:07:00.405 みんながまずい動機を持つことも 懸念されてますね　それがこの2b型です NOTE Paragraph 00:07:00.405 --> 00:07:04.858 (ボストロム) 地球温暖化の場合を 考えてみましょう 00:07:06.958 --> 00:07:09.137 私達がする ちょっとした利便で 00:07:09.137 --> 00:07:13.946 個々の影響は小さいものが たくさんあります 00:07:13.946 --> 00:07:15.946 でもそれを何十億という人がやると 00:07:15.946 --> 00:07:18.030 全体として大きな害を生じてしまう 00:07:18.030 --> 00:07:20.739 地球温暖化はもっと酷いものでも あり得ました 00:07:20.739 --> 00:07:23.863 気候感度パラメータというのがあります 00:07:23.863 --> 00:07:27.530 温室効果ガスをこれだけ出すと 00:07:27.530 --> 00:07:30.238 温度がどれくらい上がるかを示す パラメータです 00:07:30.238 --> 00:07:35.196 我々が排出している 温室効果ガスによって起きる 00:07:35.196 --> 00:07:37.280 2100年の気温上昇が 00:07:37.280 --> 00:07:41.030 3～4.5度というのではなく 00:07:41.030 --> 00:07:43.687 15～20度だったとしたら 00:07:44.375 --> 00:07:46.648 非常にまずい状況でしょう 00:07:46.648 --> 00:07:49.890 あるいは再生可能エネルギーの実現が ずっと難しかったとしたら 00:07:49.890 --> 00:07:52.478 あるいは化石燃料がずっと豊富に 存在していたとしたら NOTE Paragraph 00:07:52.478 --> 00:07:59.156 (アンダーソン) このままいくと 近い将来に10度上がるのだとしたら 00:07:59.156 --> 00:08:05.488 人類は重い腰を上げて 何かするのでは？ 00:08:05.488 --> 00:08:08.321 我々は愚かですが そこまで愚かではありません 00:08:08.321 --> 00:08:09.613 いや愚かなのかも NOTE Paragraph 00:08:09.613 --> 00:08:12.029 (ボストロム) 私はそれに 賭けようとは思いません NOTE Paragraph 00:08:12.029 --> 00:08:13.113 (笑) NOTE Paragraph 00:08:13.113 --> 00:08:14.988 いろいろなことが 考えられます 00:08:14.988 --> 00:08:20.363 今は再生可能エネルギーに切り替えるのは ちょっと大変ですが 00:08:20.363 --> 00:08:21.655 可能なことです 00:08:21.655 --> 00:08:24.655 でも物理的なことが 何か違って 00:08:24.655 --> 00:08:27.907 そういうものがずっと 高くついたかもしれない NOTE Paragraph 00:08:28.375 --> 00:08:29.905 (アンダーソン) どう考えておられますか？ 00:08:29.905 --> 00:08:32.363 そういった可能性を 考え合わせると 00:08:32.363 --> 00:08:38.238 世界は危険だと 言えるのでしょうか？ 00:08:38.238 --> 00:08:41.310 人類の未来には 死の玉があるのでしょうか？ NOTE Paragraph 00:08:43.958 --> 00:08:45.238 (ボストロム) 難しいですが 00:08:45.238 --> 00:08:49.175 壺の中には いろんな黒い玉が 00:08:49.175 --> 00:08:51.655 入っていそうに思えます 00:08:51.655 --> 00:08:54.293 また黒い玉から守ってくれる 00:08:54.293 --> 00:08:57.571 金色の玉もあるかもしれません 00:08:57.571 --> 00:09:00.571 どちらが先に出てくるか 分かりませんが NOTE Paragraph 00:09:00.571 --> 00:09:04.446 (アンダーソン) この考えに対する 哲学的な批判は 00:09:04.446 --> 00:09:10.113 未来が決まっているかのようだ ということでしょう 00:09:10.113 --> 00:09:12.613 その玉があるかないかしかない 00:09:12.613 --> 00:09:17.909 未来がそんなものだとは 思いたくありません 00:09:17.909 --> 00:09:20.469 未来というのは 決まっておらず 00:09:20.469 --> 00:09:22.594 我々が今行う決定によって 00:09:22.594 --> 00:09:25.571 どんな玉を取り出すことになるか 決まるのだと思いたいです NOTE Paragraph 00:09:25.917 --> 00:09:29.696 (ボストロム) 発明を続けていけば 00:09:29.696 --> 00:09:32.624 やがてすべての玉を 取り出す出すことになるでしょう 00:09:32.875 --> 00:09:37.571 もっともだと思える 弱い形の技術的決定論があり 00:09:37.571 --> 00:09:43.192 たとえば石斧とジェット機を使っている 文明というのは考えにくいです 00:09:44.208 --> 00:09:48.280 テクノロジーは一組のアフォーダンスとして 考えることができます 00:09:48.280 --> 00:09:51.321 テクノロジーは 我々に様々なことができるようにし 00:09:51.321 --> 00:09:53.530 世界にいろいろな効果を もたらします 00:09:53.530 --> 00:09:56.155 それをどう使うかは 人間が選択することですが 00:09:56.155 --> 00:09:58.863 これら３種の危険性を 考えるとき 00:09:58.863 --> 00:10:02.280 我々がそれをどう使うかについて 確度の高い想定ができます 00:10:02.280 --> 00:10:05.696 １型の危険性は 大きな破壊力ですが 00:10:05.696 --> 00:10:09.829 何百万人もいれば 破壊的な仕方で それを使う者が出てくるというのは 00:10:09.829 --> 00:10:12.466 きわめてありそうなことです NOTE Paragraph 00:10:12.466 --> 00:10:14.988 (アンダーソン) 私にとって 最も気がかりな議論は 00:10:14.988 --> 00:10:23.113 壺の中を覗いてみる限り 破滅はどうも起こりそうということです 00:10:23.113 --> 00:10:27.780 力が加速的に 増大していくと思うなら ― 00:10:27.780 --> 00:10:30.071 テクノロジーは本質的に 加速するものですが 00:10:30.071 --> 00:10:32.824 我々をより強力にしてくれる 道具を作り続けると 00:10:32.824 --> 00:10:38.280 どこかの時点で１人の人間が 全滅を引き起こせるようになり 00:10:38.280 --> 00:10:41.155 災難は避けがたいと 00:10:41.155 --> 00:10:44.113 不安になる話ですよね？ NOTE Paragraph 00:10:44.113 --> 00:10:46.070 (ボストロム) まあ確かに NOTE Paragraph 00:10:46.708 --> 00:10:47.988 (笑) NOTE Paragraph 00:10:47.988 --> 00:10:52.488 我々はもっと力を手にし 00:10:52.488 --> 00:10:56.446 その力を使うのは より簡単になるでしょうが 00:10:56.446 --> 00:11:00.030 そういう力を人々がどう使うかを コントロールするような技術だって 00:11:00.030 --> 00:11:02.071 作れるでしょう NOTE Paragraph 00:11:02.071 --> 00:11:05.041 (アンダーソン) それについて話しましょう 00:11:05.041 --> 00:11:07.828 合成生物学だけでなく 00:11:07.828 --> 00:11:11.833 サイバー戦争 人工知能など 00:11:11.833 --> 00:11:16.530 今やあらゆる可能性があり 00:11:16.530 --> 00:11:21.071 未来には破滅が 待っているように見える 00:11:21.071 --> 00:11:22.840 それに対してどうすべきか？ 00:11:22.840 --> 00:11:27.613 あなたは４種の対応について 議論されてますね NOTE Paragraph 00:11:27.613 --> 00:11:31.448 (ボストロム) 技術開発全般を まったく止めてしまうような制限というのは 00:11:31.448 --> 00:11:34.530 有望とは思えません 00:11:34.530 --> 00:11:35.821 不可能か 00:11:35.821 --> 00:11:38.155 可能だとしても 望ましくないでしょう 00:11:38.155 --> 00:11:41.998 ごく限られた領域について 技術の進歩を遅らせるというのであれば 00:11:41.998 --> 00:11:43.946 ありだと思います 00:11:43.946 --> 00:11:46.072 生物兵器や 00:11:46.072 --> 00:11:49.723 核兵器を容易に作れるようにする 同位体分離技術などは 00:11:49.723 --> 00:11:52.500 あまり進歩してほしくないでしょう NOTE Paragraph 00:11:52.583 --> 00:11:55.905 (アンダーソン) 私も前は そう考えていましたが 00:11:55.905 --> 00:11:59.196 少し反対の立場を 取ってみましょう 00:11:59.196 --> 00:12:03.238 この20年くらいの歴史を見れば 00:12:03.238 --> 00:12:06.821 常に全速力で前進していて 00:12:06.821 --> 00:12:08.907 それが唯一の選択肢でした 00:12:08.907 --> 00:12:12.988 グローバリゼーションの 急速な展開を見るなら 00:12:12.988 --> 00:12:16.446 「壊しながら速く進む」戦略や 00:12:16.446 --> 00:12:18.649 それで何が起きたかを見るなら 00:12:18.649 --> 00:12:21.321 合成生物学の 可能性を考えるなら 00:12:21.321 --> 00:12:27.446 家庭や学校どこにでも DNAプリンターがあるような世界へと 00:12:27.446 --> 00:12:32.501 何の制限もなく急速に 進んで行くべきなのか疑問です 00:12:33.167 --> 00:12:34.863 制限があるべきでしょう NOTE Paragraph 00:12:34.863 --> 00:12:37.530 (ボストロム) 第一に可能でないこと 00:12:37.530 --> 00:12:39.738 開発を止めるのが 望ましいと思ったとしても 00:12:39.738 --> 00:12:41.680 可能なのかという 問題があります 00:12:41.680 --> 00:12:44.321 一個の国がやったところで ― NOTE Paragraph 00:12:44.321 --> 00:12:46.363 (アンダーソン) 一つの国でやってもだめで 00:12:46.363 --> 00:12:49.321 条約が必要でしょう 00:12:49.321 --> 00:12:53.428 そうやって核の危機を乗り越えました 00:12:53.428 --> 00:12:56.418 苦痛な交渉を通じてです 00:12:56.418 --> 00:12:59.943 世界の優先事項として 00:12:59.943 --> 00:13:06.069 合成生物学研究について 厳格なルールづくりをするための交渉を 00:13:06.069 --> 00:13:09.113 始めるべきではないでしょうか 00:13:09.113 --> 00:13:11.988 誰でもできるように したくはありません NOTE Paragraph 00:13:11.988 --> 00:13:13.821 (ボストロム) そう思います 00:13:13.821 --> 00:13:18.071 たとえばDNA合成装置は 00:13:18.071 --> 00:13:22.700 それぞれ実験室で 所有するのでなく 00:13:22.700 --> 00:13:26.799 サービスとして 提供されるものにするとか 00:13:26.799 --> 00:13:29.321 世界に４、５か所 設備があって 00:13:29.321 --> 00:13:32.863 設計図を送ると DNAが返ってくるというような 00:13:32.863 --> 00:13:36.893 制限が必要と思えるときには 00:13:36.893 --> 00:13:39.446 一定の経路を押さえれば済みます 00:13:39.446 --> 00:13:44.998 コントロールするための 手段ができます NOTE Paragraph 00:13:44.998 --> 00:13:46.930 (アンダーソン) 単に押し留めようとしても 00:13:46.930 --> 00:13:49.655 上手くいかないと お考えですね 00:13:49.655 --> 00:13:52.405 北朝鮮のような どこかの誰かが 00:13:52.405 --> 00:13:57.238 そこへ行って その知識を手にしたとしたら NOTE Paragraph 00:13:57.238 --> 00:13:59.613 (ボストロム) 現状では 考えられることです 00:13:59.613 --> 00:14:01.571 合成生物学だけでなく 00:14:01.571 --> 00:14:04.101 どんなものであれ 根本的に世界を変えるものは 00:14:04.101 --> 00:14:05.595 黒い玉になりえます NOTE Paragraph 00:14:05.595 --> 00:14:07.506 (アンダーソン) 別の対応法を 見てみましょう NOTE Paragraph 00:14:07.506 --> 00:14:10.238 (ボストロム) これも限定的ではありますが 00:14:10.238 --> 00:14:13.821 １型の危険性に対しては 00:14:13.821 --> 00:14:17.368 そういった技術を扱える人について 00:14:17.368 --> 00:14:22.184 世界を破壊したいと思うような者の数を 減らすのが望ましいでしょう NOTE Paragraph 00:14:22.184 --> 00:14:23.998 (アンダーソン) この絵は 00:14:23.998 --> 00:14:28.312 顔認識機能を持つドローンが 世界を飛び回っている図で 00:14:28.312 --> 00:14:31.433 誰か反社会的性向のある人を 見つけると 00:14:31.433 --> 00:14:33.863 愛を降り注いで治してしまうと NOTE Paragraph 00:14:33.863 --> 00:14:35.780 (ボストロム) 妙な取り合わせですが 00:14:35.780 --> 00:14:39.548 そういう人間をなくすには 投獄や殺害だけでなく 00:14:39.548 --> 00:14:43.060 世界の見方を変えるよう説得する という手もあり得ます 00:14:43.060 --> 00:14:44.613 それがうまくいけば 00:14:44.613 --> 00:14:50.049 そういう人の数を 半分に減らせるかもしれません 00:14:50.049 --> 00:14:52.030 説得という手段を取るなら 00:14:52.030 --> 00:14:54.446 人を説得しようとする 様々な強い勢力と 00:14:54.446 --> 00:14:56.155 張り合うことになります 00:14:56.155 --> 00:14:58.095 政党とか 宗教とか 教育システムとか 00:14:58.095 --> 00:15:02.155 ただ人数を半分にできたとしても リスクは半分にはならず 00:15:02.155 --> 00:15:04.293 5%か10%減るくらいでしょう NOTE Paragraph 00:15:04.293 --> 00:15:08.113 (アンダーソン) 第２の対応法に 人類の未来を賭けるのは勧めはしないと NOTE Paragraph 00:15:08.113 --> 00:15:11.343 (ボストロム) 説得し思いとどまらせるのは いいと思いますが 00:15:11.343 --> 00:15:14.155 それを唯一の安全策として 依存すべきではないでしょう NOTE Paragraph 00:15:14.155 --> 00:15:15.446 (アンダーソン) ３番目は何でしょう？ NOTE Paragraph 00:15:15.446 --> 00:15:18.513 (ボストロム) 様々な ありうる危険性に対して 00:15:18.513 --> 00:15:25.363 世界の安定を実現するのに使える 一般的な方法が２つあると思います 00:15:25.363 --> 00:15:27.225 そして その両方が 必要になるでしょう 00:15:27.225 --> 00:15:33.280 １つは非常に効果の高い 予防的警察機能です 00:15:33.280 --> 00:15:34.828 妨害のような 00:15:34.828 --> 00:15:37.613 誰かが危険なことを始めたら 00:15:37.613 --> 00:15:40.321 リアルタイムで 妨害し阻止するとか 00:15:40.321 --> 00:15:43.000 そのためには誰もが常に 見張られているような 00:15:43.000 --> 00:15:45.766 偏在的監視が 必要になるでしょう NOTE Paragraph 00:15:46.333 --> 00:15:48.905 (アンダーソン) 『マイノリティ・リポート』の世界ですね NOTE Paragraph 00:15:48.905 --> 00:15:50.863 (ボストロム) 人工知能アルゴリズムや 00:15:50.863 --> 00:15:56.009 様々な査察をする自由センターみたいなものが 用いられるかもしれません NOTE Paragraph 00:15:56.583 --> 00:16:00.988 (アンダーソン) 監視社会が あんまり好かれていないのは ご存じですよね？ NOTE Paragraph 00:16:00.988 --> 00:16:02.250 (笑) NOTE Paragraph 00:16:03.458 --> 00:16:05.880 (ボストロム) 全方向カメラのついたネックレスを 00:16:05.880 --> 00:16:10.917 いつも身に着けるところを 想像してください 00:16:11.792 --> 00:16:13.613 受け入れやすいように 00:16:13.613 --> 00:16:16.161 「自由の証」みたいな ネーミングにするといいかもしれません NOTE Paragraph 00:16:16.161 --> 00:16:18.196 (笑) NOTE Paragraph 00:16:18.196 --> 00:16:24.852 (アンダーソン) だからびっくりする話だと 言うんですよ 皆さん NOTE Paragraph 00:16:24.852 --> 00:16:28.972 (ボストロム) これに関しては 当然議論があります 00:16:28.972 --> 00:16:31.655 大きな問題やリスクがあります 00:16:31.655 --> 00:16:32.946 それについては また話しましょう 00:16:32.946 --> 00:16:34.238 ４番目の対応法は 00:16:34.238 --> 00:16:38.905 別のガバナンスの穴を 埋めるということです 00:16:38.905 --> 00:16:43.113 ミクロレベルでは監視は 違法性の高いことを誰もできなくするという 00:16:43.113 --> 00:16:46.238 ガバナンスの穴を埋める手段です 00:16:46.238 --> 00:16:50.530 それに対しマクロレベル・世界レベルの ガバナンスの穴があります 00:16:50.530 --> 00:16:57.321 最悪の世界的協力の失敗を防ぐために この能力を確保しておく必要があります 00:16:57.321 --> 00:17:01.113 大国間の戦争 00:17:01.113 --> 00:17:02.510 軍拡競争 00:17:03.500 --> 00:17:06.088 共有資源が破綻する問題 00:17:07.667 --> 00:17:11.863 2a型の危険性への対処です NOTE Paragraph 00:17:11.863 --> 00:17:13.821 (アンダーソン) グローバル・ガバナンスというのは 00:17:13.821 --> 00:17:16.071 時代遅れの言葉に聞こえます 00:17:16.071 --> 00:17:17.849 人類の歴史を通じて 00:17:17.849 --> 00:17:19.905 技術の力が増大するとき 00:17:19.905 --> 00:17:25.363 社会を再編し 力を集中させてきたという議論は 00:17:25.363 --> 00:17:28.613 おできになりますか 00:17:28.613 --> 00:17:33.780 たとえば放浪の犯罪者集団が 社会を牛耳るのに対し 00:17:33.780 --> 00:17:38.181 国家を作り 権力や警察や軍隊をもって 00:17:38.181 --> 00:17:40.155 「そうはさせない」と言うような 00:17:40.155 --> 00:17:46.405 １人の人間や１つの集団が 人類を払拭できるとき 00:17:46.405 --> 00:17:50.613 そういう道を取らざるを 得ないのでしょうか？ NOTE Paragraph 00:17:50.613 --> 00:17:53.131 (ボストロム) 人類の歴史を通して 00:17:53.131 --> 00:17:56.724 政治的組織の規模が 拡大してきたのは確かです 00:17:56.724 --> 00:17:59.117 かつては狩猟採集民の 集団だったのが 00:17:59.117 --> 00:18:01.694 部族や都市国家や国家が現れ 00:18:01.694 --> 00:18:05.488 今では国際組織があります 00:18:05.488 --> 00:18:08.696 監視社会にもグローバル・ガバナンスにも 00:18:08.696 --> 00:18:15.613 大きなマイナス面やリスクは 当然あります 00:18:15.613 --> 00:18:18.196 私が言いたいのは 00:18:18.196 --> 00:18:22.446 それが黒い玉から世界が生き延びる 唯一の方法かもしれないということです NOTE Paragraph 00:18:22.446 --> 00:18:24.988 (アンダーソン) すべてを 手に入れることはできないと 00:18:24.988 --> 00:18:30.059 認識する必要がある ということのようですね 00:18:30.059 --> 00:18:33.500 テクノロジーというのは 常に良い力で 00:18:33.500 --> 00:18:39.863 止まることなく 可能な限り速く 進み続けるものと 00:18:39.863 --> 00:18:42.654 私たちの多くは 思っていますが 00:18:42.654 --> 00:18:45.323 結果に注意を払わなくてよいと 考えるのは甘く 00:18:45.323 --> 00:18:46.946 そうはいかないのだと 00:18:46.946 --> 00:18:50.196 もしそれを得ようとするなら 00:18:50.196 --> 00:18:54.238 別の嫌なものを 受け入れざるを得ない 00:18:54.238 --> 00:18:56.488 自分自身との 軍拡競争のようなもので 00:18:56.488 --> 00:18:58.780 力が欲しいなら 制限したほうがよく 00:18:58.780 --> 00:19:01.143 どう制限したものか 考えなきゃいけない NOTE Paragraph 00:19:01.143 --> 00:19:04.446 (ボストロム) 魅力的な選択肢です 00:19:04.446 --> 00:19:08.530 うまくいくかもしれない 最も簡単な選択肢ですが 00:19:08.530 --> 00:19:13.363 本質的に黒い玉を取り出す 危険性があります 00:19:13.363 --> 00:19:15.530 少しばかりの調整をして 00:19:15.530 --> 00:19:19.905 マクロガバナンスやマイクロガバナンスの 問題を解決したなら 00:19:19.905 --> 00:19:22.238 壺からすべての玉を 取り出して 00:19:22.238 --> 00:19:24.530 大いに恩恵を 受けることができます NOTE Paragraph 00:19:24.530 --> 00:19:27.988 (アンダーソン) 我々がシミュレーションの中に 生きているなら どうでもよいのでは？ 00:19:27.988 --> 00:19:29.401 リブートすればいいだけなので NOTE Paragraph 00:19:29.401 --> 00:19:30.613 (笑) NOTE Paragraph 00:19:30.613 --> 00:19:33.091 (ボストロム) いやはや NOTE Paragraph 00:19:33.091 --> 00:19:34.757 (笑) 00:19:34.757 --> 00:19:36.577 そうくるとは思いませんでした NOTE Paragraph 00:19:38.125 --> 00:19:39.405 (アンダーソン) どう見ておられますか？ 00:19:39.405 --> 00:19:44.238 すべて考え合わせて 我々がもうおしまいだという見込みは？ NOTE Paragraph 00:19:44.238 --> 00:19:46.208 (笑) NOTE Paragraph 00:19:47.042 --> 00:19:49.446 この質問でみんな笑ってくれるのは いいですね NOTE Paragraph 00:19:49.446 --> 00:19:50.821 (ボストロム) 個人のレベルでは 00:19:50.821 --> 00:19:53.882 我々はどの道おしまいです 00:19:53.882 --> 00:19:57.321 いずれ年を取り衰えていきます NOTE Paragraph 00:19:57.321 --> 00:19:58.946 (笑) NOTE Paragraph 00:19:58.946 --> 00:20:00.655 ちょっと難しいのは 00:20:00.655 --> 00:20:02.396 確率を出すためには 00:20:02.396 --> 00:20:04.738 まず誰なのかを 問う必要があることです 00:20:04.738 --> 00:20:07.236 高齢なら自然に死ぬでしょうし 00:20:07.236 --> 00:20:09.863 若いならまだ100年くらい あるかもしれず 00:20:09.863 --> 00:20:12.516 誰に聞くかで確率は 変わってきます 00:20:12.516 --> 00:20:16.280 文明の崩壊と考えられる 基準は何か？ 00:20:16.280 --> 00:20:23.405 論文では 大災害は 必要になりませんでした 00:20:23.405 --> 00:20:25.113 定義の問題で 00:20:25.113 --> 00:20:26.446 10億人が死ぬとか 00:20:26.446 --> 00:20:28.530 世界のGDPが50%下がるとか 00:20:28.530 --> 00:20:30.780 何を閾値とするかで 00:20:30.780 --> 00:20:32.780 確率的な見込みも 変わりますが 00:20:32.780 --> 00:20:37.321 あなたは私を怯えた楽観主義者と みなせるでしょう NOTE Paragraph 00:20:37.321 --> 00:20:38.446 (笑) NOTE Paragraph 00:20:38.446 --> 00:20:40.287 (アンダーソン) 怯えた楽観主義者のあなたは 00:20:40.287 --> 00:20:45.507 たくさんの怯えた人々を 生み出したところです NOTE Paragraph 00:20:45.507 --> 00:20:46.387 (笑) NOTE Paragraph 00:20:46.387 --> 00:20:47.817 (ボストロム) シミュレーションの中で NOTE Paragraph 00:20:47.817 --> 00:20:49.288 (アンダーソン) シミュレーションの中で 00:20:49.288 --> 00:20:51.261 ニック・ボストロムさん あなたの頭脳には感服します 00:20:51.261 --> 00:20:53.988 我々を恐怖に陥れてくれて ありがとうございました NOTE Paragraph 00:20:53.988 --> 00:20:56.375 (拍手)