0:00:01.000,0:00:02.821
(クリス・アンダーソン) ニック・ボストロムさん

0:00:02.821,0:00:06.821
あなたはこれまで私達に[br]様々なすごいアイデアを示してきました

0:00:06.821,0:00:08.571
20年ほど前には

0:00:08.571,0:00:13.277
我々がシミュレーションの中に[br]生きている可能性を示し

0:00:13.277,0:00:14.738
もっと最近では

0:00:14.738,0:00:19.363
汎用人工知能が[br]どのように酷い結果をもたらしうるか

0:00:19.363,0:00:21.736
鮮やかに描き出しています

0:00:21.750,0:00:25.559
今年は「脆弱世界仮説」なるものを

0:00:25.559,0:00:29.363
論文で発表しようとしています

0:00:29.363,0:00:34.140
それを分かりやすく解説してもらおう[br]というのが今晩の趣旨です

0:00:34.417,0:00:36.250
では始めましょう

0:00:36.833,0:00:38.877
いったい どんな仮説なんでしょう？

0:00:40.000,0:00:42.578
(ニック・ボストロム) 現在の人間のあり方の

0:00:42.578,0:00:45.826
構造的特徴を[br]考察しようというものです

0:00:47.125,0:00:49.677
壺のメタファーが[br]お気に召したようなので

0:00:49.677,0:00:51.538
それを使って説明しましょう

0:00:51.538,0:00:56.763
アイデアや 方法や [br]存在しうる技術を表す玉が詰まった

0:00:56.763,0:00:59.965
大きな壺を思い描いてください

0:01:00.833,0:01:04.571
人類の創造性の歴史は

0:01:04.571,0:01:08.649
この壺に手を入れて[br]玉を取り出していくことだとみなせ

0:01:08.649,0:01:12.035
その結果はこれまでのところ[br]全体として とても有益でした

0:01:12.035,0:01:14.598
たくさんの白い玉が取り出され

0:01:14.598,0:01:17.805
良い面も悪い面もある[br]灰色の玉もありました

0:01:18.042,0:01:21.374
黒い玉は まだ取り出されていません

0:01:22.292,0:01:27.844
それを取り出した文明は必然的に滅びるような[br]テクノロジーということです

0:01:27.844,0:01:31.179
黒い玉として どのようなものが考えられるかを[br]論文では探っています

0:01:31.179,0:01:32.905
(アンダーソン) 黒い玉は

0:01:32.905,0:01:36.613
文明の崩壊を必然的にもたらすものと[br]定義しているんですね

0:01:36.613,0:01:41.946
(ボストロム) 「半無秩序的既定条件」と[br]呼んでいるものを脱しない限りは

0:01:41.946,0:01:43.602
そうなります

0:01:44.333,0:01:49.905
(アンダーソン) これまで我々は[br]幸運だっただけで

0:01:49.905,0:01:55.738
その「死の玉」を そうとは知らずに[br]取り出していたかもしれないことを

0:01:55.738,0:01:57.505
例を使って示されていますね

0:01:57.505,0:02:00.083
引用が出ていますが[br]これは何ですか？

0:02:00.625,0:02:05.446
(ボストロム) 根本的な発見が[br]何をもたらすか

0:02:05.446,0:02:08.155
予見するのは難しいことを[br]言っています

0:02:08.155,0:02:11.238
我々にそういう能力はないのです

0:02:11.238,0:02:14.613
玉を取り出すのは上手くても

0:02:14.613,0:02:18.363
玉を壺に戻すことは[br]できないのです

0:02:18.363,0:02:20.903
発明はできても[br]その逆はできません

0:02:21.583,0:02:24.363
それに対する[br]我々の戦略といえば

0:02:24.363,0:02:26.894
壺の中に黒い玉がないことを[br]祈るだけです

0:02:26.894,0:02:30.060
(アンダーソン) 玉を取り出したら[br]元に戻すことはできず

0:02:30.060,0:02:32.678
我々はこれまで[br]幸運だっただけだと ―

0:02:32.678,0:02:34.888
例を使って議論しましょう

0:02:34.888,0:02:37.821
いろいろな種類の危険性を[br]挙げておられますね

0:02:37.821,0:02:40.280
(ボストロム) 一番分かりやすいのは

0:02:40.280,0:02:45.936
大規模な破壊を容易に引き起こせる[br]テクノロジーです

0:02:47.375,0:02:51.075
合成生物学などは そういう黒い玉の[br]豊かな源になるでしょうが

0:02:51.075,0:02:53.858
他にもいろいろ考えられます

0:02:53.858,0:02:55.824
地球工学とか

0:02:55.824,0:02:58.405
地球温暖化への[br]対抗手段になりますが

0:02:58.405,0:03:00.571
あまり容易にできても困ります

0:03:00.571,0:03:02.969
そのへんにいる人や[br]そのおばあちゃんに

0:03:02.969,0:03:06.363
地球の気候を大きく変えられるように[br]なってほしくはありません

0:03:06.363,0:03:09.738
あるいは自律的暗殺ドローン ―

0:03:09.738,0:03:13.458
大量生産された蚊ほどの大きさの[br]殺人ロボットの群れとか

0:03:14.500,0:03:17.238
ナノテクノロジーや[br]汎用人工知能もそうです

0:03:17.238,0:03:21.488
(アンダーソン) 核エネルギーで爆弾を[br]作れることが発見されたとき

0:03:21.488,0:03:26.363
それが誰でも容易に[br]手に入るものでなかったのは

0:03:26.363,0:03:31.821
幸運だっただけという[br]議論をされていますね

0:03:31.821,0:03:35.405
(ボストロム) 1930年代に[br]核物理学の発展があったとき

0:03:35.405,0:03:40.030
頭のいい人たちは気づきました

0:03:40.030,0:03:43.738
連鎖反応を引き起こすことが可能で

0:03:43.738,0:03:46.946
それは爆弾になり得ると

0:03:46.946,0:03:48.863
その後研究が進められ

0:03:48.863,0:03:50.393
核爆弾を作るには

0:03:50.393,0:03:54.030
高度に濃縮したウランやプルトニウムが[br]必要だと分かりましたが

0:03:54.030,0:03:56.071
それは入手困難なものです

0:03:56.071,0:03:59.424
超遠心分離機や[br]原子炉や

0:03:59.424,0:04:02.155
膨大なエネルギーが[br]必要になります

0:04:02.155,0:04:05.494
しかし 原子の力を[br]容易に解き放てる方法が

0:04:05.494,0:04:07.988
もしあったとしたら[br]どうでしょう

0:04:07.988,0:04:11.934
電子レンジで[br]砂を焼くみたいなことで

0:04:11.934,0:04:14.196
核爆発を起こせたとしたら

0:04:14.196,0:04:16.363
物理学的にあり得ないと[br]今では分かっていますが

0:04:16.363,0:04:18.845
そういう物理学研究をする前に[br]どんな結果になるか

0:04:18.845,0:04:20.495
どうして分かるでしょう？

0:04:20.495,0:04:22.071
(アンダーソン) 生命が進化するためには

0:04:22.071,0:04:27.321
地球が安定した環境である[br]必要があり

0:04:27.321,0:04:30.385
大規模な核反応が[br]容易に起こせたとしたら

0:04:30.385,0:04:31.915
地球は安定し得ず

0:04:31.915,0:04:35.103
我々はそもそも存在しなかったはず[br]という議論もできるのでは？

0:04:35.103,0:04:38.405
(ボストロム) 意図的になら[br]簡単にできるけど

0:04:38.405,0:04:41.280
偶然には起きないようなことも[br]考えられます

0:04:41.280,0:04:45.019
ブロックを10個積み上げるというのは[br]簡単にできますが

0:04:45.019,0:04:48.240
自然に積みあがった10個のブロックというのは[br]見つからないでしょう

0:04:48.240,0:04:51.905
(アンダーソン) これは私達の多くが[br]すごく懸念していることで

0:04:51.905,0:04:55.446
近い将来 そういうことが[br]最も起きそうに思えるのが

0:04:55.446,0:04:58.488
合成生物学ですね

0:04:58.488,0:05:01.446
(ボストロム) その意味するところを[br]考えてみましょう

0:05:01.446,0:05:04.763
誰でも午後にちょっと[br]台所で作業すると

0:05:04.763,0:05:06.758
都市を壊滅させられる[br]のだとしたら

0:05:06.758,0:05:10.113
その上で我々の知る現代文明が[br]どう生き残れるものか

0:05:10.113,0:05:11.571
想像しにくいでしょう

0:05:11.571,0:05:14.113
どんな集団でも[br]百万人もいれば

0:05:14.113,0:05:16.821
そういう破壊的な力を[br]理由はどうあれ

0:05:16.821,0:05:19.046
使おうとする者が[br]いるだろうからです

0:05:19.750,0:05:22.905
そういう終末論的な人が

0:05:22.905,0:05:24.905
都市を破壊することに決めたら

0:05:24.905,0:05:26.488
破壊されることになるでしょう

0:05:26.488,0:05:28.863
(アンダーソン) こちらは別種の危険性ですが

0:05:28.863,0:05:30.530
これについて話しましょう

0:05:30.530,0:05:34.530
(ボストロム) 多くのものを吹き飛ばすことを[br]可能にする黒い玉という

0:05:34.530,0:05:37.364
分かりやすい危険性に加え

0:05:37.364,0:05:41.821
人に有害なことを行わせる [br]まずい動機を生み出すという

0:05:41.821,0:05:44.071
危険性もあります

0:05:44.071,0:05:48.356
これを 2a型と呼びましょう

0:05:48.356,0:05:56.578
大きな力を破壊に使うよう動機づけるような[br]テクノロジーを考えてみてください

0:05:56.578,0:06:00.198
核兵器は実際[br]これに近かったと思います

0:06:02.083,0:06:07.696
人類は10兆ドルかけて[br]７万発の核弾頭を作り

0:06:07.696,0:06:10.155
いつでも撃てる[br]状態にしました

0:06:10.155,0:06:12.446
冷戦中に互いを[br]吹き飛ばしそうになったことが

0:06:12.446,0:06:13.905
何度かありました

0:06:13.905,0:06:16.649
10兆ドルかけて[br]自らを吹き飛ばすのが

0:06:16.649,0:06:19.272
いい考えだと[br]みんな思ったわけではありません

0:06:19.272,0:06:21.708
そうなった動機というのは ―

0:06:21.708,0:06:23.775
もっと酷いことにも[br]なり得ました

0:06:23.775,0:06:26.488
安全に先制攻撃することが[br]可能だったとしてみましょう

0:06:26.488,0:06:28.821
危機的な状況になったとき

0:06:28.821,0:06:31.032
核ミサイルの発射を抑えるのは

0:06:31.032,0:06:32.775
難しかったかもしれません

0:06:32.775,0:06:35.826
相手がそうする[br]恐れがあるからです

0:06:35.826,0:06:38.353
(アンダーソン) 双方とも壊滅するのが[br]確かだったからこそ

0:06:38.353,0:06:40.613
冷戦は比較的安定していたのであって

0:06:40.613,0:06:42.821
そうでなければ我々はここに[br]いなかったかもしれないと

0:06:42.821,0:06:44.496
(ボストロム) もっと不安定だった[br]かもしれません

0:06:44.496,0:06:46.438
テクノロジーには[br]別の特質もあります

0:06:46.438,0:06:49.613
もし兵器が核ほど[br]破壊的なものでなかったら

0:06:49.613,0:06:54.280
軍縮協定を結ぶのは[br]難しかったかもしれません

0:06:54.280,0:06:56.863
(アンダーソン) 強大な勢力が[br]まずい動機を持つこと同様に

0:06:56.863,0:07:00.405
みんながまずい動機を持つことも[br]懸念されてますね　それがこの2b型です

0:07:00.405,0:07:04.858
(ボストロム) 地球温暖化の場合を[br]考えてみましょう

0:07:06.958,0:07:09.137
私達がする ちょっとした利便で

0:07:09.137,0:07:13.946
個々の影響は小さいものが[br]たくさんあります

0:07:13.946,0:07:15.946
でもそれを何十億という人がやると

0:07:15.946,0:07:18.030
全体として大きな害を生じてしまう

0:07:18.030,0:07:20.739
地球温暖化はもっと酷いものでも[br]あり得ました

0:07:20.739,0:07:23.863
気候感度パラメータというのがあります

0:07:23.863,0:07:27.530
温室効果ガスをこれだけ出すと

0:07:27.530,0:07:30.238
温度がどれくらい上がるかを示す[br]パラメータです

0:07:30.238,0:07:35.196
我々が排出している[br]温室効果ガスによって起きる

0:07:35.196,0:07:37.280
2100年の気温上昇が

0:07:37.280,0:07:41.030
3～4.5度というのではなく

0:07:41.030,0:07:43.687
15～20度だったとしたら

0:07:44.375,0:07:46.648
非常にまずい状況でしょう

0:07:46.648,0:07:49.890
あるいは再生可能エネルギーの実現が[br]ずっと難しかったとしたら

0:07:49.890,0:07:52.478
あるいは化石燃料がずっと豊富に[br]存在していたとしたら

0:07:52.478,0:07:59.156
(アンダーソン) このままいくと[br]近い将来に10度上がるのだとしたら

0:07:59.156,0:08:05.488
人類は重い腰を上げて[br]何かするのでは？

0:08:05.488,0:08:08.321
我々は愚かですが[br]そこまで愚かではありません

0:08:08.321,0:08:09.613
いや愚かなのかも

0:08:09.613,0:08:12.029
(ボストロム) 私はそれに[br]賭けようとは思いません

0:08:12.029,0:08:13.113
(笑)

0:08:13.113,0:08:14.988
いろいろなことが[br]考えられます

0:08:14.988,0:08:20.363
今は再生可能エネルギーに切り替えるのは[br]ちょっと大変ですが

0:08:20.363,0:08:21.655
可能なことです

0:08:21.655,0:08:24.655
でも物理的なことが[br]何か違って

0:08:24.655,0:08:27.907
そういうものがずっと[br]高くついたかもしれない

0:08:28.375,0:08:29.905
(アンダーソン) どう考えておられますか？

0:08:29.905,0:08:32.363
そういった可能性を[br]考え合わせると

0:08:32.363,0:08:38.238
世界は危険だと[br]言えるのでしょうか？

0:08:38.238,0:08:41.310
人類の未来には[br]死の玉があるのでしょうか？

0:08:43.958,0:08:45.238
(ボストロム) 難しいですが

0:08:45.238,0:08:49.175
壺の中には いろんな黒い玉が

0:08:49.175,0:08:51.655
入っていそうに思えます

0:08:51.655,0:08:54.293
また黒い玉から守ってくれる

0:08:54.293,0:08:57.571
金色の玉もあるかもしれません

0:08:57.571,0:09:00.571
どちらが先に出てくるか[br]分かりませんが

0:09:00.571,0:09:04.446
(アンダーソン) この考えに対する[br]哲学的な批判は

0:09:04.446,0:09:10.113
未来が決まっているかのようだ[br]ということでしょう

0:09:10.113,0:09:12.613
その玉があるかないかしかない

0:09:12.613,0:09:17.909
未来がそんなものだとは[br]思いたくありません

0:09:17.909,0:09:20.469
未来というのは[br]決まっておらず

0:09:20.469,0:09:22.594
我々が今行う決定によって

0:09:22.594,0:09:25.571
どんな玉を取り出すことになるか[br]決まるのだと思いたいです

0:09:25.917,0:09:29.696
(ボストロム) 発明を続けていけば

0:09:29.696,0:09:32.624
やがてすべての玉を[br]取り出す出すことになるでしょう

0:09:32.875,0:09:37.571
もっともだと思える[br]弱い形の技術的決定論があり

0:09:37.571,0:09:43.192
たとえば石斧とジェット機を使っている[br]文明というのは考えにくいです

0:09:44.208,0:09:48.280
テクノロジーは一組のアフォーダンスとして[br]考えることができます

0:09:48.280,0:09:51.321
テクノロジーは[br]我々に様々なことができるようにし

0:09:51.321,0:09:53.530
世界にいろいろな効果を[br]もたらします

0:09:53.530,0:09:56.155
それをどう使うかは[br]人間が選択することですが

0:09:56.155,0:09:58.863
これら３種の危険性を[br]考えるとき

0:09:58.863,0:10:02.280
我々がそれをどう使うかについて[br]確度の高い想定ができます

0:10:02.280,0:10:05.696
１型の危険性は[br]大きな破壊力ですが

0:10:05.696,0:10:09.829
何百万人もいれば 破壊的な仕方で[br]それを使う者が出てくるというのは

0:10:09.829,0:10:12.466
きわめてありそうなことです

0:10:12.466,0:10:14.988
(アンダーソン) 私にとって[br]最も気がかりな議論は

0:10:14.988,0:10:23.113
壺の中を覗いてみる限り[br]破滅はどうも起こりそうということです

0:10:23.113,0:10:27.780
力が加速的に[br]増大していくと思うなら ―

0:10:27.780,0:10:30.071
テクノロジーは本質的に[br]加速するものですが

0:10:30.071,0:10:32.824
我々をより強力にしてくれる[br]道具を作り続けると

0:10:32.824,0:10:38.280
どこかの時点で１人の人間が[br]全滅を引き起こせるようになり

0:10:38.280,0:10:41.155
災難は避けがたいと

0:10:41.155,0:10:44.113
不安になる話ですよね？

0:10:44.113,0:10:46.070
(ボストロム) まあ確かに

0:10:46.708,0:10:47.988
(笑)

0:10:47.988,0:10:52.488
我々はもっと力を手にし

0:10:52.488,0:10:56.446
その力を使うのは[br]より簡単になるでしょうが

0:10:56.446,0:11:00.030
そういう力を人々がどう使うかを[br]コントロールするような技術だって

0:11:00.030,0:11:02.071
作れるでしょう

0:11:02.071,0:11:05.041
(アンダーソン) それについて話しましょう

0:11:05.041,0:11:07.828
合成生物学だけでなく

0:11:07.828,0:11:11.833
サイバー戦争 人工知能など

0:11:11.833,0:11:16.530
今やあらゆる可能性があり

0:11:16.530,0:11:21.071
未来には破滅が[br]待っているように見える

0:11:21.071,0:11:22.840
それに対してどうすべきか？

0:11:22.840,0:11:27.613
あなたは４種の対応について[br]議論されてますね

0:11:27.613,0:11:31.448
(ボストロム) 技術開発全般を[br]まったく止めてしまうような制限というのは

0:11:31.448,0:11:34.530
有望とは思えません

0:11:34.530,0:11:35.821
不可能か

0:11:35.821,0:11:38.155
可能だとしても[br]望ましくないでしょう

0:11:38.155,0:11:41.998
ごく限られた領域について[br]技術の進歩を遅らせるというのであれば

0:11:41.998,0:11:43.946
ありだと思います

0:11:43.946,0:11:46.072
生物兵器や

0:11:46.072,0:11:49.723
核兵器を容易に作れるようにする[br]同位体分離技術などは

0:11:49.723,0:11:52.500
あまり進歩してほしくないでしょう

0:11:52.583,0:11:55.905
(アンダーソン) 私も前は[br]そう考えていましたが

0:11:55.905,0:11:59.196
少し反対の立場を[br]取ってみましょう

0:11:59.196,0:12:03.238
この20年くらいの歴史を見れば

0:12:03.238,0:12:06.821
常に全速力で前進していて

0:12:06.821,0:12:08.907
それが唯一の選択肢でした

0:12:08.907,0:12:12.988
グローバリゼーションの[br]急速な展開を見るなら

0:12:12.988,0:12:16.446
「壊しながら速く進む」戦略や

0:12:16.446,0:12:18.649
それで何が起きたかを見るなら

0:12:18.649,0:12:21.321
合成生物学の[br]可能性を考えるなら

0:12:21.321,0:12:27.446
家庭や学校どこにでも[br]DNAプリンターがあるような世界へと

0:12:27.446,0:12:32.501
何の制限もなく急速に[br]進んで行くべきなのか疑問です

0:12:33.167,0:12:34.863
制限があるべきでしょう

0:12:34.863,0:12:37.530
(ボストロム) 第一に可能でないこと

0:12:37.530,0:12:39.738
開発を止めるのが[br]望ましいと思ったとしても

0:12:39.738,0:12:41.680
可能なのかという[br]問題があります

0:12:41.680,0:12:44.321
一個の国がやったところで ―

0:12:44.321,0:12:46.363
(アンダーソン) 一つの国でやってもだめで

0:12:46.363,0:12:49.321
条約が必要でしょう

0:12:49.321,0:12:53.428
そうやって核の危機を乗り越えました

0:12:53.428,0:12:56.418
苦痛な交渉を通じてです

0:12:56.418,0:12:59.943
世界の優先事項として

0:12:59.943,0:13:06.069
合成生物学研究について[br]厳格なルールづくりをするための交渉を

0:13:06.069,0:13:09.113
始めるべきではないでしょうか

0:13:09.113,0:13:11.988
誰でもできるように[br]したくはありません

0:13:11.988,0:13:13.821
(ボストロム) そう思います

0:13:13.821,0:13:18.071
たとえばDNA合成装置は

0:13:18.071,0:13:22.700
それぞれ実験室で[br]所有するのでなく

0:13:22.700,0:13:26.799
サービスとして[br]提供されるものにするとか

0:13:26.799,0:13:29.321
世界に４、５か所[br]設備があって

0:13:29.321,0:13:32.863
設計図を送ると[br]DNAが返ってくるというような

0:13:32.863,0:13:36.893
制限が必要と思えるときには

0:13:36.893,0:13:39.446
一定の経路を押さえれば済みます

0:13:39.446,0:13:44.998
コントロールするための[br]手段ができます

0:13:44.998,0:13:46.930
(アンダーソン) 単に押し留めようとしても

0:13:46.930,0:13:49.655
上手くいかないと[br]お考えですね

0:13:49.655,0:13:52.405
北朝鮮のような [br]どこかの誰かが

0:13:52.405,0:13:57.238
そこへ行って[br]その知識を手にしたとしたら

0:13:57.238,0:13:59.613
(ボストロム) 現状では[br]考えられることです

0:13:59.613,0:14:01.571
合成生物学だけでなく

0:14:01.571,0:14:04.101
どんなものであれ[br]根本的に世界を変えるものは

0:14:04.101,0:14:05.595
黒い玉になりえます

0:14:05.595,0:14:07.506
(アンダーソン) 別の対応法を[br]見てみましょう

0:14:07.506,0:14:10.238
(ボストロム) これも限定的ではありますが

0:14:10.238,0:14:13.821
１型の危険性に対しては

0:14:13.821,0:14:17.368
そういった技術を扱える人について

0:14:17.368,0:14:22.184
世界を破壊したいと思うような者の数を[br]減らすのが望ましいでしょう

0:14:22.184,0:14:23.998
(アンダーソン) この絵は

0:14:23.998,0:14:28.312
顔認識機能を持つドローンが[br]世界を飛び回っている図で

0:14:28.312,0:14:31.433
誰か反社会的性向のある人を[br]見つけると

0:14:31.433,0:14:33.863
愛を降り注いで治してしまうと

0:14:33.863,0:14:35.780
(ボストロム) 妙な取り合わせですが

0:14:35.780,0:14:39.548
そういう人間をなくすには[br]投獄や殺害だけでなく

0:14:39.548,0:14:43.060
世界の見方を変えるよう説得する[br]という手もあり得ます

0:14:43.060,0:14:44.613
それがうまくいけば

0:14:44.613,0:14:50.049
そういう人の数を[br]半分に減らせるかもしれません

0:14:50.049,0:14:52.030
説得という手段を取るなら

0:14:52.030,0:14:54.446
人を説得しようとする[br]様々な強い勢力と

0:14:54.446,0:14:56.155
張り合うことになります

0:14:56.155,0:14:58.095
政党とか 宗教とか 教育システムとか

0:14:58.095,0:15:02.155
ただ人数を半分にできたとしても[br]リスクは半分にはならず

0:15:02.155,0:15:04.293
5%か10%減るくらいでしょう

0:15:04.293,0:15:08.113
(アンダーソン) 第２の対応法に[br]人類の未来を賭けるのは勧めはしないと

0:15:08.113,0:15:11.343
(ボストロム) 説得し思いとどまらせるのは[br]いいと思いますが

0:15:11.343,0:15:14.155
それを唯一の安全策として[br]依存すべきではないでしょう

0:15:14.155,0:15:15.446
(アンダーソン) ３番目は何でしょう？

0:15:15.446,0:15:18.513
(ボストロム) 様々な[br]ありうる危険性に対して

0:15:18.513,0:15:25.363
世界の安定を実現するのに使える[br]一般的な方法が２つあると思います

0:15:25.363,0:15:27.225
そして その両方が[br]必要になるでしょう

0:15:27.225,0:15:33.280
１つは非常に効果の高い[br]予防的警察機能です

0:15:33.280,0:15:34.828
妨害のような

0:15:34.828,0:15:37.613
誰かが危険なことを始めたら

0:15:37.613,0:15:40.321
リアルタイムで[br]妨害し阻止するとか

0:15:40.321,0:15:43.000
そのためには誰もが常に[br]見張られているような

0:15:43.000,0:15:45.766
偏在的監視が[br]必要になるでしょう

0:15:46.333,0:15:48.905
(アンダーソン) 『マイノリティ・リポート』の世界ですね

0:15:48.905,0:15:50.863
(ボストロム) 人工知能アルゴリズムや

0:15:50.863,0:15:56.009
様々な査察をする自由センターみたいなものが[br]用いられるかもしれません

0:15:56.583,0:16:00.988
(アンダーソン) 監視社会が[br]あんまり好かれていないのは ご存じですよね？

0:16:00.988,0:16:02.250
(笑)

0:16:03.458,0:16:05.880
(ボストロム) 全方向カメラのついたネックレスを

0:16:05.880,0:16:10.917
いつも身に着けるところを[br]想像してください

0:16:11.792,0:16:13.613
受け入れやすいように

0:16:13.613,0:16:16.161
「自由の証」みたいな[br]ネーミングにするといいかもしれません

0:16:16.161,0:16:18.196
(笑)

0:16:18.196,0:16:24.852
(アンダーソン) だからびっくりする話だと[br]言うんですよ 皆さん

0:16:24.852,0:16:28.972
(ボストロム) これに関しては[br]当然議論があります

0:16:28.972,0:16:31.655
大きな問題やリスクがあります

0:16:31.655,0:16:32.946
それについては[br]また話しましょう

0:16:32.946,0:16:34.238
４番目の対応法は

0:16:34.238,0:16:38.905
別のガバナンスの穴を[br]埋めるということです

0:16:38.905,0:16:43.113
ミクロレベルでは監視は[br]違法性の高いことを誰もできなくするという

0:16:43.113,0:16:46.238
ガバナンスの穴を埋める手段です

0:16:46.238,0:16:50.530
それに対しマクロレベル・世界レベルの[br]ガバナンスの穴があります

0:16:50.530,0:16:57.321
最悪の世界的協力の失敗を防ぐために[br]この能力を確保しておく必要があります

0:16:57.321,0:17:01.113
大国間の戦争

0:17:01.113,0:17:02.510
軍拡競争

0:17:03.500,0:17:06.088
共有資源が破綻する問題

0:17:07.667,0:17:11.863
2a型の危険性への対処です

0:17:11.863,0:17:13.821
(アンダーソン) グローバル・ガバナンスというのは

0:17:13.821,0:17:16.071
時代遅れの言葉に聞こえます

0:17:16.071,0:17:17.849
人類の歴史を通じて

0:17:17.849,0:17:19.905
技術の力が増大するとき

0:17:19.905,0:17:25.363
社会を再編し[br]力を集中させてきたという議論は

0:17:25.363,0:17:28.613
おできになりますか

0:17:28.613,0:17:33.780
たとえば放浪の犯罪者集団が[br]社会を牛耳るのに対し

0:17:33.780,0:17:38.181
国家を作り [br]権力や警察や軍隊をもって

0:17:38.181,0:17:40.155
「そうはさせない」と言うような

0:17:40.155,0:17:46.405
１人の人間や１つの集団が[br]人類を払拭できるとき

0:17:46.405,0:17:50.613
そういう道を取らざるを[br]得ないのでしょうか？

0:17:50.613,0:17:53.131
(ボストロム) 人類の歴史を通して

0:17:53.131,0:17:56.724
政治的組織の規模が[br]拡大してきたのは確かです

0:17:56.724,0:17:59.117
かつては狩猟採集民の[br]集団だったのが

0:17:59.117,0:18:01.694
部族や都市国家や国家が現れ

0:18:01.694,0:18:05.488
今では国際組織があります

0:18:05.488,0:18:08.696
監視社会にもグローバル・ガバナンスにも

0:18:08.696,0:18:15.613
大きなマイナス面やリスクは[br]当然あります

0:18:15.613,0:18:18.196
私が言いたいのは

0:18:18.196,0:18:22.446
それが黒い玉から世界が生き延びる[br]唯一の方法かもしれないということです

0:18:22.446,0:18:24.988
(アンダーソン) すべてを[br]手に入れることはできないと

0:18:24.988,0:18:30.059
認識する必要がある[br]ということのようですね

0:18:30.059,0:18:33.500
テクノロジーというのは[br]常に良い力で

0:18:33.500,0:18:39.863
止まることなく 可能な限り速く[br]進み続けるものと

0:18:39.863,0:18:42.654
私たちの多くは[br]思っていますが

0:18:42.654,0:18:45.323
結果に注意を払わなくてよいと[br]考えるのは甘く

0:18:45.323,0:18:46.946
そうはいかないのだと

0:18:46.946,0:18:50.196
もしそれを得ようとするなら

0:18:50.196,0:18:54.238
別の嫌なものを[br]受け入れざるを得ない

0:18:54.238,0:18:56.488
自分自身との[br]軍拡競争のようなもので

0:18:56.488,0:18:58.780
力が欲しいなら[br]制限したほうがよく

0:18:58.780,0:19:01.143
どう制限したものか[br]考えなきゃいけない

0:19:01.143,0:19:04.446
(ボストロム) 魅力的な選択肢です

0:19:04.446,0:19:08.530
うまくいくかもしれない[br]最も簡単な選択肢ですが

0:19:08.530,0:19:13.363
本質的に黒い玉を取り出す[br]危険性があります

0:19:13.363,0:19:15.530
少しばかりの調整をして

0:19:15.530,0:19:19.905
マクロガバナンスやマイクロガバナンスの[br]問題を解決したなら

0:19:19.905,0:19:22.238
壺からすべての玉を[br]取り出して

0:19:22.238,0:19:24.530
大いに恩恵を[br]受けることができます

0:19:24.530,0:19:27.988
(アンダーソン) 我々がシミュレーションの中に[br]生きているなら どうでもよいのでは？

0:19:27.988,0:19:29.401
リブートすればいいだけなので

0:19:29.401,0:19:30.613
(笑)

0:19:30.613,0:19:33.091
(ボストロム) いやはや

0:19:33.091,0:19:34.757
(笑)

0:19:34.757,0:19:36.577
そうくるとは思いませんでした

0:19:38.125,0:19:39.405
(アンダーソン) どう見ておられますか？

0:19:39.405,0:19:44.238
すべて考え合わせて[br]我々がもうおしまいだという見込みは？

0:19:44.238,0:19:46.208
(笑)

0:19:47.042,0:19:49.446
この質問でみんな笑ってくれるのは[br]いいですね

0:19:49.446,0:19:50.821
(ボストロム) 個人のレベルでは

0:19:50.821,0:19:53.882
我々はどの道おしまいです

0:19:53.882,0:19:57.321
いずれ年を取り衰えていきます

0:19:57.321,0:19:58.946
(笑)

0:19:58.946,0:20:00.655
ちょっと難しいのは

0:20:00.655,0:20:02.396
確率を出すためには

0:20:02.396,0:20:04.738
まず誰なのかを[br]問う必要があることです

0:20:04.738,0:20:07.236
高齢なら自然に死ぬでしょうし

0:20:07.236,0:20:09.863
若いならまだ100年くらい[br]あるかもしれず

0:20:09.863,0:20:12.516
誰に聞くかで確率は[br]変わってきます

0:20:12.516,0:20:16.280
文明の崩壊と考えられる[br]基準は何か？

0:20:16.280,0:20:23.405
論文では 大災害は[br]必要になりませんでした

0:20:23.405,0:20:25.113
定義の問題で

0:20:25.113,0:20:26.446
10億人が死ぬとか

0:20:26.446,0:20:28.530
世界のGDPが50%下がるとか

0:20:28.530,0:20:30.780
何を閾値とするかで

0:20:30.780,0:20:32.780
確率的な見込みも[br]変わりますが

0:20:32.780,0:20:37.321
あなたは私を怯えた楽観主義者と[br]みなせるでしょう

0:20:37.321,0:20:38.446
(笑)

0:20:38.446,0:20:40.287
(アンダーソン) 怯えた楽観主義者のあなたは

0:20:40.287,0:20:45.507
たくさんの怯えた人々を[br]生み出したところです

0:20:45.507,0:20:46.387
(笑)

0:20:46.387,0:20:47.817
(ボストロム) シミュレーションの中で

0:20:47.817,0:20:49.288
(アンダーソン) シミュレーションの中で

0:20:49.288,0:20:51.261
ニック・ボストロムさん[br]あなたの頭脳には感服します

0:20:51.261,0:20:53.988
我々を恐怖に陥れてくれて[br]ありがとうございました

0:20:53.988,0:20:56.375
(拍手)