人殺しの決定をロボットに任せてはいけない

ダニエル・スアレースが普段小説家として描き出しているのは悲観的未来像ですが、TEDGlobalのステージで彼が語るのは私達がもっと知らなければならない現実のシナリオ、自律的ロボット兵器の台頭です。最新鋭のドローン、自動兵器、人工知能搭載の諜報ツールなどが、人の手を離れて自ら決断を下す可能性を彼は示しています。

私はSFスリラーの
小説家です

その私が「殺人ロボット」
と言ったら

おそらく こんな感じのものを
想像されるでしょう

でも 今日はフィクションの話を
しに来たのではありません

まさに現実化している
「殺人ロボット」―

そう 完全自律型の戦闘ドローンのことを
話しに来ました

ご存知のプレデター型や
リーパー型のことではありません

これらの無人機は 標的の決定を
人間が行っています

私は完全自律型のロボット兵器のことを
言っているんです

このロボット兵器は
人間殺害の決定を

ロボット自体が行います

実は これを指す専門用語もあります
「完全自律型殺傷機能」です

「完全自律型殺傷機能」を持つ
殺人ロボットは

多様な姿で現れます
飛行し 走行し あるいは

待ち伏せするような
ものもあるでしょう

実は これらのロボットは
急速に現実のものとなりつつあります

この２種類の
自動狙撃装置は

現在 北朝鮮との非武装地帯の
韓国側に配備されています

この機械はどちらも
攻撃対象となる—

人間を自動的に特定し
銃撃する機能があります

左側のものには
１キロ以上の射程があります

現在のところは どちらの機械でも
射殺決定の枠組みに

今のところは
人間が介在しています

しかし 技術的には人を要するわけではなく
そこに人を介在させる選択をしたわけです

この選択こそが
今日 私が焦点を当てたいことです

なぜなら この
殺人の意思決定が

人間からソフトウェアに
移行しつつあって

それは 戦争から人間性を
取り去ってしまうだけでなく

戦場から遠く隔たった
社会の情勢をも

変えてしまう危険が
あるからです

なぜなら人間が対立を解決する方法によって
私たちを取り巻く社会情勢が

形成されるからです

歴史上ずっと
そうやって形成されてきたのです

たとえば 西暦1400年には
これが最先端の―

兵器システムでした

両方とも 作るのも維持するのも
とても高く付きましたが

これがあれば民衆を
支配できました

封建社会の政治権力の分布は
誰が武力を持つかを反映し

力は権力のトップにいる人に
集中していたのです

それから何が変わったのでしょう？
技術革新です

火薬 大砲

すぐに 甲冑と城は
時代遅れになりました

戦場に誰を連れて行くかは
重要でなくなり

戦場にどれだけの人数を
送り込めるかが重要になりました

軍隊の人数が増えるようになると
防衛のための—

政治的 物流的な要請から
国家が必要となりました

指導者は民衆に
依存する必要が出てきて

力が共有されるようになりました

そして代議制が
形成されだします

ここでもまた
対立解消にどんな手段を取るかが

私たちを取り巻く社会情勢を
形作っています

自律ロボット兵器も
そのような手段の１つです

ただ戦争を始めるのに
非常に少数の人間しか必要としないため

ごく少数の人の手に力を
再び集中させるリスクがあります

民主化の流れを ５世紀分ほど
逆戻りさせてしまうかもしれません

でも 私たちが

このリスクを理解していれば
民主主義制度を守るための断固たる措置を取れます

人間が長けている能力によって—
すなわち適応力です

しかし タイミングが
重要です

70の国が遠隔操縦可能な―

戦闘ドローンを
独自に開発しています

おわかりと思いますが
遠隔操作戦闘ドローンは

自律ロボット兵器を
作り始める前兆です

なぜなら遠隔操作の無人機が

一旦配備されてしまうと
意思決定を人の手から

兵器そのものへと押しやることになる
大きな要因が３つあるからです

１つ目の要因は
無人機が撮影するビデオが膨大になることです

たとえば 2004 年に
米国のドローン軍団が撮影した

分析が必要な偵察映像は
総計71 時間でした

それが2011 年には 30万時間へと
増えたのです

すべてを確認するのは
人間の能力を超えてしまいました

しかも この時間はまだまだ
増加しそうです

米国防総省のゴルゴンステアや
アーガスという計画では

最大65個の独立した
カメラの目を

個々のドローンに付けるもので

これは人間が確認できる量を
大幅に上回るものとなります

こうなると
関心を引く対象を発見するために

視覚情報分析ソフトの力が
必要になります

これは じきにドローンが

注目すべき所を人間に
指示するようになるということで

人間側からではありません

意思決定を
人間から機械へと

強く推しやる
２つ目の要因は

電磁波による妨害です

妨害されると
ドローンと遠隔操作者の間の

通信が途切れてしまいます

2011年に これが起こった
例がありました

アメリカ軍の RQ-170
センチネル ドローンが

イラン軍による GPS 信号のなりすまし攻撃で
混乱させられたのです

遠隔操作型のドローンである限り
この種の攻撃には弱いものです

つまりドローンは

意思決定の より多くの割合を
背負わなければならなくなるのです

ドローンは 作戦目的を把握し

人間の導きなしに
新しい状況に対応するようになるでしょう

ドローンは 外部からの
無線信号を無視し

自分側からは ほとんど
発信しなくなります

そして ここから—

３つ目の
最も強力に意思決定を

人から兵器へ移すように
促す要因が出てきます

それは
「まことしやかな関与否定」です

私たちは グローバル経済の
時代にいます

ハイテク製品の製造は
ほとんどの大陸で行われています

サイバー諜報戦の一環で
先進的設計を

様々な部品に隠しますが

このような環境では

ドローン設計が契約工場で模倣される
可能性が非常に高いのです

そして裏市場へと
拡散します

こんな状況では
自爆攻撃ドローンの残骸を

調査したところで

兵器で攻撃を仕掛けたのが
誰なのかわかりません

見えない敵との戦いが

非常に現実的な可能性として
浮かび上がります

地政学的なバランスを
180度変えてしまう可能性があり

国家が攻撃してきた相手へ反撃することを
非常に困難にします

これによって 21世紀において
防衛中心の考えから

攻撃中心の考えへと
重心が変わってしまうかもしれません

匿名での攻撃が可能になることで

小国家や 犯罪組織
民間企業

さらには有力な個人にさえ

軍事行動が有効な手段と
なりえるのです

これは 法の支配と市民社会の
土台を壊してしまい

群雄割拠の情勢を
作り出すかもしれません

責任と透明性は

代議制を支える
土台と言えるかもしれませんが

自律ロボット兵器は
その両方を弱体化させる可能性があります

みなさんは こう考えるかもしれません

ハイテク諸国の市民なら

ロボット戦争で優位に立っていて

これらの国の市民は
危険にさらされにくいと考えるかもしれません

特に途上国が相手なら
なおさらです

しかし 真実は全く逆だと思います

ハイテク社会の市民は

より大きく ロボット兵器の
危険にさらされています

この理由は １語に要約できます
「データ」です

データは ハイテク社会を
動かしています

携帯電話の位置情報
電話の会話から集められるメタデータ

ソーシャルメディア 電子メール
SMS 金融取引のデータ

交通機関や移動のデータなどです
これらは人々の活動や

社会的な交流を表す
膨大なリアルタイムデータの塊です

だから 私たちは
歴史上のどんな時代の人たちよりも

機械に行動が
筒抜けになっているのです

これは自律的兵器が標的を探すために
絶好のものとなります

いま画面に映っているのは

ある社会的集団が
どうつながっているか分析した図です

線は個人間の社会的な
つながりを示しています

現代人が日常的に残す
データの痕跡から

このような図を自動的に
生成することができます

この技術は通常は
人口動態で標的を割り出して

商品やサービスを販売するのに使われますが
諸刃の技術でもあります

標的を割り出す技術が
別の用途に使われるからです

赤色で表示されている
人たちがいますが これは

社会的なネットワークの
ハブとなっている人たちです

この人たちは 組織のまとめ役や
オピニオンメーカーやリーダーです

この人たちも
通信のパターンを追跡することで

自動的に見つけ出すことが可能です

マーケティング担当者なら

社会的グループに
ブランドを広めるために

製品サンプルを送る
標的にするでしょう

しかし もし抑圧的な政府で

政治上の敵となる相手を探しているなら
彼らは排除する標的となるでしょう

リーダーを抹殺し
社会的グループを混乱させ

そして 残されたグループの人たちは
社会的つながりや

組織を失ってしまいます

安いロボット兵器が
拡散するような世界になったら

遠くにいる政府反対派や

国際的犯罪組織に対し

国境はほとんど防衛線になりません

支持されて 変革を起こすような
扇動活動があれば

クリティカルマスに到達する前に
早期に検出されてしまい

指導者は排除される
ようになるでしょう

アイデアがクリティカルマスに
到達できる環境は

人民政府における
政治運動の全てと言ってもいいでしょう

正体不明の殺戮兵器があることで
あらゆる利害の対立において

殺害という選択が
簡単にできてしまうようになるでしょう

そして このことは
民主主義のまさに中核と言える

言論の自由や支持される政治的行動を
縮み上がらせることになります

これが 私たちに
ロボット兵器の国際条約が

必要な理由です
特に世界全体での

殺人ロボットの開発と配備を
禁止することが必要です

私たちにはすでに
核兵器と生物兵器に関する

国際条約があります
不完全ではありますが

条約は概ね
効力を発揮してきました

しかし ロボット兵器は 全ての点で
同じくらい危険なもので

ほぼ確実に
使われるようになるでしょう

そして 民主主義制度を
蝕むものになるでしょう

2012年11月に
米国防総省が

すべての殺害に関する
意思決定に

人間の介在を義務づける
命令を出しました

これによって ひとまずは
米軍の自律的兵器を事実上禁止しました

しかし その命令を
恒久化する必要があります

これが行われれば
世界が同じように行動する基準となりえます

ロボット兵器の
国際的な法的枠組みは

必要なものなのです

しかも 今必要なのです
壊滅的な攻撃が起きたり

テロ事件が起きたことが引き金となって
世界の国々が

ロボット兵器が招く
帰結を熟慮せずに

これらの兵器をこぞって採用するようになる前に
必要なのです

自律ロボット兵器を使うと

少数の手に 余りに大きな力が集中することになり
民主主義そのものを危うくしてしまうでしょう

でも 誤解しないでください
民生の非武装無人ドローンには

優れた用途が沢山
あると考えています

自然環境の観測や
捜索と救難 輸送などです

もし ロボット兵器の
国際条約があるとして

どのようにすれば自律無人機や
自律走行車の利便を享受しつつ

違法なロボット兵器に対して

身を守ることができるでしょうか？

成功の秘密は
透明性にあるはずです

公共の場所にいる限り
ロボットに—

プライバシーがあるなどと
思ってもらっては困ります

（拍手）

ロボットやドローンは
１体１体 全てが

工場出荷時に個体番号を
暗号技術で署名し

公共の場所での動きを
追跡できるようにするべきです

既に車にはナンバー プレートがあり
航空機には機体記号があります

ロボットも例外ではありません

公共の空間を移動している―

ドローンや自律走行車の
所在を示すアプリを

誰でもダウンロードできて
しかるべきです

現時点と過去の記録の両方を
把握可能にすべきです

市民のリーダーは
不正なドローンを探索する―

探知機や無人偵察機を
展開すべきです

そして 不正ドローンを撃墜する
攻撃ドローンを送りこむ代わりに

人間に ドローンが居ることを
知らせるべきです

高い安全性が求められる地域なら
不正ドローンを

市民のためのドローンが
捕獲して

爆弾処理施設へと
引っ張って行くこともできるでしょう

これは兵器システムというより
免疫システムということに

注意してください

こうすれば
自律走行車両やドローンを

人間側が利用しつつ

開かれた市民社会を
維持できます

私たちは 殺人ロボットの
開発と配備を

禁止する必要があります

戦争を自動化する誘惑に
負けないようにしましょう

独裁政府や犯罪組織は間違いなく
その魅力に屈するでしょうが

私たちは その同類に
ならないようにしましょう

自律ロボット兵器は

あまりにも強力な力を

ごくわずかな人の手に
集中させることになります

そして 民主主義制度を
蝕むものになるでしょう

民主主義のために
殺人ロボットは

フィクションだけのものに
しておきましょう

ありがとう

（拍手）

ありがとう
（拍手）