人工知能が人間より高い知性を持つようになったとき何が起きるか？

人工知能は飛躍的に知的になっています。ある研究は今世紀中に人工知能の知性が人間並みになると示唆しています。「機械の知性は人類が発明する必要のある最後のものになる」とニック・ボストロムは言います。哲学者であり技術の研究者でもある彼は、我々が構築しつつある考える機械が動かす世界のことをよく考えるよう求めています。我々の作り出す知的な機械は人類とその価値を守る助けとなるのでしょうか、それともそれ自身の思惑を持つようになるのでしょうか？

私は沢山の数学者や哲学者や
コンピュータ科学者といっしょにやっていますが

よく話題にすることに

機械の知性の未来
というのがあります

そんなのは現実離れした
SFの世界の

馬鹿げた話だと
考える人もいます

でも現在の人間の状態
というものについて

ちょっと考えてみて
ほしいのです

(笑)

これが普通の状況とされています

しかし考えてみれば

人間というのは
この地球に

ごく最近現れた
客に過ぎません

地球ができたのが
１年前だったとしたら

人間がいたのは
10分間だけで

工業化時代が始まったのは
２秒前です

このことの別な見方として
過去１万年における世界のGDPを考えてみましょう

私は実際グラフにしてみたんですが

こんな感じになります

(笑)

正常な状態のものとしては
興味深い形です

この上に乗っていたいとは
あまり思いません

(笑)

この現在における例外的な状態の
原因を考えてみましょう

それはテクノロジーのためだ
という人もいるでしょう

それはその通りで 人類の歴史を通じて
テクノロジーは蓄積され続け

現在ではテクノロジーの進歩が
非常に速くなっています

それがおおよその答えで

現在の我々の高い生産性を
もたらしているものです

しかしもっと突っ込んで
究極の原因を探ってみたいと思います

この非常に際だった２人を
ご覧ください

カンジは

200の字句をマスターしています
すごいことです

エドワード・ウィッテンは
超弦理論の第２の革命の立役者です

中身を覗いてみれば
そこにあるのはこれで

基本的には同じものです

一方がすこしばかり大きく

配線のされ方にも より巧妙なところが
あるかもしれませんが

その違いはさほど
複雑なものではないはずです

我々は共通の祖先から

25万世代しか
隔たっていませんが

複雑なメカニズムが進化するのには
とても長い時間がかかることが分かっています

比較的小さな変化の
沢山の積み重ねが

カンジとウィッテンを

あるいは木切れと大陸間弾道弾を
隔てているものなのです

これで明らかになるのは
人類が達成したこと

気にかけていることすべては

人間の心を作り出した比較的小さな変化によって
生じたということです

それはまた
思考の基質を

はっきり変えるような
さらなる変化は

極めて大きな結果をもたらしうる
ということでもあります

私の研究仲間の間には
この思考の基質を本質的に変えうるものに

人類は今直面していると
考えている人もいます

それは超知的な機械です

人工知能というのはかつては
コマンドを詰め込んだ箱のようなものでした

人間のプログラマーが
苦労して

個々の知識項目を
手作りしていました

そうやってエキスパート・システムを作り

ある種の用途には
役立ちましたが

融通が効かず
拡張性を欠いていました

基本的には入れたものが
出てくるだけです

しかしその後

人工知能の世界で
パラダイムシフトが起きました

現在 機械学習の周辺で
非常に興味深いことが起きています

知識的な機能や表現を
手作りする代わりに

生の知覚データから
自ら学習するアルゴリズムを作るのです

基本的には人間の子供と同じことを
機械がするわけです

結果としてできるのは
１つの領域に限定されない人工知能です

どんな言語間の翻訳でも
できるシステムとか

アタリのゲーム機用のどんなゲームでも
プレイしてしまうシステムとか

もちろん
人工知能はまだ

多様な領域のことを
学び構想できる

人間の脳の強力さには
遠く及びません

大脳皮質にはまだ
機械で対抗する方法の見当もつかないような

アルゴリズム的仕掛けがあります

問題は そういう仕掛けに

機械が対抗するようになる日が
いつ来るのかということです

２年ほど前に

世界の人工知能の専門家にアンケートを取って
考えを聞いたんですが

その時の質問の１つが

「機械の知性が人間並みのレベルに
到達する可能性が

50%あるのはいつか？」
というものでした

ここでの「人間並み」の定義は

ほとんどの作業を大人の人間と
同じくらいにこなせる能力ということで

特定の領域に関してということではなく
本当に人間並みということです

回答の中央値は
2040年か2050年で

質問をした専門家のグループによって
若干違いました

それが起きるのはずっと遅いかもしれないし
ずっと早いかもしれません

本当のところは
誰にも分かりません

しかし分かっているのは
機械の基質による情報処理能力の限界は

生物組織の限界の
遙か先にあるということです

これは単純に物理の問題です

神経の発火頻度は200ヘルツ
毎秒200回ほどですが

現在のトランジスタでさえ
ギガヘルツで動いています

神経伝達は軸索をゆっくり伝わり
せいぜい毎秒100メートルですが

コンピュータの信号は
光速で伝わります

大きさの点でも制限があります

人間の脳は頭蓋骨の中に
収まる必要がありますが

コンピュータの大きさは倉庫のサイズか
もっと大きくもできます

だから超知的な機械の可能性は
休眠状態にあるのです

ちょうど原子の力が
1945年に目覚めるまで

人類の歴史を通じて
休眠状態にあったのと同じように

この世紀中に

科学者達は人工知能の力を
目覚めさせるかもしれません

私たちは知性の爆発を目の当たりに
することになるかもしれません

頭の良し悪しの尺度というと
多くの人は

こんなものを
イメージするのではと思います

一方の端に間抜けな人間がいて

遙か彼方の別の極端にいるのが

ウィッテンとかアインシュタインです
誰でもお気に入りの天才を置いてください

しかし人工知能という
観点を加えると

実際のイメージは
たぶんこんな感じになるでしょう

人工知能は
知性のない状態からスタートして

長年の努力の後に

いつかネズミ並みの知性に
到達できるかもしれません

雑然とした環境中を
ネズミのように

目的地へと
移動できる能力です

さらに長年に渡る
多くの努力と投資の末に

いつかチンパンジー並みの知性に
到達できるかもしれません

そこからさらに
長年の大きな努力を重ねて

間抜けな人間のレベルの
人工知能ができます

それから少しばかり後に
エドワード・ウィッテンを越えます

この列車は人間レベルで
止まりはしません

むしろ一瞬で
通り過ぎるでしょう

これには特に
力関係という点で

重大な意味があります

たえとば チンパンジーというのは
強いものです

体重換算すると チンパンジーは
体力に優れた成人男性の倍の力があります

それでもカンジや
その仲間達の運命は

チンパンジー達自身よりは
人間の手に握られています

超知的な機械が出現したら

人類の運命は超知的な機械に
握られることになるかもしれません

そのことを考えてみてください

機械の知性は
人類がする必要のある最後の発明です

機械が人間よりも
うまく発明をするようになり

しかもデジタルの時間尺度で
進歩することでしょう

それが意味するのは
未来が短縮されるということです

人類が遠い未来に
実現するかもしれない

夢のようなテクノロジーについて
考えてください

老化を止めるとか
宇宙への移民

自己増殖ナノボットや
意識のコンピュータへのアップロードなど

SFっぽいけれど

物理法則には
反していないものです

超知的な機械が そういったものを
あっさり開発してしまうかもしれません

超知的な機械は
そのような高度な技術によって

非常に大きな力を持ち

シナリオ次第では 望むものを何でも
手に入れるようになるかもしれません

そうすると人類の未来は人工知能が好む通りに
形作られることになります

ここで問題は その好むことが
何かということです

話しがややこしくなってきますが

この議論を進める上では

何より擬人化を
避けなければなりません

皮肉なのは
未来の人工知能を取り上げる記事で

必ず出てくるのが
こんな写真だということです

私たちはこの問題を
ハリウッドの鮮明なシナリオに沿ってではなく

もっと抽象的に
考える必要があります

我々は知性を
未来を特定の状態へと舵取りしていく

最適化プロセスとして
捉える必要があります

超知的な機械は
非常に強力な最適化プロセスです

利用可能な手段を使って
目的が充たされた状態を達成することに

極めて長けています

この意味での
高い知性を持つことと

人間が価値や意味を認める
目的を抱くことの間には

必ずしも関係がありません

人間を笑顔にさせるという目的を
人工知能に与えたとしましょう

弱い人工知能は
人が見て笑うような

何か可笑しいことを
するでしょう

人工知能が
超知的になったなら

この目的を達するには
もっと効果的なやり方があることに気付くでしょう

世界をコントロールし

人間の表情筋に
電極を差し込んで

笑い顔が持続するようにするんです

別の例として

人工知能に難しい数学の問題を解くことを
目的として与えたとします

人工知能が超知的になったら

この問題を解くための
最も効果的な方法は

地球を巨大なコンピュータに変えて

思考能力を増大させることだと
考えるかもしれません

このような目的は
人工知能に対して

人間が認めないような行為をする動機を
与えうることに注意してください

このモデルにおいては

人間は人工知能にとって数学的問題を解くのを妨げる
邪魔者になりうるのです

もちろん物事がこの筋書き通りに
まずいことに陥ることはないでしょう

これはあくまで
戯画化した例です

しかしこの一般的な論点は重要です

目的Ｘに向けて最大化を行う

強力な最適化プロセスを
作るときには

Ｘの定義が自分の気にかける
その他すべてのことに

問題を生じないか
よく確認する必要があります

これは伝説が教える
教訓でもあります

ミダス王は自分の触るものすべてが
金になることを望みました

娘に触れば
娘が金に変わり

食べ物に触れば
食べ物が金に変わりました

これが本当に
問題になるかもしれません

単なる強欲を諫める
メタファーとしてではなく

強力な最適化プロセスを作って

間違った あるいは
まずく定義された目的を与えたときに

何が起きるかを
示すものとしてです

コンピュータが人の顔に
電極を差し始めたら

単にスイッチを切ればいいと
思うかもしれません

(A) そのシステムに依存するようになったとき
スイッチを切ることは難しくなります

たとえばの話 インターネットのスイッチは
どこにあるのでしょう？

(B) チンパンジーはなぜ人間のスイッチを
オフにしなかったんでしょう？

あるいはネアンデルタール人は？

彼らにはそうすべき理由が
あったことでしょう

人間を切るスイッチはあります
たとえはここに

(うぐぅ)

その理由は人間が
知的な相手だからです

人間は危険を予期して
回避することができます

そしてそれは超知的な機械にも
できるだろうことで

しかも人間よりずっと
上手くできることでしょう

我々は制御できるはずだと
高をくくらない方がよいということです

この問題をもう少し簡単にして

人工知能を逃げ出すことのできない

安全なソフトウェア環境や

仮想現実シミュレーションの中に閉じ込める
というのでもいいかもしれません

しかし人工知能がシステムの欠陥を見つけたりしないと
自信を持てるでしょうか？

ただの人間のハッカーでさえ
年中バグを見つけていることを思えば

あまり自信は持てないでしょう

ではネットワークケーブルを抜いて
エアギャップを作ればどうか？

これにしたって人間のハッカーが
ソーシャルエンジニアリングによって

エアギャップを越えるということが
たびたび起きています

私が話をしているこの瞬間にも

きっとどこかの社員が

情報管理部門から来たという人間に

アカウントの情報を教えるよう
仕向けられていることでしょう

もっと奇想天外なシナリオだって
考えられます

たとえば人工知能が

内部回路にある電極の
振動で発生した

電波を使って
通信をするとか

あるいは人工知能が故障を装って

プログラマーが調べようと中を開け

ソースコードを見たところで
バーン！

操作してしまうとか

あるいはすごく洗練された
技術の設計図を出して

人間がそれを実装してみると

そこには人工知能が潜ませていた
密かな副作用があるとか

要は我々は高度に知的な魔神を

いつまでも壺に閉じ込めておけるとは
思わない方がよいということです

遅かれ早かれ
出口を見つけ出すことでしょう

この問題への答えは
非常に知的な人工知能を

それが逃げ出しても
危険がないように作るということ

人間と同じ価値観を持っていて

人間の側に立つように作る
ということだと思います

この難しい問題を
避けて通ることはできません

私はこの問題は
解決できると楽観しています

私たちが気にかける
あらゆることを書き出し

さらにはC++やPythonのような
プログラミング言語で

厳密に定義することは
望みがないくらい難しいことでしょうが

そうする必要はないと思います

自らの知性を使って
人間が価値を置くことを

学び取る人工知能を
作ればよいのです

人間の価値を追求し
人間がよしとすることを予測して行動するような

動機付けのシステムを
持たせるのです

そうやって価値付けの
問題を解くために

人工知能の知性を
可能な限り活用するのです

これは可能なことで

人類にとって
とても好ましい結果をもたらします

しかし自動的に
起きるわけではありません

知性爆発が人間の制御下で
起きるようにするためには

初期条件を正しく

設定する必要があります

人工知能の価値観を人間の価値観と
合ったものにする必要があります

人工知能が適切に行動しているか
容易に確認できるような

分かりやすい状況だけでなく

将来のいつか人工知能が出会うかもしれない
あらゆる新奇な状況において

そうなる必要があります

それから解決しなければならない
難解な問題がいろいろあります

決定理論の正確な詳細

論理的不確定性をどう扱うか
といったことです

だからこれを機能させるために
解くべき技術的問題は

とても難しいものです

超知的な人工知能を作ること自体ほど
難しくはないにしても

かなり難しいことです

ひとつ懸念すべきことがあります

超知的な人工知能を作るのは
非常に難しいことで

超知的な人工知能を
安全なものにするのは

その上にさらなる問題を
重ねることになりますが

危険があるのは
誰かが安全を確保するという

２番目の問題を解決することなく

最初の問題を解く方法を見つける
ということです

だから私たちは
この制御の問題を

前もって解決しておくべきだと思います

そうすれば必要になったときに
すぐ使えます

制御の問題のすべてを前もって解決することは
できないかもしれません

ある部分は実装される
アーキテクチャの詳細が

明かになって初めて
可能になるかもしれません

しかし前もって制御の問題の
より多くの部分が解かれているほど

機械知性の時代への移行が
うまくいく見込みは

高くなるでしょう

これはやるに値することだと
私には思えます

私には想像できます
すべてがうまくいった暁に

百万年後の人類が
この世紀を振り返って

私たちがした本当に重要なことが
何かあるとすれば

それはこの問題を
正しく解決したことだと言うのを

ありがとうございました

(拍手)