文明如何自我毀滅 一免於毀滅的四種方法

哲學家尼克．博斯特倫說：「人類正在創造一個『黑球』：一項可能把我們全都摧毀的突破性科技。」在這段和 TED 負責人克里斯．安德森精闢、出人意料輕鬆的談話中，博斯特倫勾勒出如果（或何時）當發明的急劇惡化變得無法控制時，是人類要面臨自身的脆弱性—他探索我們如何可在未來趨避滅亡。

克里斯．安德森：尼克．博斯特倫。
你已經給了我們好多瘋狂的點子。

我想，幾十年前，

你提出我們都可能
生活在模擬世界當中，

或者是真的。

最近，

你利用最生動的例子
說明了通用人工智慧

可能出現嚴重的問題。

當前，

你準備出版

一篇論文，說明所謂
「脆弱世界的假設」。

今晚，我們要跟大家說明它。

咱們開始吧！

那個假設是什麼？

尼克．博斯特倫：它就是嘗試去考慮

目前人類狀況的結構性特徵。

你喜歡甕的比喻吧，

這就讓我用它來說明好了。

想像一個大甕，裡面裝滿了小球，

小球代表理念、方法、潛在的科技。

你可以把人類創意的歷史，

想像成將手伸入這個甕，
把球逐個拿出來的過程，

到目前為止的淨效應是非常好。

我們已經取出了許多白球，

和一些不同深淺灰色的球：
表示好壞參半。

目前我們還沒有拿出黑球來——

黑球代表是一種科技，
無可避免毀滅發明它的文明。

所以，這篇論文是在試圖
思考黑球可能會是什麼。

克：所以你把它定義為

勢必造成毀滅文明的小球。

尼：除非我們能夠離開
我所謂的默認半無政府狀態。

但我們在這常態中。

克：所以，你說服大家

是提出一些反例，

從中你相信我們目前很走運，

還未在不知不覺中

拿到這個死球。

你的一句引述，是什麼？

尼：它的本意是要說明

很難從基本的發現
預測將來會導致什麼後果。

我們其實就是沒有能力。

因為我們很擅長把球拿出來，

卻沒有能力把球放回甕中。

我們可以發明，但卻無法反發明。

看樣子，我們的策略應該是

期望甕中沒有黑球。

克：所以，一旦把黑球拿出來，
就是不能放回去，

你認為我們運氣很好。

就跟我們談幾個例子吧。

你曾說過有不同類型的脆弱性。

尼：最容易理解的類型，

要算容易造成

大量破壞的科技。

合成生物學新穎的想法
可能產出許多毀滅性的黑球，

但也有許多其他可能性——

想想很棒的地球工程吧！

我們能夠對抗全球暖化，

但也不能太容易，

你不想要任何一個人，甚至自己的祖母

都可以改變地球的氣候。

甚或是致命的自主無人機，

在大量生產像蚊子般大小、
成群的機器殺手。

也包括奈米技術和通用人工智慧。

克：在論文中，你認為

當我們發現可用核能製造炸彈時，

那是一場運氣，

本來也有可能變成是

用唾手可得的簡單資源

可製造炸彈。

尼：是的，回想 30 年代，

我們在核子物理學的領域上，
第一次有重大的突破，

有些天才發現，
有辦法可以製造核能連鎖反應，

接著，他們發現這種技術
可以用來製作炸彈。

我們再盡了一些努力，

結果發現，要製造出一顆核彈，

需要的是高度濃縮的鈾或鈽，

這些是非常難得的材料。

你會需要超高速的離心機，

也需要反應爐，類似大量的能源。

但若果換成

用一種簡單的方法
就可以將原子能量釋放。

好像將沙子放到微波爐中加熱，

那般容易的方法，

你就可以製造核爆炸。

現在我們知道那是不可能的。

但未經相關物理學驗證之前，

你又如何知道結果？

克：你為什麼不主張

在地球上生命的演化，

需要有某種穩定的環境；

若相對容易就能
製造出大規模的核反應，

地球就不可能穩定，

我們不可能存活至今。

尼：是的，除非很容易
刻意地去做某種事，

但那不會偶然發生。

我們很容易做一些事，

比如可能把十塊積木疊起來，

但在大自然中，你不會
看到十塊東西疊在一起。

克：好，那可能是我們許多人

最擔心的事，

那合成生物學可能是

讓我們在不遠的將來
到達那裡的最快途徑。

尼：是的，所以，
想想這意味著什麼。

比如，人人在自己的廚房，
花上一個下午的時間，

就能摧毀一個城市。

很難想像我們的現代文明，

在這種情況下能存活。

因為，在任何一百萬人口中，

一定會有些人，
不論出於什麼理由，

選擇使用具毀滅性的力量。

如果那末世餘孽

選擇摧毀一個城市，糟糕的是

那城市真的被摧毀了。

克：所以，這是另一種脆弱。

跟我們談談這個吧！

尼：所以，除了
這幾類明顯的黑球

有可能會把很多東西炸掉之外，

其他類型的運作方式
會創造不良的動機，

驅使人類去做有害的事。

所以，我們所謂的 2a 類別，

就是思想有些科技能夠激勵大國

去使用他們強大的力量造成毀滅。

核武就非常接近這一類吧﹗

我們所做的是花超過十兆美元

建造七萬個核子彈頭，

全處在一觸即發的警戒狀態。

在冷戰期間曾經有好幾次，

幾乎就要把彼此毀掉。

非因許多人認為這是個好點子，

咱們就花十兆美元把自己毀掉，

但激勵我們的，是我們發現

還未發生更糟糕的事情。

想像一下，若有人為自保
不顧一切先開戰。

那就可能會非常難搞了，

在危難的情況中，

很難阻止他們發射
所有的核子飛彈。

但你也害怕另一方可能會同樣做。

克：是的，相互制衡的毀滅

讓冷戰狀況變得相對穩定，

我們現在才可在這裡。

尼：原本的情況是更壞。

科技的其他特性，

可能影響更難簽定這個武器條約，

比如用的不是核武，

而是更小或更不顯眼的武器。

克：除強大的執行者外、

你擔心所有人都會有不良誘因：
這就是 2b 類型。

尼：是的，這方面
可以用全球暖化當例子。

有很多小小的便利，

讓我們每個人都很容易做這些事情，

單獨來看，並沒有顯著的影響吧﹗

但當數十億人都這麼做時，

日積月累，就產生破壞性的影響。

全球暖化的情況，
可能比本來的更糟。

所以，我們有氣候敏感度參數。

這個參數代表的是，
你釋放的溫室氣體

與氣溫上升成正比。

但假設發生的狀況是，

我們釋放了這麼大量的溫室氣體，

比如，溫度並沒有在 2100 年
預計的範圍內上升 3 ~ 4.5 度，

假如是跳升至 15 或 20 度。

那我們就糟糕了。

又假設可再生能源計劃，
比預期的更難實現。

或者是地底下有更多的化石燃料。

克：你可否抗辯以下的情況——

如果我們現在的行為

在我們能預見的期間
造成了 10 度的差距，

那人類就會醒覺為此做點事。

我們是笨的，但也未必那麼笨。

克：也許是。
尼：我就不敢賭。

（笑聲）

可以想像其他特徵。

目前，有點難轉換到
可再生能源或其它東西，

但這是可行的。

本來是有可能，
但若物理學上有些微的不同，

要做到這些事，就可能會昂貴許多。

克：尼克，你的看法是否認為，
把這些可能性結合起來，

包括這個地球、我們人類，
就算是個脆弱的世界嗎？

也可以算是未來的一顆死亡黑球嗎？

尼：這很難說。

我認為在甕中會有幾個不同的黑球，

看起來是這樣。

可能也會有一些金球，

能協助保護我們，對抗黑球。

我不知道這些球
會以什麼順序出現。

克：對這個想法，
可能會有一種哲學上的批評，

觀點就是，未來的情況，
基本上是已經定了。

黑球有就有，沒有就沒有。

在某種意義上，

我並不想要相信這種未來的觀點。

我相信未來是尚未被決定的，

我們現今的取向會決定

我們從甕中取出哪種球。

尼：如果我們持繼創造和發明，

我們最終會把所有的球都取出來。

我認為科技決定論有種較弱的形式，

是滿有道理的，

像是，你不太可能會遇到一個社會

會同時使用燧石斧和噴射機。

但你幾乎可以把一項科技
想成是一組功能。

所以，科技能讓我們去做各種事，
在世上達成不同效果。

當然，如何使用它
就是人類的選擇了。

但我們想想這三種類型的弱點，

苐一個假設的脆弱性，
是選擇如何使用科技。

所以，這個脆弱的地方，
是在於巨大力量的毀滅性，

假設在數百萬人中，

有人利用科技作毀滅性用途，

這是我們人類相當薄弱的一環。

克：對我來說最受不了的論點，

就是我們覺得這個甕裡面的東西，

很可能意味著我們會完蛋。

也就是說，如果你相信科技的加速力，

也就是科技加速的本質，

我們建造這些讓我們更強大的工具，

導致某人某時可能

把我們全部拖垮，

讓我們陷入已經完蛋的窘境。

這樣的論點不是一個警訊嗎？

尼：嗯，沒錯。

（笑聲）

我覺得——

沒錯，我們的力量越來越強大，

運用這些力量也越容易，

但也可發明一些科技，

幫助我們控制人們
如何運用這些力量。

克：我們聊聊如何應對吧。

假設現有的所有可能性——

不只是合成生物學，
其他像是網路戰、

人工智慧等等——

在未來可能帶來嚴重性的毀滅。

又有哪些應對的方法呢？

你也提到了四個可能的應對方法。

尼：限制科技發展，似乎用處不大，

或無條件停止科技發展。

甚至於我們有能力做到，
都不可能實現。

有少數幾個領域，

你或許會希望科技的發展
來得慢一點。

我覺得，你不會希望生物武器，

或同位素分離技術，

促成核子武器的，加快的發展。

克：我以前完全支持這個論點。

但我想反思一下。

首先，就過去至少數十年的歷史來看，

科技一直是以全速發展。

只是我們的選擇而已。

但如果你加速全球化的情形，

以「快速行動，
打破成規」的策略來看，

是發生了什麼事，

接著再看看合成生物學的潛力，

我不知道我們是否應該
無限制地快速前進，

造就每個家庭和高中實驗室

都擁有一部 DNA 印表機的世界。

限制還是應該存在的。

尼：或者第一部分是不可行。

如果你認為應該要阻止它，

那就存在可行性的問題。

所以如果只有一個國家
是沒有幫助——

克：我同意，

但我們之前是有條約約束的。

經歷了痛苦的談判過程，

讓我們在核武的威脅下仍然存活。

我只想知道，邏輯是:

作為全球的優先事項，

我們不是應該試著，

比方說，就合成生物研究
的方向做談判，

這不是你想要的民主化東西嗎？

尼：我完全同意——

可取的方法是，比方說，

或許不是每個實驗室
都有一台 DNA 合成的機器，

而是用服務的形式存在。

或許你把數位基因模型寄到四五處，

就可收到合成的基因圖譜了。

這樣一來，你有能力，
在萬一有需要的話，

就可以加以制約。

所以我認為應該要找到一些

能夠有效控制的特殊方法。

克：基本上你的信念是對的，

但只用拖後腿的方法，不會成功。

某地某人——在北韓——

如果在那裡發現一些知識，

如果能找到的話。

尼：就目前是有可能的。

也不單單是合成生物學。

出現任何一種深邃的新改變

都可能成為黑球。

克：且談另一個應對吧﹗

尼：這個應對方法的潛力也有限。

回到第一型的脆弱去，

如果你可以減少毀滅世界的人數，
那受激動的人，只能接觸

良善的方式和通道，
是不錯的做法。

克：你要求我們製作的這張圖，

設想是擁有臉部辨識能力的
無人機在全世界飛行。

當它們偵測到某些人
有反社會行為的跡象，

給他們沐浴以愛，

導正他們。

尼：我想這是一幅混合圖。

消除可以意味著監禁，或是殺戮，

也可以解釋成說服他們

欣賞那美好的世界。

重點是，假設這個做法非常成功，

把這些人的數量減少了一半。

如果你想用說服的方法，

那就是抗衡其他強大力量，

也同樣嘗試說服民眾、團體、
宗教和教育體系。

假設你能成功減少一半人數，

但我也不認為風險會減半。

也許只是百分之五或十。

克：你不建議我們把人性的未來

押在第二個應對方法上。

尼：我認為阻止或說服人們
是沒有問題的，

但我們不應該以此

作唯一的保障。

克：應對三呢？

尼：一般來說可有兩種方法，

用在穩定世界、
填補可能發生的漏洞。

兩個方法都可能用到。

其中一個極度有效地

執行防範及維安的任務。

這就可以阻止出現差錯。

如果有人從事危害的行動，

就可以在第一時間阻止他們。

這需要全面性的監控，

所有人無時無刻都被監視著。

克：在某種形式上，
就像電影『關鍵報告』。

尼：你可能用人工智能演算法、

在大型的自由中心
來檢視這些東西等等。

克：你知道大規模監控這個詞

現在不太受歡迎。

（笑聲）

尼：這個小型裝置，

想像你要一直戴著這種

配備多角度攝影機的項鍊。

但為了讓它更容易被大眾接受，

稱它為「自由標記」之類。

（笑聲）

克：好的。

各位，對談就是這樣，

可以出現這段驚嚇的對話。

尼：針對這個議題
明顯地就有一場大討論。

有很大的問題跟風險存在吧﹗

我們可回頭再談。

另外一個穩定世界的方法，
在某種程度上

填補了治理差距。

監控治理差距，就是在微觀層面上，

防範有人做出極端的違法行為。

相對地，在巨觀層面，
也就是世界層面上，

也存在治理差距。

你需要有可靠的能力

來防止全球最壞的一種——
協調上的失敗，

避免大國的互相爭鬥、

軍備競賽、災難性的公共問題，

來處理 2a 型的弱點。

克：全球治理是個
已經退流行的名詞了，

但你能夠提出充分的理由來說明

在人類的歷史上，
每個提升科技力量的階段

人們都會重組及集中權力。

比方說，如果有一個四處犯案的集團

有機會掌控社會，

你有一個民族國家，

權力集中在警察或軍隊上，

然後說：「你們不能這麼做。」

其中的邏輯或許就是，

當個人或群體在人性抹滅的時候，

意味著在某個時點，
至少在某個層面上

不是得走上這條路嗎？

尼：這完全正確，政治組織的規模

在人類歷史上是持續成長的。

以前是獵人、採集者的群體，

然後是酋邦、城邦、國家，

現在則有國際組織，諸如此類。

我想重申一次，藉著這個機會強調

大規模監控和全球治理

都有很明顯的缺點，

也確實有巨大的風險。

我想強調的重點是

若夠幸運的話，

這些是我們能唯一

撐過黑球出現的方法。

克：這個理論的邏輯

對我來說似乎是

我們得認知是我們不能大小通吃。

我想說很多人都有
那些天真的夢，

以為科技永遠是股正面的力量，

持續向前，永不停歇，

可用全速前進，

而忽略了造成的後果，

這些後果肯定會發生。

我們當然可以全力發展科技。

但如果我們這麽做的話，
就得接受一些令人難受的後果。

就好比我們的軍備競賽，

如果你想要權力，
就要想辦法，去控制如何使用它。

尼：我認為這是一條路，
一條很誘人的路，

某種意義上，是一條最好走
又容易成功的路，

但也表示我們基本上
可能抽到黑球的脆弱性。

好，我覺得透過協調，

例如你解決了巨觀治理

和微觀治理的問題，

我們就可以從甕裡抽出所有的小球，

並獲得很大的好處。

克：我是說，就算我們生活在
一個模擬世界當中，也沒關係吧﹗

重開機就好了。

（笑聲）

尼：那 ··· 我 ···

（笑聲）

我倒是沒想到這個。

克：那你的想法是什麼？

總括來看，你覺得我們
完蛋的機率有多大？

（笑聲）

我喜歡大家對我這問題的笑聲。

尼：以單一個體，
我們無論如何都會完蛋，

是早晚的問題罷了。

身體凋零、老化和發生其他事情。

（笑聲）

問題有點棘手。

要假設能夠計算機率的情境，

首先要問我們是誰？

如果你很老的話，很可能自然死亡，

如果你很年輕，
你可能有 100 年生命——

機率跟詢問對象有關。

然後是閾值，例如怎樣
才算是文明毀滅了？

在我這篇論文裡面，
不一定要確實的災難，

才計算這種情況。

這只是定義的問題，
例如十億人死亡，

或是 GDP 下降 50%，

但是根據你所設定的閾值，
你會得到不同的估計機率。

我想你可以笑我
是一個被嚇壞的樂天派。

（笑聲）

克：的確是，

而且你還把另外一大群人嚇壞了。

（笑聲）

尼：在模擬情境當中。

克：在模擬情境當中。

尼克．博斯特倫，
你的想法讓我吃驚。

非常感謝你
把我們嚇得屁滾尿流。

（掌聲）