0:00:01.000,0:00:05.166
我要談一種我們很多人遭受的、直覺上的失誤。

0:00:05.480,0:00:08.520
那其實是一種使你無法察覺到特定種類危險的失誤。

0:00:09.360,0:00:11.096
我會描述一個情境

0:00:11.120,0:00:14.376
是我認為很可怕

0:00:14.400,0:00:16.160
而且很有機會發生的，

0:00:16.840,0:00:18.496
這不是很好的組合，

0:00:18.520,0:00:20.056
一如預期。

0:00:20.080,0:00:22.536
然而比起感到害怕，大部分的人會覺得

0:00:22.560,0:00:24.640
我正在說的東西有點酷。

0:00:25.200,0:00:29.966
我將會描述在人工智能領域我們的進展

0:00:30.000,0:00:31.776
如何能最終消滅我們。

0:00:31.800,0:00:34.590
事實上，我認為很難看出他們為何不會消滅我們

0:00:34.590,0:00:36.960
或者驅使我們消滅自己。

0:00:37.400,0:00:39.256
如果你是和我類似的人，

0:00:39.280,0:00:41.936
你會發現思考這類事情很有趣。

0:00:41.960,0:00:45.336
那種反應也是問題的一部分。

0:00:45.360,0:00:47.690
對嗎？那種反應應該讓你感到擔心。

0:00:47.920,0:00:50.576
如果我是打算在這個裡演講說服你，

0:00:50.600,0:00:54.016
我們很可能會遭受全球性的飢荒

0:00:54.040,0:00:57.096
無論是因為氣候變遷或某種大災難

0:00:57.120,0:01:00.536
而你的孫子們或者孫子們的孫子們

0:01:00.560,0:01:02.360
非常可能要這樣生活，

0:01:03.200,0:01:04.400
你不會覺得：

0:01:05.440,0:01:06.776
「有意思，

0:01:06.800,0:01:08.000
我喜歡這個 TED 演講。」

0:01:09.200,0:01:10.720
飢荒並不有趣。

0:01:11.800,0:01:15.176
另一方面來說，科幻式的死亡，是有趣的。

0:01:15.200,0:01:19.176
而現階段人工智能的發展讓最讓我擔心的是

0:01:19.200,0:01:23.296
我們似乎無法組織出一個適當的情緒反應，

0:01:23.320,0:01:25.136
針對眼前的威脅。

0:01:25.160,0:01:28.360
我無法組織出這個回應，所以我在這裡講這個。

0:01:30.120,0:01:32.816
就像我們站在兩扇門前面。

0:01:32.840,0:01:34.096
一號門後面，

0:01:34.120,0:01:37.416
我們停止發展「製造有智能的機器」。

0:01:37.440,0:01:41.456
我們的電腦硬體和軟體就因故停止變得更好。

0:01:41.480,0:01:44.480
現在花一點時間想想為什麼這會發生。

0:01:45.080,0:01:48.736
我的意思是，人工智能和自動化如此有價值，

0:01:48.760,0:01:52.280
我們會持續改善我們的科技，只要我們有能力做。

0:01:53.200,0:01:54.867
有什麼東西能阻止我們這麼做呢？

0:01:55.800,0:01:57.600
一場全面性的核子戰爭？

0:01:59.000,0:02:00.560
一場全球性的流行病？

0:02:02.320,0:02:03.640
一次小行星撞擊地球？

0:02:05.640,0:02:08.216
小賈斯汀成為美國總統？

0:02:08.240,0:02:10.520
（笑聲）

0:02:12.760,0:02:16.680
重點是：必須有什麼我們知道的東西會毀滅我們的文明。

0:02:17.360,0:02:21.656
你必須想像到底能有多糟

0:02:21.680,0:02:25.016
才能阻止我們持續改善我們的科技，

0:02:25.040,0:02:26.256
永久地，

0:02:26.280,0:02:28.296
一代又一代人。

0:02:28.320,0:02:29.650
幾乎從定義上，這就是

0:02:29.650,0:02:32.390
人類歷史上發生過的最糟的事。

0:02:32.390,0:02:33.816
所以唯一的替代選項，

0:02:33.840,0:02:36.070
這是在二號門之後的東西，

0:02:36.070,0:02:39.336
是我們繼續改善我們的智能機器

0:02:39.360,0:02:41.210
年復一年，年復一年。

0:02:41.720,0:02:45.360
到某個時間點我們會造出比我們還聰明的機器，

0:02:46.080,0:02:48.090
而我們一旦造出比我們聰明的機器，

0:02:48.090,0:02:50.696
它們就會開始改善自己。

0:02:50.720,0:02:53.300
然後我們承擔數學家 ij Good 稱為

0:02:53.300,0:02:55.256
「人工智能爆發」的風險，

0:02:55.280,0:02:57.280
那個過程會脫離我們的掌握。

0:02:58.120,0:03:00.936
這時常被漫畫化，如我的這張圖，

0:03:00.960,0:03:04.176
一種恐懼：充滿惡意的機械人軍團

0:03:04.200,0:03:05.456
會攻擊我們。

0:03:05.480,0:03:08.176
但這不是最可能發生的情境。

0:03:08.200,0:03:13.056
並不是說我們的機器會變得自然地帶有敵意。

0:03:13.080,0:03:15.696
問題在於我們將會造出

0:03:15.720,0:03:17.776
遠比我們更有競爭力的機器，

0:03:17.800,0:03:21.576
只要我們和他們的目標些微的歧異

0:03:21.600,0:03:22.800
就會讓我們被毀滅。

0:03:23.960,0:03:26.040
就想想我們和螞蟻的關係。

0:03:26.600,0:03:28.256
我們不討厭牠們。

0:03:28.280,0:03:30.336
我們不會特別去傷害牠們。

0:03:30.360,0:03:32.736
甚至有時我們為了不傷害牠們而承受痛苦。

0:03:32.760,0:03:34.776
我們在人行道跨越他們。

0:03:34.800,0:03:36.936
但當他們的存在

0:03:36.960,0:03:39.456
和我們的目標嚴重衝突，

0:03:39.480,0:03:41.901
譬如當我們要建造一棟和這裡一樣的建築物，

0:03:41.901,0:03:43.941
我們會毫無不安地除滅牠們。

0:03:44.480,0:03:47.416
問題在於有一天我們會造出機器，

0:03:47.440,0:03:50.176
無論他們是有意識或的者沒有意識的，

0:03:50.200,0:03:52.200
會對我們如螞蟻般的不予理會。

0:03:53.760,0:03:56.520
現在，我懷疑這對說法這裡大部分的人來說不著邊際。

0:03:57.360,0:04:03.696
我確信你們有些人懷疑超級人工智能出現的可能，

0:04:03.720,0:04:05.376
更別說它必然出現。

0:04:05.400,0:04:09.020
但接著你一點會發現接下來其中一個假設有點問題。

0:04:09.044,0:04:10.616
以下只有三個假設。

0:04:11.800,0:04:16.519
智能是關於資訊在物質系統裡處理的過程。

0:04:17.320,0:04:19.935
其實這個陳述稍微多於一個假設

0:04:19.959,0:04:23.416
我們已經在我們的機器裡安裝了有限的智能，

0:04:23.440,0:04:25.456
而很多這樣的機器已經表現出

0:04:25.480,0:04:28.120
某種程度的超人類智能。

0:04:28.840,0:04:31.416
而我們知道這個現象

0:04:31.440,0:04:34.056
可能導致被稱為「通用智能」的東西，

0:04:34.080,0:04:37.736
一種能跨多個領域彈性地思考的能力，

0:04:37.760,0:04:40.896
因為我們的腦已經掌握了這個，對吧？

0:04:40.920,0:04:44.856
我的意思是，裡面都只是原子，

0:04:44.880,0:04:49.376
而只要我們繼續製造基於原子的系統

0:04:49.400,0:04:52.096
越來越能表現智能的行為，

0:04:52.120,0:04:54.656
我們終究會，除非我們被打斷，

0:04:54.680,0:04:58.056
我們終究會造出通用智能

0:04:58.080,0:04:59.376
裝進我們的機器裡。

0:04:59.400,0:05:03.056
關鍵是理解到發展的速率無關緊要，

0:05:03.080,0:05:06.256
因為任何進展都足以帶我們到終結之境。

0:05:06.280,0:05:10.056
我們不需要摩爾定律才能繼續。我們不需要指數型的發展。

0:05:10.080,0:05:11.680
我們只需要繼續前進。

0:05:13.480,0:05:16.400
第二個假設是我們會繼續前進。

0:05:17.000,0:05:19.760
我們會持續改善我們的智能機器。

0:05:21.000,0:05:25.376
而因為智能的價值——

0:05:25.400,0:05:28.936
我的意思是，智能是所有我們珍視的事物的源頭

0:05:28.960,0:05:31.736
或者我們需要智能來保護我們珍視的事物。

0:05:31.760,0:05:34.016
智能是我們最珍貴的資源。

0:05:34.040,0:05:35.576
所以我們想要這麼做。

0:05:35.600,0:05:38.936
我們有許多亟需解決的問題。

0:05:38.960,0:05:42.160
我們想要治癒疾病如阿茲海默症和癌症。

0:05:42.960,0:05:46.896
我們想要了解經濟系統。我們想要改進我們的氣候科學。

0:05:46.920,0:05:49.176
所以我們會這麼做，只要我們可以。

0:05:49.200,0:05:52.486
火車已經出站，而沒有煞車可以拉。

0:05:53.880,0:05:59.336
最後一點，我們不站在智能的巔峰，

0:05:59.360,0:06:01.160
或者根本不在那附近。

0:06:01.640,0:06:03.536
而這真的是一種重要的洞察。

0:06:03.560,0:06:05.976
正是這個讓我們的處境如此危險可疑，

0:06:06.000,0:06:10.040
這也讓我們對風險的直覺變得很不可靠。

0:06:11.120,0:06:13.840
現在，想想這世界上活過的最聰明的人。

0:06:14.640,0:06:18.056
每個人的清單上幾乎都會有 約翰·馮·諾伊曼 。

0:06:18.080,0:06:21.416
我是指， 馮·諾伊曼 對他周圍的人造成的印象，

0:06:21.440,0:06:25.496
而這包括和他同時代最棒的數學家和物理學家，

0:06:25.520,0:06:27.456
被好好地記錄了。

0:06:27.480,0:06:31.256
只要有一半關於他的故事的一半是真的，

0:06:31.280,0:06:32.496
那毫無疑問

0:06:32.520,0:06:34.976
他是世界上活過的最聰明的人之一。

0:06:35.000,0:06:37.520
所以考慮智能的頻譜。

0:06:38.320,0:06:39.749
約翰·馮·諾伊曼 在這裡。

0:06:41.560,0:06:42.894
然後你和我在這裡。

0:06:44.120,0:06:45.416
然後雞在這裡。

0:06:45.440,0:06:47.376
（笑聲）

0:06:47.400,0:06:48.616
抱歉，雞應該在那裡。

0:06:48.640,0:06:49.896
（笑聲）

0:06:49.920,0:06:53.656
我實在無意把這個把這個演講弄得比它本身更讓人感到沮喪。

0:06:53.680,0:06:55.280
（笑聲）

0:06:56.339,0:06:59.816
智能的頻譜似乎勢不可擋地

0:06:59.840,0:07:02.960
往比我們能理解的更遠的地方延伸，

0:07:03.880,0:07:07.096
如果我們造出比我們更有智能的機器，

0:07:07.120,0:07:09.416
他們很可能會探索這個頻譜，

0:07:09.440,0:07:11.296
以我們無法想像的方式，

0:07:11.320,0:07:13.840
然後超越我們以我們無法想像的方式。

0:07:15.000,0:07:19.336
重要的是認識到這說法僅因速度的優勢即為真。

0:07:19.360,0:07:24.416
對吧？請想像如果我們造出了一個超級人工智能

0:07:24.440,0:07:30.186
它不比你一般在史丹佛或者 MIT 遇到的研究團隊聰明。

0:07:30.210,0:07:34.486
電子電路作用的速率比起生化作用快一百萬倍，

0:07:34.520,0:07:39.476
所以這個機器思考應該比製造它的心智快一百萬倍。

0:07:39.520,0:07:41.176
如果你設定讓它運行一星期，

0:07:41.200,0:07:45.760
他會執行人類等級的智能要花兩萬年的工作，

0:07:46.400,0:07:48.360
一週接著一週接著一週。

0:07:49.640,0:07:52.736
我們如何可能理解，較不嚴格地說，

0:07:52.760,0:07:55.040
一個達成如此進展的心智？

0:07:56.840,0:07:58.976
另一個另人擔心的事，老實說，

0:07:59.000,0:08:03.976
是想像最好的情況。

0:08:04.000,0:08:09.596
想像我們想到一個沒有安全顧慮的超級人工智能的設計

0:08:09.600,0:08:12.856
我們第一次就做出了完美的設計。

0:08:12.880,0:08:15.096
如同我們被給予了一個神諭，

0:08:15.120,0:08:17.136
完全照我們的預期地動作。

0:08:17.160,0:08:20.880
這個機器會是完美的人力節約裝置。

0:08:21.680,0:08:25.909
它能設計一個機器，那機器能製造出能做任何人工的機器，

0:08:25.920,0:08:27.376
太陽能驅動，

0:08:27.400,0:08:30.096
幾乎只需要原料的成本。

0:08:30.120,0:08:33.376
所以我們是在談人類苦役的終結。

0:08:33.400,0:08:36.200
我們也是在談大部分的智力工作的終結。

0:08:37.200,0:08:40.256
像我們一樣的猩猩在這種情況下會做什麼？

0:08:40.280,0:08:44.360
我們可能可以自由地玩飛盤和互相按摩。

0:08:45.840,0:08:48.696
加上一點迷幻藥和可議的服裝選擇，

0:08:48.720,0:08:50.896
整個世界都可以像在過火人祭典。

0:08:50.920,0:08:52.560
（笑聲）

0:08:54.320,0:08:56.320
那聽起來也許很不錯，

0:08:57.280,0:09:02.406
但請問，在我們目前的經濟和政治秩序下，會發生什麼事情？

0:09:02.440,0:09:04.856
我們很可能會見證

0:09:04.880,0:09:10.216
一種我們從未見過的財富不均和失業程度。

0:09:10.216,0:09:13.176
缺乏一種意願來把這份新財富馬上

0:09:13.200,0:09:14.680
放在服務全人類，

0:09:15.640,0:09:19.256
少數幾個萬億富翁能登上我們的財經雜誌

0:09:19.280,0:09:21.720
而其他人可以自由地選擇挨餓。

0:09:22.320,0:09:24.616
而俄國和中國會怎麼做？

0:09:24.640,0:09:27.256
當他們聽說矽谷的某個公司

0:09:27.280,0:09:30.016
即將部署一個超級人工智能，

0:09:30.040,0:09:32.896
這個機器能夠發動戰爭，

0:09:32.920,0:09:35.136
無論是領土侵略或者網路電子戰，

0:09:35.160,0:09:36.840
以前所未見的威力。

0:09:38.120,0:09:39.976
這是個贏者全拿的劇本。

0:09:40.000,0:09:43.136
在這個競爭領先六個月

0:09:43.160,0:09:45.936
等於領先五十萬年，

0:09:45.960,0:09:47.456
最少。

0:09:47.480,0:09:52.216
所以即使僅僅是這種突破的謠言

0:09:52.240,0:09:54.616
都能使我們這個種族走向狂暴。

0:09:54.640,0:09:57.536
現在，最讓人驚恐的事情，

0:09:57.560,0:10:00.336
在我的看法，在這個時刻，

0:10:00.360,0:10:04.656
是人工智慧研究者說的那類話

0:10:04.680,0:10:06.560
當他們試著表現得讓人安心。

0:10:07.000,0:10:10.456
而最常用來告訴我們現在不要擔心的理由是時間。

0:10:10.480,0:10:12.536
這還有很長的路要走，你不知道嗎，

0:10:12.560,0:10:15.000
起碼還要 50 到 100 年。

0:10:15.720,0:10:16.976
一個研究人員曾說，

0:10:17.000,0:10:18.576
「憂心人工智慧安全

0:10:18.600,0:10:20.880
如同憂心火星人口爆炸。」

0:10:22.116,0:10:23.736
這是矽谷版本的

0:10:23.760,0:10:25.840
「別杞人憂天。」

0:10:25.840,0:10:27.496
（笑聲）

0:10:27.520,0:10:29.416
似乎沒人注意到

0:10:29.440,0:10:32.056
以時間當參考

0:10:32.080,0:10:34.656
是一個不合理的推論。

0:10:34.680,0:10:37.936
如果智能只是關於資訊的處理，

0:10:37.960,0:10:40.616
而我們持續改善我們的機器，

0:10:40.640,0:10:43.520
我們會製作出某種形式的超級智能。

0:10:44.320,0:10:47.976
而且我們不知道要花我們多長的時間

0:10:48.000,0:10:50.400
來創造安全地這麼做的條件。

0:10:52.200,0:10:53.496
讓我再說一次，

0:10:53.520,0:10:57.336
我們不知道要花我們多長的時間

0:10:57.360,0:10:59.600
來創造安全地這麼做的條件。

0:11:00.920,0:11:04.376
而且如果你還沒注意到， 50 年已經不像以前的概念。

0:11:04.400,0:11:06.856
這是 50 年以月來表示

0:11:06.880,0:11:08.720
這是我們有了 iPhone 的時間。

0:11:09.440,0:11:12.040
這是《辛普森家庭》在電視上播映的時間。

0:11:12.680,0:11:15.056
50 年不是那麼長的時間

0:11:15.080,0:11:18.240
來面對對我們這個種族來說最巨大的挑戰之一。

0:11:19.640,0:11:23.656
再一次說，我們似乎無法產生適當的情緒反應

0:11:23.680,0:11:26.376
對應我們有所有的理由相信將發生的事。

0:11:26.400,0:11:30.376
資訊科學家斯圖亞特·羅素有個很好的比喻。

0:11:30.400,0:11:35.296
他說，想像我們收到一則外星文明的訊息，

0:11:35.320,0:11:37.016
寫道：

0:11:37.040,0:11:38.576
「地球的人們，

0:11:38.600,0:11:40.960
我們 50 年內會到達你們的星球。

0:11:41.800,0:11:43.376
作好準備。」

0:11:43.400,0:11:47.656
而現在我們只是在倒數外星母艦還剩幾個月登陸？

0:11:47.680,0:11:50.680
我們會比我們現在稍微感到緊迫。

0:11:52.680,0:11:54.536
另一個我們被告知不用擔心的原因

0:11:54.560,0:11:57.576
是這些機器不得不和我們有一樣的價值觀

0:11:57.600,0:12:00.216
因為他們字面上只是我們的延伸。

0:12:00.240,0:12:02.056
它們會被植入我們的大腦裡，

0:12:02.080,0:12:04.440
而我們基本上變成他們大腦的邊緣系統。

0:12:05.120,0:12:06.536
現在用一點時間想想

0:12:06.560,0:12:09.736
這最安全而且唯一謹慎的往前的路，

0:12:09.760,0:12:11.096
被推薦的，

0:12:11.120,0:12:13.920
是將這個科技植入我們的腦內。

0:12:14.600,0:12:17.976
這也許的確是最安全而且唯一謹慎的往前的路，

0:12:18.000,0:12:21.056
但通常科技的安全性問題對一個人來說

0:12:21.080,0:12:24.736
應該在把東西插到你腦袋裡之前就該大部分解決了。

0:12:24.760,0:12:26.776
（笑聲）

0:12:26.800,0:12:32.136
更深層的問題是，打造超級人工智能本身

0:12:32.160,0:12:33.896
似乎相對容易於

0:12:33.920,0:12:35.776
「打造超級人工智慧

0:12:35.800,0:12:37.576
而且擁有完整的神經科學

0:12:37.600,0:12:40.280
讓我們可以把我們的心智無縫與之整合」。

0:12:40.800,0:12:43.976
而假設正在從事人工智能研發的許多公司和政府

0:12:44.000,0:12:47.656
很可能察覺他們正在和所有其他人競爭，

0:12:47.680,0:12:50.936
假設贏了這個競爭就是贏得世界，

0:12:50.960,0:12:53.416
假設你在下一刻不會毀了世界，

0:12:53.440,0:12:56.056
那麼很可能比較容易做的事

0:12:56.080,0:12:57.280
就會先被做完。

0:12:58.560,0:13:01.220
現在，很不幸地，我沒有這個問題的解決方法，

0:13:01.220,0:13:03.640
除了建議我們更多人思考這個問題。

0:13:03.640,0:13:06.270
我想我們需要類似曼哈頓計畫的東西，

0:13:06.270,0:13:08.410
針對人工智能這個課題。

0:13:08.410,0:13:10.790
不是因為我們不可避免地要這麼做而做，

0:13:10.790,0:13:14.616
而是試著理解如何避免軍備競賽

0:13:14.640,0:13:18.136
而且用一種符合我們利益的方式打造之。

0:13:18.160,0:13:22.356
當你在談論能夠對其本身造成改變的超級人工智能

0:13:22.600,0:13:27.216
這似乎說明我們只有一次機會把初始條件做對，

0:13:27.240,0:13:29.296
而且我們會必須承受

0:13:29.320,0:13:32.360
為了將它們做對的經濟和政治的後果

0:13:33.760,0:13:35.816
但一旦我們承認

0:13:35.840,0:13:39.840
資訊處理是智能的源頭，

0:13:40.720,0:13:45.520
某些適當的電腦系統是智能的基礎，

0:13:46.360,0:13:50.120
而且我們承認我們會持續改進這些系統，

0:13:51.280,0:13:55.736
而且我們承認認知的極限有可能遠遠超越

0:13:55.760,0:13:56.960
我們目前所知，

0:13:58.120,0:13:59.336
然後我們必須承認

0:13:59.360,0:14:02.000
我們正在打造某種神明的過程裡

0:14:03.400,0:14:04.976
現在是個好時機

0:14:05.000,0:14:06.953
來確保那是個我們能夠與之共存的神明。

0:14:08.120,0:14:09.656
謝謝大家。