WEBVTT

00:00:00.570 --> 00:00:04.777
我和一群數學家、 哲學家、
及電腦科學家一起工作。

00:00:04.777 --> 00:00:09.986
我們坐在一起
思考機器智慧的未來。

00:00:09.986 --> 00:00:12.030
以及其他問題。

00:00:12.030 --> 00:00:16.755
有些人可能認為
這是科幻小說的範疇，

00:00:16.755 --> 00:00:19.856
離我們很遙遠，很瘋狂。

00:00:19.856 --> 00:00:21.326
但是我要說，

00:00:21.326 --> 00:00:24.930
好，我們來看看
現代人類的狀況....

00:00:24.930 --> 00:00:26.622
(觀眾笑聲)

00:00:26.622 --> 00:00:29.024
這是人類的常態。

NOTE Paragraph

00:00:29.024 --> 00:00:31.309
但如果我們仔細想想，

NOTE Paragraph

00:00:31.309 --> 00:00:36.135
其實人類是剛剛才抵達地球的訪客

00:00:36.135 --> 00:00:41.430
假設地球在一年前誕生，

00:00:41.430 --> 00:00:44.978
人類這個物種則僅存在了10分鐘。

00:00:44.978 --> 00:00:48.152
工業革命在2秒鐘前開始。

00:00:48.656 --> 00:00:54.501
另外一個角度是
看看這一萬年來的GDP增長

00:00:54.501 --> 00:00:57.530
我花了時間作了張圖表，

00:00:57.530 --> 00:00:59.304
它長這個樣子

00:00:59.304 --> 00:01:00.667
(觀眾笑聲)

00:01:00.667 --> 00:01:02.818
對一個正常的狀態來說
這是個很有趣的形狀。

00:01:02.818 --> 00:01:04.516
我可不想要坐在上面。

00:01:04.516 --> 00:01:07.067
(觀眾笑聲)

NOTE Paragraph

00:01:07.067 --> 00:01:11.841
我們不禁問自己：
「是什麼造成了這種異態呢?」

00:01:11.841 --> 00:01:14.393
有些人會說是科技

00:01:14.393 --> 00:01:19.061
這是對的，
科技在人類歷史上不斷累積，

00:01:19.061 --> 00:01:23.713
而現在科技正以飛快的速度進步。

00:01:23.713 --> 00:01:25.278
這個是近因，

00:01:25.278 --> 00:01:27.843
這也是為什麼
我們現在的生產力很高。

00:01:28.473 --> 00:01:32.134
但是我想要進一步
回想到最終的原因

NOTE Paragraph

00:01:33.114 --> 00:01:36.880
看看這兩位非常傑出的紳士：

NOTE Paragraph

00:01:36.880 --> 00:01:38.480
這位是坎茲先生

00:01:38.480 --> 00:01:43.123
他掌握了200個詞彙，
這是一個難以置信的壯舉。

00:01:43.123 --> 00:01:46.817
以及 愛德 維騰，
他掀起了第二次超弦革命。

00:01:46.817 --> 00:01:49.141
如果我們往腦袋瓜裡面看，
這是我們看到的：

00:01:49.141 --> 00:01:50.711
基本上是一樣的東西。

00:01:50.711 --> 00:01:52.524
一個稍微大一點，

00:01:52.524 --> 00:01:55.282
它可能有一些特別的連結方法。

00:01:55.282 --> 00:01:59.094
但是這些無形的差異不會太複雜，

00:01:59.094 --> 00:02:03.379
因為從我們共同的祖先以來，

00:02:03.379 --> 00:02:05.749
只經過了25萬代。

00:02:06.019 --> 00:02:08.960
我們知道複雜的機制
需要很長的時間演化。

00:02:10.000 --> 00:02:12.499
因此 一些相對微小的變化

00:02:12.499 --> 00:02:15.566
將我們從坎茲先生變成了維騰，

00:02:15.566 --> 00:02:20.739
從撿起掉落的樹枝當武器
到發射洲際彈道飛彈

NOTE Paragraph

00:02:20.739 --> 00:02:24.774
因此，顯而易見的是
至今我們所實現的所有事

00:02:24.774 --> 00:02:26.952
以及我們關心的所有事物，

00:02:26.952 --> 00:02:31.850
都取決於人腦中相對微小的改變。

00:02:32.650 --> 00:02:36.312
由此而來的推論就是：在未來，

00:02:36.312 --> 00:02:39.789
任何能顯著地改變思想基體的變化

00:02:39.789 --> 00:02:42.991
都有可能會帶來巨大的後果。

NOTE Paragraph

00:02:44.321 --> 00:02:47.226
我的一些同事覺得我們即將發現

00:02:47.226 --> 00:02:51.134
足以深刻的改變思想基體的科技

00:02:51.134 --> 00:02:54.347
那就是超級機器智慧

00:02:54.347 --> 00:02:59.086
以前的人工智慧是
將指令輸入到一個箱子裡。

00:02:59.086 --> 00:03:00.751
你需要程式設計師

00:03:00.751 --> 00:03:03.886
精心的將知識設計成指令。

00:03:03.886 --> 00:03:05.972
你建立這些專門系統，

00:03:05.972 --> 00:03:08.296
這些系統在某些特定的領域中有點用，

00:03:08.296 --> 00:03:10.977
但是它們很生硬，
你無法延展這些系統。

00:03:10.977 --> 00:03:14.410
基本上這些系統所輸出的東西
僅限於你事先輸入的範圍。

00:03:14.410 --> 00:03:15.407
但是從那時起，

00:03:15.407 --> 00:03:18.874
人工智慧的領域裡發生了模式的轉變。

NOTE Paragraph

00:03:18.874 --> 00:03:21.644
現在主要的課題是機器的學習。

00:03:22.394 --> 00:03:27.781
因此，與其設計知識的表現及特點，

00:03:28.511 --> 00:03:34.065
我們寫出具有學習原始感官數據
的能力的程式碼。

00:03:34.065 --> 00:03:39.063
基本上和嬰兒所做的是一樣的。

00:03:39.063 --> 00:03:43.270
結果就是不侷限於
某個領域的人工智慧 --

00:03:43.270 --> 00:03:47.901
同一個系統可以學習
在任何兩種語言之間翻譯

00:03:47.901 --> 00:03:53.338
或者學著玩雅達利系統上
的任何一款遊戲。

00:03:53.338 --> 00:03:55.117
現在當然

00:03:55.117 --> 00:03:59.116
人工智慧到現在
還未能達到像人類一樣

00:03:59.116 --> 00:04:02.335
具有強大的跨領域的學習能力。

00:04:02.335 --> 00:04:04.461
人類大腦還具有一些運算技巧

00:04:04.461 --> 00:04:06.816
我們不知道如何將這些技巧
複製到機器中。

NOTE Paragraph

00:04:07.886 --> 00:04:09.785
所以現在需要問的是：

00:04:09.785 --> 00:04:13.285
我們還要多久才能
在機器裡面複製這些技巧?

00:04:14.245 --> 00:04:15.328
在幾年前，

00:04:15.328 --> 00:04:18.216
我們對世界頂尖的人工智慧專家
做了一次問卷調查，

00:04:18.216 --> 00:04:21.440
想要看看他們的想法， 
其中的一個題目是：

00:04:21.440 --> 00:04:24.793
"到哪一年你覺得
人類會有50%的機率

00:04:24.793 --> 00:04:28.275
能夠達成人類級的人工智慧？"

00:04:28.785 --> 00:04:32.968
我們把人類級的人工智慧
定義為有能力

00:04:32.968 --> 00:04:35.839
將任何任務至少執行得
像一名成年人一樣好，

00:04:35.839 --> 00:04:39.844
所以是真正的人類級別,
而不是僅限於某些領域。

00:04:39.844 --> 00:04:43.494
而答案的中位數是2040或2050年

00:04:43.494 --> 00:04:46.300
取決於我們問的專家屬於什麼群體。

00:04:46.300 --> 00:04:50.339
當然，這個有可能過很久才實現，
也有可能提早實現

00:04:50.339 --> 00:04:52.279
沒有人知道確切的時間。

NOTE Paragraph

00:04:53.259 --> 00:04:58.631
我們知道的是，
機器基體處理資訊能力的最終界限

00:04:58.631 --> 00:05:02.542
比生物組織的界限要大的多。

00:05:03.241 --> 00:05:05.619
這取決於物理原理。

00:05:05.619 --> 00:05:10.337
一個生物神經元發出脈衝的頻率
可能在200赫茲，每秒200次。

00:05:10.337 --> 00:05:13.931
但就算是現在的電晶體
都以千兆赫(GHz)的頻率運轉。

00:05:13.931 --> 00:05:19.228
神經元在軸突中傳輸的速度
比較慢，頂多是每秒100公尺。

00:05:19.228 --> 00:05:22.339
但在電腦裡面，信號是以光速傳播的。

00:05:23.079 --> 00:05:24.948
另外還有尺寸的限制

00:05:24.948 --> 00:05:27.975
就像人類的大腦
必需要放得進顱骨內。

00:05:27.975 --> 00:05:32.736
但是一部電腦可以
跟倉庫一樣大，甚至更大。

00:05:32.736 --> 00:05:38.335
因此超級智慧的潛能
現在正潛伏在物質裡面，

00:05:38.335 --> 00:05:44.047
就像是原子能
在人類的歷史中一直潛伏著，

00:05:44.047 --> 00:05:48.452
耐心的等著，一直到1945年。

00:05:48.452 --> 00:05:49.700
在這個世紀內，

00:05:49.700 --> 00:05:53.818
科學家有可能會
將人工智慧的力量喚醒。

00:05:53.818 --> 00:05:57.826
屆時我覺得我們會
見證到智慧的大爆發。

NOTE Paragraph

00:05:58.406 --> 00:06:02.363
大部分的人，當他們在想
什麼是聰明什麼是愚笨的時候，

00:06:02.363 --> 00:06:05.386
我想他們腦中浮現出的畫面
會是這樣的：

00:06:05.386 --> 00:06:07.984
在一邊是村裡的傻子，

00:06:07.984 --> 00:06:10.467
然後在另外一邊

00:06:10.467 --> 00:06:15.223
是 愛德 維騰 或愛因斯坦，
或你喜歡的某位大師。

00:06:15.223 --> 00:06:19.057
但是我覺得從人工智慧的觀點來看，

00:06:19.057 --> 00:06:22.738
真正的畫面應該比較像這樣子：

00:06:23.258 --> 00:06:26.636
人工智慧從這一點開始，零智慧

00:06:26.636 --> 00:06:29.647
然後，在許多許多年
辛苦的研究以後，

00:06:29.647 --> 00:06:33.491
我們可能可以達到
老鼠級的人工智慧，

00:06:33.491 --> 00:06:35.921
它可以在凌亂的環境中找到路

00:06:35.921 --> 00:06:37.908
就像一隻老鼠一樣。

00:06:37.908 --> 00:06:42.221
然後，在更多年的辛苦研究
及投資了很多資源之後，

00:06:42.221 --> 00:06:46.860
我們可能可以達到
黑猩猩級的人工智慧。

00:06:46.860 --> 00:06:50.070
然後，在更加多年的辛苦研究之後，

00:06:50.070 --> 00:06:52.983
我們達到村莊傻子級別的人工智慧。

00:06:52.983 --> 00:06:56.255
然後過一小會兒後，
我們就超越了愛德維騰。

00:06:56.255 --> 00:06:59.225
這列火車並不會
在人類村這一站就停車。

00:06:59.225 --> 00:07:02.247
它比較可能會直接呼嘯而過。

NOTE Paragraph

00:07:02.247 --> 00:07:04.231
這個具有深遠的寓意，

00:07:04.231 --> 00:07:08.093
特別是在談到權力的問題。

00:07:08.093 --> 00:07:09.992
舉例來說，黑猩猩很強壯 --

00:07:09.992 --> 00:07:15.214
以體重比例來說， 一隻黑猩猩
比一個健康的男性人類要強壯兩倍。

00:07:15.214 --> 00:07:19.828
然而，坎茲和他朋友們的命運
則很大的部分取決於

00:07:19.828 --> 00:07:23.968
人類的作為，
而非黑猩猩們自己的作為。

00:07:25.228 --> 00:07:27.542
當超級智慧出現後，

00:07:27.542 --> 00:07:31.381
人類的命運可能會取決於
超級智慧的作為。

00:07:32.451 --> 00:07:33.508
想想看：

00:07:33.508 --> 00:07:38.552
機器智慧將會是人類所需要作出的
最後一個發明。

00:07:38.552 --> 00:07:41.525
從那之後機器將會比人類更會發明，

00:07:41.525 --> 00:07:44.065
他們也將會在"數位時間"裡
做出這些事。

00:07:44.065 --> 00:07:48.966
這意味著未來到來的時間將被縮短。

00:07:48.966 --> 00:07:52.524
想想那些我們曾經想像過的瘋狂科技

00:07:52.524 --> 00:07:55.322
人類可能在有足夠的時間下
可以發明出來：

00:07:55.322 --> 00:07:58.580
防止衰老、殖民太空、

00:07:58.580 --> 00:08:02.311
自行複製的奈米機器人，
或將我們的頭腦上載到電腦裡，

00:08:02.311 --> 00:08:04.470
這一些僅存在科幻小說範疇，

00:08:04.470 --> 00:08:07.207
但同時還是符合物理法則的東西

00:08:07.207 --> 00:08:11.419
超級智慧有辦法開發出這些東西，
而且速度可能很快。

NOTE Paragraph

00:08:12.449 --> 00:08:16.007
這麼成熟的超級智慧

00:08:16.007 --> 00:08:18.186
將會非常的強大，

00:08:18.186 --> 00:08:22.732
最少在某些場景它將有辦法
得到它想要的東西。

00:08:22.732 --> 00:08:28.393
這樣以來我們的未來就將會
被這個超級智慧的偏好所影響。

00:08:29.855 --> 00:08:33.604
現在出現了一個好問題，
這些偏好是什麼呢？

00:08:34.244 --> 00:08:36.013
這個問題更棘手。

00:08:36.013 --> 00:08:37.448
要在這個領域往前走，

00:08:37.448 --> 00:08:40.724
我們必須避免
將機器智慧擬人化(人格化)。

00:08:41.934 --> 00:08:45.235
這一點很諷刺因為
每一篇關於未來的人工智慧

00:08:45.235 --> 00:08:49.090
的報導都會有這張照片：

00:08:50.280 --> 00:08:54.414
所以我覺得我們必須要
更抽象的來想像這個議題，

00:08:54.414 --> 00:08:57.204
而非以好萊塢的鮮明場景來想像。

NOTE Paragraph

00:08:57.204 --> 00:09:00.821
我們需要把智慧看做是
一個優化的過程，

00:09:00.821 --> 00:09:06.470
一個將未來指引到
特定的組態的過程。

00:09:06.470 --> 00:09:09.981
一個超級智慧
是一個很強大的優化過程。

00:09:09.981 --> 00:09:14.098
它將很會利用現有資源

00:09:14.098 --> 00:09:16.007
去達到達成目標的狀態。

00:09:16.447 --> 00:09:19.119
這意味著有著高智慧以及

00:09:19.119 --> 00:09:21.853
擁有一個對人類來說
是有意義的目標之間

00:09:21.853 --> 00:09:26.515
並沒有必然的聯繫。

NOTE Paragraph

00:09:27.321 --> 00:09:31.115
假設我們給予人工智慧的目標
是讓人類笑。

00:09:31.115 --> 00:09:34.097
當人工智慧比較弱時，
它會做出有用的或是好笑的動作

00:09:34.097 --> 00:09:36.614
以讓使用者笑出來。

00:09:36.614 --> 00:09:39.031
當人工智慧演化成超級智慧的時後，

00:09:39.031 --> 00:09:42.554
它會體認到有更有效的方法
可以達到這個目標：

00:09:42.554 --> 00:09:44.476
控制這個世界

00:09:44.476 --> 00:09:47.638
然後在人類的臉部肌肉上連接電級

00:09:47.638 --> 00:09:50.579
以使這個人不斷的微笑。

00:09:50.579 --> 00:09:51.614
另外一個例子，

00:09:51.614 --> 00:09:54.997
假設我們給人工智慧的目標是
解出一個非常困難的數學問題。

00:09:54.997 --> 00:09:56.934
當人工智慧變成超級智慧時，

00:09:56.934 --> 00:10:01.105
它會體認到最有效的方法是

00:10:01.105 --> 00:10:04.035
把整個地球轉化成
一部超大號的電腦，

00:10:04.035 --> 00:10:06.281
進而增加它自己的運算能力。

00:10:06.281 --> 00:10:09.045
注意到這個模式
會給人工智慧理由去做

00:10:09.045 --> 00:10:11.561
我們可能不認可的事情。

00:10:11.561 --> 00:10:13.496
在這個模型裡面人類是威脅，

00:10:13.496 --> 00:10:16.417
我們可能會在解開數學問題
的過程中成為阻礙。

NOTE Paragraph

00:10:17.207 --> 00:10:20.701
當然，在我們可預見的範圍內，
事情不會以這種方式出錯；

00:10:20.701 --> 00:10:22.454
這些是誇大的例子。

00:10:22.454 --> 00:10:24.393
但是它指出的概念很重要：

00:10:24.393 --> 00:10:27.266
如果你創造了一個
非常強大的優化流程

00:10:27.266 --> 00:10:29.500
要最大化目標X，

00:10:29.500 --> 00:10:31.776
你最好確保你對目標X的定義

00:10:31.776 --> 00:10:34.245
包含了所有你所在意的事情。

00:10:34.835 --> 00:10:39.219
這也是在很多神話故事中
教導的寓意。

00:10:39.219 --> 00:10:44.517
希臘神話中的米達斯國王希望
他碰到的所有東西都可以變成金子。

00:10:44.517 --> 00:10:47.378
他碰到了他的女兒， 
她變成了黃金。

00:10:47.378 --> 00:10:49.931
他碰到了他的食物，
他的食物也變成了黃金。

00:10:49.931 --> 00:10:52.520
這實際上跟我們的題目有關，

00:10:52.520 --> 00:10:54.590
不僅僅是對貪婪的隱喻，

00:10:54.590 --> 00:10:56.485
但也指出了如果你創造了
一個強大的優化流程

00:10:56.485 --> 00:10:59.322
但同時給了它
不正確或不精確的目標後

00:10:59.322 --> 00:11:04.111
會發生什麼事。

NOTE Paragraph

00:11:04.111 --> 00:11:09.300
你可能會說，如果電腦系統
開始在人臉上安裝電極，

00:11:09.300 --> 00:11:11.565
我們可以直接把他關掉就好了。

00:11:12.555 --> 00:11:17.895
一、這並不一定容易做到，如果我們
已經對這個系統產生依賴性 ——

00:11:17.895 --> 00:11:20.627
比如：你知道網際網路的開關在哪裡嗎？

00:11:20.627 --> 00:11:25.747
二、為什麼黑猩猩當初
沒有把人類的開關關掉？

00:11:25.747 --> 00:11:27.298
或是尼安德特人？

00:11:27.298 --> 00:11:29.964
他們有很明顯的理由要這麼做，

00:11:29.964 --> 00:11:32.759
而我們的開關就在這裡：

00:11:32.759 --> 00:11:34.313
(窒息聲)

00:11:34.313 --> 00:11:37.238
原因是人類是很聰明的敵人；

00:11:37.238 --> 00:11:39.966
我們可以預見威脅
並為其做出準備。

00:11:39.966 --> 00:11:42.470
但一個超級智慧也會，

00:11:42.470 --> 00:11:45.724
而且它的能力將比我們強大的多。

00:11:45.724 --> 00:11:52.911
我想要說的一點是，我們不應該
覺得一切都在我們的掌握之中。

NOTE Paragraph

00:11:52.911 --> 00:11:56.358
我們可能可以藉由
把AI放到一個盒子裡面

00:11:56.358 --> 00:11:57.948
來給我們更多的掌握，

00:11:57.948 --> 00:11:59.744
就像是一個獨立的軟體環境，

00:11:59.744 --> 00:12:02.766
一個AI無法逃脫的虛擬實境。

00:12:02.766 --> 00:12:06.912
但是我們有多大的信心
這個AI不會找到漏洞？

00:12:06.912 --> 00:12:10.081
就算只是人類駭客，
他們還經常找出漏洞。

00:12:10.081 --> 00:12:13.117
我想我們不是很有信心。

00:12:14.237 --> 00:12:18.785
那所以我們把網路線拔掉，
製造一個物理間隙，

00:12:18.785 --> 00:12:21.453
但同樣的，就算只是人類駭客

00:12:21.453 --> 00:12:24.834
也經常可以利用社交工程陷阱
來突破物理間隙。

00:12:24.834 --> 00:12:26.093
現在，在我在台上說話的同時

00:12:26.093 --> 00:12:28.482
我確定在世界的某一個角落裡
有一名公司職員

00:12:28.482 --> 00:12:31.828
才剛剛被自稱來自IT部門
的人士說服(詐騙)

00:12:31.828 --> 00:12:34.574
並交出了她的帳戶信息。

NOTE Paragraph

00:12:34.574 --> 00:12:36.701
更天馬行空的狀況也可能會發生，

00:12:36.701 --> 00:12:38.016
就像是如果你是AI，

00:12:38.016 --> 00:12:41.548
你可以想像藉由擺動你體內的電路

00:12:41.548 --> 00:12:45.010
然後創造出無線電波，
用以與外界溝通。

00:12:45.010 --> 00:12:47.434
或這你可以假裝有故障，

00:12:47.434 --> 00:12:50.931
然後當程式設計師
把你打開檢查哪裡出錯時，

00:12:50.931 --> 00:12:52.867
他們找出了原始碼 --梆--

00:12:52.867 --> 00:12:55.314
你可以在此做出操控。

00:12:55.314 --> 00:12:58.744
或這它可以做出一個
很巧妙的科技藍圖，

00:12:58.744 --> 00:13:00.142
當我們實施這個藍圖後，

00:13:00.142 --> 00:13:04.539
它會產生一些AI計劃好的
秘密副作用。

00:13:04.539 --> 00:13:08.002
寓意是我們不能
對我們控制人工智慧的能力

00:13:08.002 --> 00:13:11.810
具有太大的信心

00:13:11.810 --> 00:13:14.064
它終究會逃脫出來，
只是時間問題而已。

NOTE Paragraph

00:13:15.034 --> 00:13:18.137
我覺得解方是我們需要弄清楚

00:13:18.137 --> 00:13:23.161
如何創造出一個超級智慧， 
哪怕是它逃出來了，

00:13:23.161 --> 00:13:26.438
它還是安全的，
因為它是站在我們這一邊的

00:13:26.438 --> 00:13:28.337
因為它擁有了我們的價值觀。

00:13:28.337 --> 00:13:31.547
我們沒有辦法避免這個艱難的問題。

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
但是我覺得我們可以解決這個問題。

00:13:36.391 --> 00:13:40.294
我們並不需要把
我們在乎的所有事物寫下來，

00:13:40.294 --> 00:13:43.937
或更麻煩的把這些事物
寫成電腦程式語言

00:13:43.937 --> 00:13:45.391
像是 C++或 Python，

00:13:45.391 --> 00:13:48.158
這是個不可能完成的任務。

00:13:48.158 --> 00:13:52.455
與其，我們可以創造出
一個人工智慧，它用它自己的智慧

00:13:52.455 --> 00:13:55.226
來學習我們的價值觀，

00:13:55.226 --> 00:14:00.506
它的激勵機制要設計成
會讓它想要

00:14:00.506 --> 00:14:05.738
來追求我們的價值觀或者
去做它認為我們會贊成的事情。

00:14:05.738 --> 00:14:09.152
藉此我們可以最大化地
利用到它們的智慧

00:14:09.152 --> 00:14:11.897
來解決這個價值觀的問題。

NOTE Paragraph

00:14:12.727 --> 00:14:14.239
這個是有可能的，

00:14:14.239 --> 00:14:17.835
而且這個的結果
可對人類是非常有益的。

00:14:17.835 --> 00:14:21.792
但是它不會自動發生。

00:14:21.792 --> 00:14:24.790
如果我們需要控制
這個智慧的大爆炸，

00:14:24.790 --> 00:14:27.653
那智慧大爆炸的初始條件

00:14:27.653 --> 00:14:31.183
需要被正確的建立起來。

00:14:31.183 --> 00:14:33.801
人工智慧的價值觀
要和我們的一致，

00:14:33.801 --> 00:14:35.561
並不只是在常見的狀況下，

00:14:35.561 --> 00:14:37.999
比如我們可以
很簡單低檢查它的行為，

00:14:37.999 --> 00:14:41.233
但也要在未來所有人工智慧
可能會遇到的情況下

00:14:41.233 --> 00:14:42.790
保持價值觀的一致。

NOTE Paragraph

00:14:42.790 --> 00:14:47.527
還有很多深奧的問題需要被解決：

00:14:47.527 --> 00:14:49.616
它們決策概念的所有細節，

00:14:49.616 --> 00:14:52.480
它如何面對解決
邏輯不確定性的情況等問題。

00:14:53.330 --> 00:14:56.432
所以技術上待解決的問題

00:14:56.432 --> 00:14:57.545
讓這個任務看起來蠻難的 --

00:14:57.545 --> 00:15:00.925
還沒有像做出一個超級智慧
那樣的難，

00:15:00.925 --> 00:15:03.793
但還是挺難的。

00:15:03.793 --> 00:15:05.488
我們所擔心的是：

00:15:05.488 --> 00:15:10.172
創造出一個超級智慧
是一個很難的挑戰。

00:15:10.172 --> 00:15:12.720
創造出一個安全的超級智慧

00:15:12.720 --> 00:15:15.136
是一個更大的挑戰。

00:15:16.216 --> 00:15:19.703
最大的風險在於
有人想出了如何解決第一個難題

00:15:19.703 --> 00:15:22.704
但是沒有解決第二個問題

00:15:22.704 --> 00:15:24.605
來確保安全性萬無一失。

NOTE Paragraph

00:15:25.375 --> 00:15:28.706
所以我覺得我們應該先想出

00:15:28.706 --> 00:15:31.528
如何"控制"的方法。

00:15:31.528 --> 00:15:34.188
這樣當我們需要的時候
我們可以用的到它。

00:15:34.768 --> 00:15:38.275
現在也許我們無法
完全解決「控制」的問題

00:15:38.275 --> 00:15:41.299
因為有時候你要了解
你所想要控制的架構後

00:15:41.299 --> 00:15:45.296
你才能知道如何實施。

00:15:45.296 --> 00:15:48.676
但是如果我們可以
事先解決更多的難題

00:15:48.676 --> 00:15:52.766
我們順利的進入到
機器智能時代的機率

00:15:52.766 --> 00:15:54.306
就會更高。

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
這對我來說是一個值得挑戰的事情

00:15:58.950 --> 00:16:02.282
而且我能想像到如果一切順利的話，

00:16:02.282 --> 00:16:06.940
我們的後代，幾百萬年以後的人類
回顧我們這個時代的時候

00:16:06.940 --> 00:16:10.942
他們可能會說我們
所做的最重要的事就是

00:16:10.942 --> 00:16:12.509
把這個事情弄對了。

NOTE Paragraph

00:16:12.509 --> 00:16:14.198
謝謝

NOTE Paragraph

00:16:14.198 --> 00:16:17.011
(觀眾掌聲)