[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.57,0:00:04.78,Default,,0000,0000,0000,,我和一群數學家、 哲學家、\N及電腦科學家一起工作。
Dialogue: 0,0:00:04.78,0:00:09.99,Default,,0000,0000,0000,,我們坐在一起\N思考機器智慧的未來。
Dialogue: 0,0:00:09.99,0:00:12.03,Default,,0000,0000,0000,,以及其他問題。
Dialogue: 0,0:00:12.03,0:00:16.76,Default,,0000,0000,0000,,有些人可能認為\N這是科幻小說的範疇，
Dialogue: 0,0:00:16.76,0:00:19.86,Default,,0000,0000,0000,,離我們很遙遠，很瘋狂。
Dialogue: 0,0:00:19.86,0:00:21.33,Default,,0000,0000,0000,,但是我要說，
Dialogue: 0,0:00:21.33,0:00:24.93,Default,,0000,0000,0000,,好，我們來看看\N現代人類的狀況....
Dialogue: 0,0:00:24.93,0:00:26.62,Default,,0000,0000,0000,,(觀眾笑聲)
Dialogue: 0,0:00:26.62,0:00:29.02,Default,,0000,0000,0000,,這是人類的常態。
Dialogue: 0,0:00:29.02,0:00:31.31,Default,,0000,0000,0000,,但如果我們仔細想想，
Dialogue: 0,0:00:31.31,0:00:36.14,Default,,0000,0000,0000,,其實人類是剛剛才抵達地球的訪客
Dialogue: 0,0:00:36.14,0:00:41.43,Default,,0000,0000,0000,,假設地球在一年前誕生，
Dialogue: 0,0:00:41.43,0:00:44.98,Default,,0000,0000,0000,,人類這個物種則僅存在了10分鐘。
Dialogue: 0,0:00:44.98,0:00:48.15,Default,,0000,0000,0000,,工業革命在2秒鐘前開始。
Dialogue: 0,0:00:48.66,0:00:54.50,Default,,0000,0000,0000,,另外一個角度是\N看看這一萬年來的GDP增長
Dialogue: 0,0:00:54.50,0:00:57.53,Default,,0000,0000,0000,,我花了時間作了張圖表，
Dialogue: 0,0:00:57.53,0:00:59.30,Default,,0000,0000,0000,,它長這個樣子
Dialogue: 0,0:00:59.30,0:01:00.67,Default,,0000,0000,0000,,(觀眾笑聲)
Dialogue: 0,0:01:00.67,0:01:02.82,Default,,0000,0000,0000,,對一個正常的狀態來說\N這是個很有趣的形狀。
Dialogue: 0,0:01:02.82,0:01:04.52,Default,,0000,0000,0000,,我可不想要坐在上面。
Dialogue: 0,0:01:04.52,0:01:07.07,Default,,0000,0000,0000,,(觀眾笑聲)
Dialogue: 0,0:01:07.07,0:01:11.84,Default,,0000,0000,0000,,我們不禁問自己：\N「是什麼造成了這種異態呢?」
Dialogue: 0,0:01:11.84,0:01:14.39,Default,,0000,0000,0000,,有些人會說是科技
Dialogue: 0,0:01:14.39,0:01:19.06,Default,,0000,0000,0000,,這是對的，\N科技在人類歷史上不斷累積，
Dialogue: 0,0:01:19.06,0:01:23.71,Default,,0000,0000,0000,,而現在科技正以飛快的速度進步。
Dialogue: 0,0:01:23.71,0:01:25.28,Default,,0000,0000,0000,,這個是近因，
Dialogue: 0,0:01:25.28,0:01:27.84,Default,,0000,0000,0000,,這也是為什麼\N我們現在的生產力很高。
Dialogue: 0,0:01:28.47,0:01:32.13,Default,,0000,0000,0000,,但是我想要進一步\N回想到最終的原因
Dialogue: 0,0:01:33.11,0:01:36.88,Default,,0000,0000,0000,,看看這兩位非常傑出的紳士：
Dialogue: 0,0:01:36.88,0:01:38.48,Default,,0000,0000,0000,,這位是坎茲先生
Dialogue: 0,0:01:38.48,0:01:43.12,Default,,0000,0000,0000,,他掌握了200個詞彙，\N這是一個難以置信的壯舉。
Dialogue: 0,0:01:43.12,0:01:46.82,Default,,0000,0000,0000,,以及 愛德 維騰，\N他掀起了第二次超弦革命。
Dialogue: 0,0:01:46.82,0:01:49.14,Default,,0000,0000,0000,,如果我們往腦袋瓜裡面看，\N這是我們看到的：
Dialogue: 0,0:01:49.14,0:01:50.71,Default,,0000,0000,0000,,基本上是一樣的東西。
Dialogue: 0,0:01:50.71,0:01:52.52,Default,,0000,0000,0000,,一個稍微大一點，
Dialogue: 0,0:01:52.52,0:01:55.28,Default,,0000,0000,0000,,它可能有一些特別的連結方法。
Dialogue: 0,0:01:55.28,0:01:59.09,Default,,0000,0000,0000,,但是這些無形的差異不會太複雜，
Dialogue: 0,0:01:59.09,0:02:03.38,Default,,0000,0000,0000,,因為從我們共同的祖先以來，
Dialogue: 0,0:02:03.38,0:02:05.75,Default,,0000,0000,0000,,只經過了25萬代。
Dialogue: 0,0:02:06.02,0:02:08.96,Default,,0000,0000,0000,,我們知道複雜的機制\N需要很長的時間演化。
Dialogue: 0,0:02:10.00,0:02:12.50,Default,,0000,0000,0000,,因此 一些相對微小的變化
Dialogue: 0,0:02:12.50,0:02:15.57,Default,,0000,0000,0000,,將我們從坎茲先生變成了維騰，
Dialogue: 0,0:02:15.57,0:02:20.74,Default,,0000,0000,0000,,從撿起掉落的樹枝當武器\N到發射洲際彈道飛彈
Dialogue: 0,0:02:20.74,0:02:24.77,Default,,0000,0000,0000,,因此，顯而易見的是\N至今我們所實現的所有事
Dialogue: 0,0:02:24.77,0:02:26.95,Default,,0000,0000,0000,,以及我們關心的所有事物，
Dialogue: 0,0:02:26.95,0:02:31.85,Default,,0000,0000,0000,,都取決於人腦中相對微小的改變。
Dialogue: 0,0:02:32.65,0:02:36.31,Default,,0000,0000,0000,,由此而來的推論就是：在未來，
Dialogue: 0,0:02:36.31,0:02:39.79,Default,,0000,0000,0000,,任何能顯著地改變思想基體的變化
Dialogue: 0,0:02:39.79,0:02:42.99,Default,,0000,0000,0000,,都有可能會帶來巨大的後果。
Dialogue: 0,0:02:44.32,0:02:47.23,Default,,0000,0000,0000,,我的一些同事覺得我們即將發現
Dialogue: 0,0:02:47.23,0:02:51.13,Default,,0000,0000,0000,,足以深刻的改變思想基體的科技
Dialogue: 0,0:02:51.13,0:02:54.35,Default,,0000,0000,0000,,那就是超級機器智慧
Dialogue: 0,0:02:54.35,0:02:59.09,Default,,0000,0000,0000,,以前的人工智慧是\N將指令輸入到一個箱子裡。
Dialogue: 0,0:02:59.09,0:03:00.75,Default,,0000,0000,0000,,你需要程式設計師
Dialogue: 0,0:03:00.75,0:03:03.89,Default,,0000,0000,0000,,精心的將知識設計成指令。
Dialogue: 0,0:03:03.89,0:03:05.97,Default,,0000,0000,0000,,你建立這些專門系統，
Dialogue: 0,0:03:05.97,0:03:08.30,Default,,0000,0000,0000,,這些系統在某些特定的領域中有點用，
Dialogue: 0,0:03:08.30,0:03:10.98,Default,,0000,0000,0000,,但是它們很生硬，\N你無法延展這些系統。
Dialogue: 0,0:03:10.98,0:03:14.41,Default,,0000,0000,0000,,基本上這些系統所輸出的東西\N僅限於你事先輸入的範圍。
Dialogue: 0,0:03:14.41,0:03:15.41,Default,,0000,0000,0000,,但是從那時起，
Dialogue: 0,0:03:15.41,0:03:18.87,Default,,0000,0000,0000,,人工智慧的領域裡發生了模式的轉變。
Dialogue: 0,0:03:18.87,0:03:21.64,Default,,0000,0000,0000,,現在主要的課題是機器的學習。
Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,因此，與其設計知識的表現及特點，
Dialogue: 0,0:03:28.51,0:03:34.06,Default,,0000,0000,0000,,我們寫出具有學習原始感官數據\N的能力的程式碼。
Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,基本上和嬰兒所做的是一樣的。
Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,結果就是不侷限於\N某個領域的人工智慧 --
Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,同一個系統可以學習\N在任何兩種語言之間翻譯
Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,或者學著玩雅達利系統上\N的任何一款遊戲。
Dialogue: 0,0:03:53.34,0:03:55.12,Default,,0000,0000,0000,,現在當然
Dialogue: 0,0:03:55.12,0:03:59.12,Default,,0000,0000,0000,,人工智慧到現在\N還未能達到像人類一樣
Dialogue: 0,0:03:59.12,0:04:02.34,Default,,0000,0000,0000,,具有強大的跨領域的學習能力。
Dialogue: 0,0:04:02.34,0:04:04.46,Default,,0000,0000,0000,,人類大腦還具有一些運算技巧
Dialogue: 0,0:04:04.46,0:04:06.82,Default,,0000,0000,0000,,我們不知道如何將這些技巧\N複製到機器中。
Dialogue: 0,0:04:07.89,0:04:09.78,Default,,0000,0000,0000,,所以現在需要問的是：
Dialogue: 0,0:04:09.78,0:04:13.28,Default,,0000,0000,0000,,我們還要多久才能\N在機器裡面複製這些技巧?
Dialogue: 0,0:04:14.24,0:04:15.33,Default,,0000,0000,0000,,在幾年前，
Dialogue: 0,0:04:15.33,0:04:18.22,Default,,0000,0000,0000,,我們對世界頂尖的人工智慧專家\N做了一次問卷調查，
Dialogue: 0,0:04:18.22,0:04:21.44,Default,,0000,0000,0000,,想要看看他們的想法， \N其中的一個題目是：
Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,"到哪一年你覺得\N人類會有50%的機率
Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,能夠達成人類級的人工智慧？"
Dialogue: 0,0:04:28.78,0:04:32.97,Default,,0000,0000,0000,,我們把人類級的人工智慧\N定義為有能力
Dialogue: 0,0:04:32.97,0:04:35.84,Default,,0000,0000,0000,,將任何任務至少執行得\N像一名成年人一樣好，
Dialogue: 0,0:04:35.84,0:04:39.84,Default,,0000,0000,0000,,所以是真正的人類級別,\N而不是僅限於某些領域。
Dialogue: 0,0:04:39.84,0:04:43.49,Default,,0000,0000,0000,,而答案的中位數是2040或2050年
Dialogue: 0,0:04:43.49,0:04:46.30,Default,,0000,0000,0000,,取決於我們問的專家屬於什麼群體。
Dialogue: 0,0:04:46.30,0:04:50.34,Default,,0000,0000,0000,,當然，這個有可能過很久才實現，\N也有可能提早實現
Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,沒有人知道確切的時間。
Dialogue: 0,0:04:53.26,0:04:58.63,Default,,0000,0000,0000,,我們知道的是，\N機器基體處理資訊能力的最終界限
Dialogue: 0,0:04:58.63,0:05:02.54,Default,,0000,0000,0000,,比生物組織的界限要大的多。
Dialogue: 0,0:05:03.24,0:05:05.62,Default,,0000,0000,0000,,這取決於物理原理。
Dialogue: 0,0:05:05.62,0:05:10.34,Default,,0000,0000,0000,,一個生物神經元發出脈衝的頻率\N可能在200赫茲，每秒200次。
Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,但就算是現在的電晶體\N都以千兆赫(GHz)的頻率運轉。
Dialogue: 0,0:05:13.93,0:05:19.23,Default,,0000,0000,0000,,神經元在軸突中傳輸的速度\N比較慢，頂多是每秒100公尺。
Dialogue: 0,0:05:19.23,0:05:22.34,Default,,0000,0000,0000,,但在電腦裡面，信號是以光速傳播的。
Dialogue: 0,0:05:23.08,0:05:24.95,Default,,0000,0000,0000,,另外還有尺寸的限制
Dialogue: 0,0:05:24.95,0:05:27.98,Default,,0000,0000,0000,,就像人類的大腦\N必需要放得進顱骨內。
Dialogue: 0,0:05:27.98,0:05:32.74,Default,,0000,0000,0000,,但是一部電腦可以\N跟倉庫一樣大，甚至更大。
Dialogue: 0,0:05:32.74,0:05:38.34,Default,,0000,0000,0000,,因此超級智慧的潛能\N現在正潛伏在物質裡面，
Dialogue: 0,0:05:38.34,0:05:44.05,Default,,0000,0000,0000,,就像是原子能\N在人類的歷史中一直潛伏著，
Dialogue: 0,0:05:44.05,0:05:48.45,Default,,0000,0000,0000,,耐心的等著，一直到1945年。
Dialogue: 0,0:05:48.45,0:05:49.70,Default,,0000,0000,0000,,在這個世紀內，
Dialogue: 0,0:05:49.70,0:05:53.82,Default,,0000,0000,0000,,科學家有可能會\N將人工智慧的力量喚醒。
Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,屆時我覺得我們會\N見證到智慧的大爆發。
Dialogue: 0,0:05:58.41,0:06:02.36,Default,,0000,0000,0000,,大部分的人，當他們在想\N什麼是聰明什麼是愚笨的時候，
Dialogue: 0,0:06:02.36,0:06:05.39,Default,,0000,0000,0000,,我想他們腦中浮現出的畫面\N會是這樣的：
Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,在一邊是村裡的傻子，
Dialogue: 0,0:06:07.98,0:06:10.47,Default,,0000,0000,0000,,然後在另外一邊
Dialogue: 0,0:06:10.47,0:06:15.22,Default,,0000,0000,0000,,是 愛德 維騰 或愛因斯坦，\N或你喜歡的某位大師。
Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,但是我覺得從人工智慧的觀點來看，
Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,真正的畫面應該比較像這樣子：
Dialogue: 0,0:06:23.26,0:06:26.64,Default,,0000,0000,0000,,人工智慧從這一點開始，零智慧
Dialogue: 0,0:06:26.64,0:06:29.65,Default,,0000,0000,0000,,然後，在許多許多年\N辛苦的研究以後，
Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,我們可能可以達到\N老鼠級的人工智慧，
Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,它可以在凌亂的環境中找到路
Dialogue: 0,0:06:35.92,0:06:37.91,Default,,0000,0000,0000,,就像一隻老鼠一樣。
Dialogue: 0,0:06:37.91,0:06:42.22,Default,,0000,0000,0000,,然後，在更多年的辛苦研究\N及投資了很多資源之後，
Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,我們可能可以達到\N黑猩猩級的人工智慧。
Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,然後，在更加多年的辛苦研究之後，
Dialogue: 0,0:06:50.07,0:06:52.98,Default,,0000,0000,0000,,我們達到村莊傻子級別的人工智慧。
Dialogue: 0,0:06:52.98,0:06:56.26,Default,,0000,0000,0000,,然後過一小會兒後，\N我們就超越了愛德維騰。
Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,這列火車並不會\N在人類村這一站就停車。
Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,它比較可能會直接呼嘯而過。
Dialogue: 0,0:07:02.25,0:07:04.23,Default,,0000,0000,0000,,這個具有深遠的寓意，
Dialogue: 0,0:07:04.23,0:07:08.09,Default,,0000,0000,0000,,特別是在談到權力的問題。
Dialogue: 0,0:07:08.09,0:07:09.99,Default,,0000,0000,0000,,舉例來說，黑猩猩很強壯 --
Dialogue: 0,0:07:09.99,0:07:15.21,Default,,0000,0000,0000,,以體重比例來說， 一隻黑猩猩\N比一個健康的男性人類要強壯兩倍。
Dialogue: 0,0:07:15.21,0:07:19.83,Default,,0000,0000,0000,,然而，坎茲和他朋友們的命運\N則很大的部分取決於
Dialogue: 0,0:07:19.83,0:07:23.97,Default,,0000,0000,0000,,人類的作為，\N而非黑猩猩們自己的作為。
Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,當超級智慧出現後，
Dialogue: 0,0:07:27.54,0:07:31.38,Default,,0000,0000,0000,,人類的命運可能會取決於\N超級智慧的作為。
Dialogue: 0,0:07:32.45,0:07:33.51,Default,,0000,0000,0000,,想想看：
Dialogue: 0,0:07:33.51,0:07:38.55,Default,,0000,0000,0000,,機器智慧將會是人類所需要作出的\N最後一個發明。
Dialogue: 0,0:07:38.55,0:07:41.52,Default,,0000,0000,0000,,從那之後機器將會比人類更會發明，
Dialogue: 0,0:07:41.52,0:07:44.06,Default,,0000,0000,0000,,他們也將會在"數位時間"裡\N做出這些事。
Dialogue: 0,0:07:44.06,0:07:48.97,Default,,0000,0000,0000,,這意味著未來到來的時間將被縮短。
Dialogue: 0,0:07:48.97,0:07:52.52,Default,,0000,0000,0000,,想想那些我們曾經想像過的瘋狂科技
Dialogue: 0,0:07:52.52,0:07:55.32,Default,,0000,0000,0000,,人類可能在有足夠的時間下\N可以發明出來：
Dialogue: 0,0:07:55.32,0:07:58.58,Default,,0000,0000,0000,,防止衰老、殖民太空、
Dialogue: 0,0:07:58.58,0:08:02.31,Default,,0000,0000,0000,,自行複製的奈米機器人，\N或將我們的頭腦上載到電腦裡，
Dialogue: 0,0:08:02.31,0:08:04.47,Default,,0000,0000,0000,,這一些僅存在科幻小說範疇，
Dialogue: 0,0:08:04.47,0:08:07.21,Default,,0000,0000,0000,,但同時還是符合物理法則的東西
Dialogue: 0,0:08:07.21,0:08:11.42,Default,,0000,0000,0000,,超級智慧有辦法開發出這些東西，\N而且速度可能很快。
Dialogue: 0,0:08:12.45,0:08:16.01,Default,,0000,0000,0000,,這麼成熟的超級智慧
Dialogue: 0,0:08:16.01,0:08:18.19,Default,,0000,0000,0000,,將會非常的強大，
Dialogue: 0,0:08:18.19,0:08:22.73,Default,,0000,0000,0000,,最少在某些場景它將有辦法\N得到它想要的東西。
Dialogue: 0,0:08:22.73,0:08:28.39,Default,,0000,0000,0000,,這樣以來我們的未來就將會\N被這個超級智慧的偏好所影響。
Dialogue: 0,0:08:29.86,0:08:33.60,Default,,0000,0000,0000,,現在出現了一個好問題，\N這些偏好是什麼呢？
Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,這個問題更棘手。
Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,要在這個領域往前走，
Dialogue: 0,0:08:37.45,0:08:40.72,Default,,0000,0000,0000,,我們必須避免\N將機器智慧擬人化(人格化)。
Dialogue: 0,0:08:41.93,0:08:45.24,Default,,0000,0000,0000,,這一點很諷刺因為\N每一篇關於未來的人工智慧
Dialogue: 0,0:08:45.24,0:08:49.09,Default,,0000,0000,0000,,的報導都會有這張照片：
Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,所以我覺得我們必須要\N更抽象的來想像這個議題，
Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,而非以好萊塢的鮮明場景來想像。
Dialogue: 0,0:08:57.20,0:09:00.82,Default,,0000,0000,0000,,我們需要把智慧看做是\N一個優化的過程，
Dialogue: 0,0:09:00.82,0:09:06.47,Default,,0000,0000,0000,,一個將未來指引到\N特定的組態的過程。
Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,一個超級智慧\N是一個很強大的優化過程。
Dialogue: 0,0:09:09.98,0:09:14.10,Default,,0000,0000,0000,,它將很會利用現有資源
Dialogue: 0,0:09:14.10,0:09:16.01,Default,,0000,0000,0000,,去達到達成目標的狀態。
Dialogue: 0,0:09:16.45,0:09:19.12,Default,,0000,0000,0000,,這意味著有著高智慧以及
Dialogue: 0,0:09:19.12,0:09:21.85,Default,,0000,0000,0000,,擁有一個對人類來說\N是有意義的目標之間
Dialogue: 0,0:09:21.85,0:09:26.52,Default,,0000,0000,0000,,並沒有必然的聯繫。
Dialogue: 0,0:09:27.32,0:09:31.12,Default,,0000,0000,0000,,假設我們給予人工智慧的目標\N是讓人類笑。
Dialogue: 0,0:09:31.12,0:09:34.10,Default,,0000,0000,0000,,當人工智慧比較弱時，\N它會做出有用的或是好笑的動作
Dialogue: 0,0:09:34.10,0:09:36.61,Default,,0000,0000,0000,,以讓使用者笑出來。
Dialogue: 0,0:09:36.61,0:09:39.03,Default,,0000,0000,0000,,當人工智慧演化成超級智慧的時後，
Dialogue: 0,0:09:39.03,0:09:42.55,Default,,0000,0000,0000,,它會體認到有更有效的方法\N可以達到這個目標：
Dialogue: 0,0:09:42.55,0:09:44.48,Default,,0000,0000,0000,,控制這個世界
Dialogue: 0,0:09:44.48,0:09:47.64,Default,,0000,0000,0000,,然後在人類的臉部肌肉上連接電級
Dialogue: 0,0:09:47.64,0:09:50.58,Default,,0000,0000,0000,,以使這個人不斷的微笑。
Dialogue: 0,0:09:50.58,0:09:51.61,Default,,0000,0000,0000,,另外一個例子，
Dialogue: 0,0:09:51.61,0:09:54.100,Default,,0000,0000,0000,,假設我們給人工智慧的目標是\N解出一個非常困難的數學問題。
Dialogue: 0,0:09:54.100,0:09:56.93,Default,,0000,0000,0000,,當人工智慧變成超級智慧時，
Dialogue: 0,0:09:56.93,0:10:01.10,Default,,0000,0000,0000,,它會體認到最有效的方法是
Dialogue: 0,0:10:01.10,0:10:04.04,Default,,0000,0000,0000,,把整個地球轉化成\N一部超大號的電腦，
Dialogue: 0,0:10:04.04,0:10:06.28,Default,,0000,0000,0000,,進而增加它自己的運算能力。
Dialogue: 0,0:10:06.28,0:10:09.04,Default,,0000,0000,0000,,注意到這個模式\N會給人工智慧理由去做
Dialogue: 0,0:10:09.04,0:10:11.56,Default,,0000,0000,0000,,我們可能不認可的事情。
Dialogue: 0,0:10:11.56,0:10:13.50,Default,,0000,0000,0000,,在這個模型裡面人類是威脅，
Dialogue: 0,0:10:13.50,0:10:16.42,Default,,0000,0000,0000,,我們可能會在解開數學問題\N的過程中成為阻礙。
Dialogue: 0,0:10:17.21,0:10:20.70,Default,,0000,0000,0000,,當然，在我們可預見的範圍內，\N事情不會以這種方式出錯；
Dialogue: 0,0:10:20.70,0:10:22.45,Default,,0000,0000,0000,,這些是誇大的例子。
Dialogue: 0,0:10:22.45,0:10:24.39,Default,,0000,0000,0000,,但是它指出的概念很重要：
Dialogue: 0,0:10:24.39,0:10:27.27,Default,,0000,0000,0000,,如果你創造了一個\N非常強大的優化流程
Dialogue: 0,0:10:27.27,0:10:29.50,Default,,0000,0000,0000,,要最大化目標X，
Dialogue: 0,0:10:29.50,0:10:31.78,Default,,0000,0000,0000,,你最好確保你對目標X的定義
Dialogue: 0,0:10:31.78,0:10:34.24,Default,,0000,0000,0000,,包含了所有你所在意的事情。
Dialogue: 0,0:10:34.84,0:10:39.22,Default,,0000,0000,0000,,這也是在很多神話故事中\N教導的寓意。
Dialogue: 0,0:10:39.22,0:10:44.52,Default,,0000,0000,0000,,希臘神話中的米達斯國王希望\N他碰到的所有東西都可以變成金子。
Dialogue: 0,0:10:44.52,0:10:47.38,Default,,0000,0000,0000,,他碰到了他的女兒， \N她變成了黃金。
Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,他碰到了他的食物，\N他的食物也變成了黃金。
Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,這實際上跟我們的題目有關，
Dialogue: 0,0:10:52.52,0:10:54.59,Default,,0000,0000,0000,,不僅僅是對貪婪的隱喻，
Dialogue: 0,0:10:54.59,0:10:56.48,Default,,0000,0000,0000,,但也指出了如果你創造了\N一個強大的優化流程
Dialogue: 0,0:10:56.48,0:10:59.32,Default,,0000,0000,0000,,但同時給了它\N不正確或不精確的目標後
Dialogue: 0,0:10:59.32,0:11:04.11,Default,,0000,0000,0000,,會發生什麼事。
Dialogue: 0,0:11:04.11,0:11:09.30,Default,,0000,0000,0000,,你可能會說，如果電腦系統\N開始在人臉上安裝電極，
Dialogue: 0,0:11:09.30,0:11:11.56,Default,,0000,0000,0000,,我們可以直接把他關掉就好了。
Dialogue: 0,0:11:12.56,0:11:17.90,Default,,0000,0000,0000,,一、這並不一定容易做到，如果我們\N已經對這個系統產生依賴性 ——
Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,比如：你知道網際網路的開關在哪裡嗎？
Dialogue: 0,0:11:20.63,0:11:25.75,Default,,0000,0000,0000,,二、為什麼黑猩猩當初\N沒有把人類的開關關掉？
Dialogue: 0,0:11:25.75,0:11:27.30,Default,,0000,0000,0000,,或是尼安德特人？
Dialogue: 0,0:11:27.30,0:11:29.96,Default,,0000,0000,0000,,他們有很明顯的理由要這麼做，
Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,而我們的開關就在這裡：
Dialogue: 0,0:11:32.76,0:11:34.31,Default,,0000,0000,0000,,(窒息聲)
Dialogue: 0,0:11:34.31,0:11:37.24,Default,,0000,0000,0000,,原因是人類是很聰明的敵人；
Dialogue: 0,0:11:37.24,0:11:39.97,Default,,0000,0000,0000,,我們可以預見威脅\N並為其做出準備。
Dialogue: 0,0:11:39.97,0:11:42.47,Default,,0000,0000,0000,,但一個超級智慧也會，
Dialogue: 0,0:11:42.47,0:11:45.72,Default,,0000,0000,0000,,而且它的能力將比我們強大的多。
Dialogue: 0,0:11:45.72,0:11:52.91,Default,,0000,0000,0000,,我想要說的一點是，我們不應該\N覺得一切都在我們的掌握之中。
Dialogue: 0,0:11:52.91,0:11:56.36,Default,,0000,0000,0000,,我們可能可以藉由\N把AI放到一個盒子裡面
Dialogue: 0,0:11:56.36,0:11:57.95,Default,,0000,0000,0000,,來給我們更多的掌握，
Dialogue: 0,0:11:57.95,0:11:59.74,Default,,0000,0000,0000,,就像是一個獨立的軟體環境，
Dialogue: 0,0:11:59.74,0:12:02.77,Default,,0000,0000,0000,,一個AI無法逃脫的虛擬實境。
Dialogue: 0,0:12:02.77,0:12:06.91,Default,,0000,0000,0000,,但是我們有多大的信心\N這個AI不會找到漏洞？
Dialogue: 0,0:12:06.91,0:12:10.08,Default,,0000,0000,0000,,就算只是人類駭客，\N他們還經常找出漏洞。
Dialogue: 0,0:12:10.08,0:12:13.12,Default,,0000,0000,0000,,我想我們不是很有信心。
Dialogue: 0,0:12:14.24,0:12:18.78,Default,,0000,0000,0000,,那所以我們把網路線拔掉，\N製造一個物理間隙，
Dialogue: 0,0:12:18.78,0:12:21.45,Default,,0000,0000,0000,,但同樣的，就算只是人類駭客
Dialogue: 0,0:12:21.45,0:12:24.83,Default,,0000,0000,0000,,也經常可以利用社交工程陷阱\N來突破物理間隙。
Dialogue: 0,0:12:24.83,0:12:26.09,Default,,0000,0000,0000,,現在，在我在台上說話的同時
Dialogue: 0,0:12:26.09,0:12:28.48,Default,,0000,0000,0000,,我確定在世界的某一個角落裡\N有一名公司職員
Dialogue: 0,0:12:28.48,0:12:31.83,Default,,0000,0000,0000,,才剛剛被自稱來自IT部門\N的人士說服(詐騙)
Dialogue: 0,0:12:31.83,0:12:34.57,Default,,0000,0000,0000,,並交出了她的帳戶信息。
Dialogue: 0,0:12:34.57,0:12:36.70,Default,,0000,0000,0000,,更天馬行空的狀況也可能會發生，
Dialogue: 0,0:12:36.70,0:12:38.02,Default,,0000,0000,0000,,就像是如果你是AI，
Dialogue: 0,0:12:38.02,0:12:41.55,Default,,0000,0000,0000,,你可以想像藉由擺動你體內的電路
Dialogue: 0,0:12:41.55,0:12:45.01,Default,,0000,0000,0000,,然後創造出無線電波，\N用以與外界溝通。
Dialogue: 0,0:12:45.01,0:12:47.43,Default,,0000,0000,0000,,或這你可以假裝有故障，
Dialogue: 0,0:12:47.43,0:12:50.93,Default,,0000,0000,0000,,然後當程式設計師\N把你打開檢查哪裡出錯時，
Dialogue: 0,0:12:50.93,0:12:52.87,Default,,0000,0000,0000,,他們找出了原始碼 --梆--
Dialogue: 0,0:12:52.87,0:12:55.31,Default,,0000,0000,0000,,你可以在此做出操控。
Dialogue: 0,0:12:55.31,0:12:58.74,Default,,0000,0000,0000,,或這它可以做出一個\N很巧妙的科技藍圖，
Dialogue: 0,0:12:58.74,0:13:00.14,Default,,0000,0000,0000,,當我們實施這個藍圖後，
Dialogue: 0,0:13:00.14,0:13:04.54,Default,,0000,0000,0000,,它會產生一些AI計劃好的\N秘密副作用。
Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,寓意是我們不能\N對我們控制人工智慧的能力
Dialogue: 0,0:13:08.00,0:13:11.81,Default,,0000,0000,0000,,具有太大的信心
Dialogue: 0,0:13:11.81,0:13:14.06,Default,,0000,0000,0000,,它終究會逃脫出來，\N只是時間問題而已。
Dialogue: 0,0:13:15.03,0:13:18.14,Default,,0000,0000,0000,,我覺得解方是我們需要弄清楚
Dialogue: 0,0:13:18.14,0:13:23.16,Default,,0000,0000,0000,,如何創造出一個超級智慧， \N哪怕是它逃出來了，
Dialogue: 0,0:13:23.16,0:13:26.44,Default,,0000,0000,0000,,它還是安全的，\N因為它是站在我們這一邊的
Dialogue: 0,0:13:26.44,0:13:28.34,Default,,0000,0000,0000,,因為它擁有了我們的價值觀。
Dialogue: 0,0:13:28.34,0:13:31.55,Default,,0000,0000,0000,,我們沒有辦法避免這個艱難的問題。
Dialogue: 0,0:13:32.56,0:13:36.39,Default,,0000,0000,0000,,但是我覺得我們可以解決這個問題。
Dialogue: 0,0:13:36.39,0:13:40.29,Default,,0000,0000,0000,,我們並不需要把\N我們在乎的所有事物寫下來，
Dialogue: 0,0:13:40.29,0:13:43.94,Default,,0000,0000,0000,,或更麻煩的把這些事物\N寫成電腦程式語言
Dialogue: 0,0:13:43.94,0:13:45.39,Default,,0000,0000,0000,,像是 C++或 Python，
Dialogue: 0,0:13:45.39,0:13:48.16,Default,,0000,0000,0000,,這是個不可能完成的任務。
Dialogue: 0,0:13:48.16,0:13:52.46,Default,,0000,0000,0000,,與其，我們可以創造出\N一個人工智慧，它用它自己的智慧
Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,來學習我們的價值觀，
Dialogue: 0,0:13:55.23,0:14:00.51,Default,,0000,0000,0000,,它的激勵機制要設計成\N會讓它想要
Dialogue: 0,0:14:00.51,0:14:05.74,Default,,0000,0000,0000,,來追求我們的價值觀或者\N去做它認為我們會贊成的事情。
Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,藉此我們可以最大化地\N利用到它們的智慧
Dialogue: 0,0:14:09.15,0:14:11.90,Default,,0000,0000,0000,,來解決這個價值觀的問題。
Dialogue: 0,0:14:12.73,0:14:14.24,Default,,0000,0000,0000,,這個是有可能的，
Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,而且這個的結果\N可對人類是非常有益的。
Dialogue: 0,0:14:17.84,0:14:21.79,Default,,0000,0000,0000,,但是它不會自動發生。
Dialogue: 0,0:14:21.79,0:14:24.79,Default,,0000,0000,0000,,如果我們需要控制\N這個智慧的大爆炸，
Dialogue: 0,0:14:24.79,0:14:27.65,Default,,0000,0000,0000,,那智慧大爆炸的初始條件
Dialogue: 0,0:14:27.65,0:14:31.18,Default,,0000,0000,0000,,需要被正確的建立起來。
Dialogue: 0,0:14:31.18,0:14:33.80,Default,,0000,0000,0000,,人工智慧的價值觀\N要和我們的一致，
Dialogue: 0,0:14:33.80,0:14:35.56,Default,,0000,0000,0000,,並不只是在常見的狀況下，
Dialogue: 0,0:14:35.56,0:14:37.100,Default,,0000,0000,0000,,比如我們可以\N很簡單低檢查它的行為，
Dialogue: 0,0:14:37.100,0:14:41.23,Default,,0000,0000,0000,,但也要在未來所有人工智慧\N可能會遇到的情況下
Dialogue: 0,0:14:41.23,0:14:42.79,Default,,0000,0000,0000,,保持價值觀的一致。
Dialogue: 0,0:14:42.79,0:14:47.53,Default,,0000,0000,0000,,還有很多深奧的問題需要被解決：
Dialogue: 0,0:14:47.53,0:14:49.62,Default,,0000,0000,0000,,它們決策概念的所有細節，
Dialogue: 0,0:14:49.62,0:14:52.48,Default,,0000,0000,0000,,它如何面對解決\N邏輯不確定性的情況等問題。
Dialogue: 0,0:14:53.33,0:14:56.43,Default,,0000,0000,0000,,所以技術上待解決的問題
Dialogue: 0,0:14:56.43,0:14:57.54,Default,,0000,0000,0000,,讓這個任務看起來蠻難的 --
Dialogue: 0,0:14:57.54,0:15:00.92,Default,,0000,0000,0000,,還沒有像做出一個超級智慧\N那樣的難，
Dialogue: 0,0:15:00.92,0:15:03.79,Default,,0000,0000,0000,,但還是挺難的。
Dialogue: 0,0:15:03.79,0:15:05.49,Default,,0000,0000,0000,,我們所擔心的是：
Dialogue: 0,0:15:05.49,0:15:10.17,Default,,0000,0000,0000,,創造出一個超級智慧\N是一個很難的挑戰。
Dialogue: 0,0:15:10.17,0:15:12.72,Default,,0000,0000,0000,,創造出一個安全的超級智慧
Dialogue: 0,0:15:12.72,0:15:15.14,Default,,0000,0000,0000,,是一個更大的挑戰。
Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,最大的風險在於\N有人想出了如何解決第一個難題
Dialogue: 0,0:15:19.70,0:15:22.70,Default,,0000,0000,0000,,但是沒有解決第二個問題
Dialogue: 0,0:15:22.70,0:15:24.60,Default,,0000,0000,0000,,來確保安全性萬無一失。
Dialogue: 0,0:15:25.38,0:15:28.71,Default,,0000,0000,0000,,所以我覺得我們應該先想出
Dialogue: 0,0:15:28.71,0:15:31.53,Default,,0000,0000,0000,,如何"控制"的方法。
Dialogue: 0,0:15:31.53,0:15:34.19,Default,,0000,0000,0000,,這樣當我們需要的時候\N我們可以用的到它。
Dialogue: 0,0:15:34.77,0:15:38.28,Default,,0000,0000,0000,,現在也許我們無法\N完全解決「控制」的問題
Dialogue: 0,0:15:38.28,0:15:41.30,Default,,0000,0000,0000,,因為有時候你要了解\N你所想要控制的架構後
Dialogue: 0,0:15:41.30,0:15:45.30,Default,,0000,0000,0000,,你才能知道如何實施。
Dialogue: 0,0:15:45.30,0:15:48.68,Default,,0000,0000,0000,,但是如果我們可以\N事先解決更多的難題
Dialogue: 0,0:15:48.68,0:15:52.77,Default,,0000,0000,0000,,我們順利的進入到\N機器智能時代的機率
Dialogue: 0,0:15:52.77,0:15:54.31,Default,,0000,0000,0000,,就會更高。
Dialogue: 0,0:15:54.31,0:15:58.95,Default,,0000,0000,0000,,這對我來說是一個值得挑戰的事情
Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,而且我能想像到如果一切順利的話，
Dialogue: 0,0:16:02.28,0:16:06.94,Default,,0000,0000,0000,,我們的後代，幾百萬年以後的人類\N回顧我們這個時代的時候
Dialogue: 0,0:16:06.94,0:16:10.94,Default,,0000,0000,0000,,他們可能會說我們\N所做的最重要的事就是
Dialogue: 0,0:16:10.94,0:16:12.51,Default,,0000,0000,0000,,把這個事情弄對了。
Dialogue: 0,0:16:12.51,0:16:14.20,Default,,0000,0000,0000,,謝謝
Dialogue: 0,0:16:14.20,0:16:17.01,Default,,0000,0000,0000,,(觀眾掌聲)