我和一群數學家、 哲學家、 及電腦科學家一起工作。 我們坐在一起 思考機器智慧的未來。 以及其他問題。 有些人可能認為 這是科幻小說的範疇， 離我們很遙遠，很瘋狂。 但是我要說， 好，我們來看看 現代人類的狀況.... (觀眾笑聲) 這是人類的常態。 但如果我們仔細想想， 其實人類是剛剛才抵達地球的訪客 假設地球在一年前誕生， 人類這個物種則僅存在了10分鐘。 工業革命在2秒鐘前開始。 另外一個角度是 看看這一萬年來的GDP增長 我花了時間作了張圖表， 它長這個樣子 (觀眾笑聲) 對一個正常的狀態來說 這是個很有趣的形狀。 我可不想要坐在上面。 (觀眾笑聲) 我們不禁問自己： 「是什麼造成了這種異態呢?」 有些人會說是科技 這是對的， 科技在人類歷史上不斷累積， 而現在科技正以飛快的速度進步。 這個是近因， 這也是為什麼 我們現在的生產力很高。 但是我想要進一步 回想到最終的原因 看看這兩位非常傑出的紳士： 這位是坎茲先生 他掌握了200個詞彙， 這是一個難以置信的壯舉。 以及 愛德 維騰， 他掀起了第二次超弦革命。 如果我們往腦袋瓜裡面看， 這是我們看到的： 基本上是一樣的東西。 一個稍微大一點， 它可能有一些特別的連結方法。 但是這些無形的差異不會太複雜， 因為從我們共同的祖先以來， 只經過了25萬代。 我們知道複雜的機制 需要很長的時間演化。 因此 一些相對微小的變化 將我們從坎茲先生變成了維騰， 從撿起掉落的樹枝當武器 到發射洲際彈道飛彈 因此，顯而易見的是 至今我們所實現的所有事 以及我們關心的所有事物， 都取決於人腦中相對微小的改變。 由此而來的推論就是：在未來， 任何能顯著地改變思想基體的變化 都有可能會帶來巨大的後果。 我的一些同事覺得我們即將發現 足以深刻的改變思想基體的科技 那就是超級機器智慧 以前的人工智慧是 將指令輸入到一個箱子裡。 你需要程式設計師 精心的將知識設計成指令。 你建立這些專門系統， 這些系統在某些特定的領域中有點用， 但是它們很生硬， 你無法延展這些系統。 基本上這些系統所輸出的東西 僅限於你事先輸入的範圍。 但是從那時起， 人工智慧的領域裡發生了模式的轉變。 現在主要的課題是機器的學習。 因此，與其設計知識的表現及特點， 我們寫出具有學習原始感官數據 的能力的程式碼。 基本上和嬰兒所做的是一樣的。 結果就是不侷限於 某個領域的人工智慧 -- 同一個系統可以學習 在任何兩種語言之間翻譯 或者學著玩雅達利系統上 的任何一款遊戲。 現在當然 人工智慧到現在 還未能達到像人類一樣 具有強大的跨領域的學習能力。 人類大腦還具有一些運算技巧 我們不知道如何將這些技巧 複製到機器中。 所以現在需要問的是： 我們還要多久才能 在機器裡面複製這些技巧? 在幾年前， 我們對世界頂尖的人工智慧專家 做了一次問卷調查， 想要看看他們的想法， 其中的一個題目是： "到哪一年你覺得 人類會有50%的機率 能夠達成人類級的人工智慧？" 我們把人類級的人工智慧 定義為有能力 將任何任務至少執行得 像一名成年人一樣好， 所以是真正的人類級別, 而不是僅限於某些領域。 而答案的中位數是2040或2050年 取決於我們問的專家屬於什麼群體。 當然，這個有可能過很久才實現， 也有可能提早實現 沒有人知道確切的時間。 我們知道的是， 機器基體處理資訊能力的最終界限 比生物組織的界限要大的多。 這取決於物理原理。 一個生物神經元發出脈衝的頻率 可能在200赫茲，每秒200次。 但就算是現在的電晶體 都以千兆赫(GHz)的頻率運轉。 神經元在軸突中傳輸的速度 比較慢，頂多是每秒100公尺。 但在電腦裡面，信號是以光速傳播的。 另外還有尺寸的限制 就像人類的大腦 必需要放得進顱骨內。 但是一部電腦可以 跟倉庫一樣大，甚至更大。 因此超級智慧的潛能 現在正潛伏在物質裡面， 就像是原子能 在人類的歷史中一直潛伏著， 耐心的等著，一直到1945年。 在這個世紀內， 科學家有可能會 將人工智慧的力量喚醒。 屆時我覺得我們會 見證到智慧的大爆發。 大部分的人，當他們在想 什麼是聰明什麼是愚笨的時候， 我想他們腦中浮現出的畫面 會是這樣的： 在一邊是村裡的傻子， 然後在另外一邊 是 愛德 維騰 或愛因斯坦， 或你喜歡的某位大師。 但是我覺得從人工智慧的觀點來看， 真正的畫面應該比較像這樣子： 人工智慧從這一點開始，零智慧 然後，在許多許多年 辛苦的研究以後， 我們可能可以達到 老鼠級的人工智慧， 它可以在凌亂的環境中找到路 就像一隻老鼠一樣。 然後，在更多年的辛苦研究 及投資了很多資源之後， 我們可能可以達到 黑猩猩級的人工智慧。 然後，在更加多年的辛苦研究之後， 我們達到村莊傻子級別的人工智慧。 然後過一小會兒後， 我們就超越了愛德維騰。 這列火車並不會 在人類村這一站就停車。 它比較可能會直接呼嘯而過。 這個具有深遠的寓意， 特別是在談到權力的問題。 舉例來說，黑猩猩很強壯 -- 以體重比例來說， 一隻黑猩猩 比一個健康的男性人類要強壯兩倍。 然而，坎茲和他朋友們的命運 則很大的部分取決於 人類的作為， 而非黑猩猩們自己的作為。 當超級智慧出現後， 人類的命運可能會取決於 超級智慧的作為。 想想看： 機器智慧將會是人類所需要作出的 最後一個發明。 從那之後機器將會比人類更會發明， 他們也將會在"數位時間"裡 做出這些事。 這意味著未來到來的時間將被縮短。 想想那些我們曾經想像過的瘋狂科技 人類可能在有足夠的時間下 可以發明出來： 防止衰老、殖民太空、 自行複製的奈米機器人， 或將我們的頭腦上載到電腦裡， 這一些僅存在科幻小說範疇， 但同時還是符合物理法則的東西 超級智慧有辦法開發出這些東西， 而且速度可能很快。 這麼成熟的超級智慧 將會非常的強大， 最少在某些場景它將有辦法 得到它想要的東西。 這樣以來我們的未來就將會 被這個超級智慧的偏好所影響。 現在出現了一個好問題， 這些偏好是什麼呢？ 這個問題更棘手。 要在這個領域往前走， 我們必須避免 將機器智慧擬人化(人格化)。 這一點很諷刺因為 每一篇關於未來的人工智慧 的報導都會有這張照片： 所以我覺得我們必須要 更抽象的來想像這個議題， 而非以好萊塢的鮮明場景來想像。 我們需要把智慧看做是 一個優化的過程， 一個將未來指引到 特定的組態的過程。 一個超級智慧 是一個很強大的優化過程。 它將很會利用現有資源 去達到達成目標的狀態。 這意味著有著高智慧以及 擁有一個對人類來說 是有意義的目標之間 並沒有必然的聯繫。 假設我們給予人工智慧的目標 是讓人類笑。 當人工智慧比較弱時， 它會做出有用的或是好笑的動作 以讓使用者笑出來。 當人工智慧演化成超級智慧的時後， 它會體認到有更有效的方法 可以達到這個目標： 控制這個世界 然後在人類的臉部肌肉上連接電級 以使這個人不斷的微笑。 另外一個例子， 假設我們給人工智慧的目標是 解出一個非常困難的數學問題。 當人工智慧變成超級智慧時， 它會體認到最有效的方法是 把整個地球轉化成 一部超大號的電腦， 進而增加它自己的運算能力。 注意到這個模式 會給人工智慧理由去做 我們可能不認可的事情。 在這個模型裡面人類是威脅， 我們可能會在解開數學問題 的過程中成為阻礙。 當然，在我們可預見的範圍內， 事情不會以這種方式出錯； 這些是誇大的例子。 但是它指出的概念很重要： 如果你創造了一個 非常強大的優化流程 要最大化目標X， 你最好確保你對目標X的定義 包含了所有你所在意的事情。 這也是在很多神話故事中 教導的寓意。 希臘神話中的米達斯國王希望 他碰到的所有東西都可以變成金子。 他碰到了他的女兒， 她變成了黃金。 他碰到了他的食物， 他的食物也變成了黃金。 這實際上跟我們的題目有關， 不僅僅是對貪婪的隱喻， 但也指出了如果你創造了 一個強大的優化流程 但同時給了它 不正確或不精確的目標後 會發生什麼事。 你可能會說，如果電腦系統 開始在人臉上安裝電極， 我們可以直接把他關掉就好了。 一、這並不一定容易做到，如果我們 已經對這個系統產生依賴性 —— 比如：你知道網際網路的開關在哪裡嗎？ 二、為什麼黑猩猩當初 沒有把人類的開關關掉？ 或是尼安德特人？ 他們有很明顯的理由要這麼做， 而我們的開關就在這裡： (窒息聲) 原因是人類是很聰明的敵人； 我們可以預見威脅 並為其做出準備。 但一個超級智慧也會， 而且它的能力將比我們強大的多。 我想要說的一點是，我們不應該 覺得一切都在我們的掌握之中。 我們可能可以藉由 把AI放到一個盒子裡面 來給我們更多的掌握， 就像是一個獨立的軟體環境， 一個AI無法逃脫的虛擬實境。 但是我們有多大的信心 這個AI不會找到漏洞？ 就算只是人類駭客， 他們還經常找出漏洞。 我想我們不是很有信心。 那所以我們把網路線拔掉， 製造一個物理間隙， 但同樣的，就算只是人類駭客 也經常可以利用社交工程陷阱 來突破物理間隙。 現在，在我在台上說話的同時 我確定在世界的某一個角落裡 有一名公司職員 才剛剛被自稱來自IT部門 的人士說服(詐騙) 並交出了她的帳戶信息。 更天馬行空的狀況也可能會發生， 就像是如果你是AI， 你可以想像藉由擺動你體內的電路 然後創造出無線電波， 用以與外界溝通。 或這你可以假裝有故障， 然後當程式設計師 把你打開檢查哪裡出錯時， 他們找出了原始碼 --梆-- 你可以在此做出操控。 或這它可以做出一個 很巧妙的科技藍圖， 當我們實施這個藍圖後， 它會產生一些AI計劃好的 秘密副作用。 寓意是我們不能 對我們控制人工智慧的能力 具有太大的信心 它終究會逃脫出來， 只是時間問題而已。 我覺得解方是我們需要弄清楚 如何創造出一個超級智慧， 哪怕是它逃出來了， 它還是安全的， 因為它是站在我們這一邊的 因為它擁有了我們的價值觀。 我們沒有辦法避免這個艱難的問題。 但是我覺得我們可以解決這個問題。 我們並不需要把 我們在乎的所有事物寫下來， 或更麻煩的把這些事物 寫成電腦程式語言 像是 C++或 Python， 這是個不可能完成的任務。 與其，我們可以創造出 一個人工智慧，它用它自己的智慧 來學習我們的價值觀， 它的激勵機制要設計成 會讓它想要 來追求我們的價值觀或者 去做它認為我們會贊成的事情。 藉此我們可以最大化地 利用到它們的智慧 來解決這個價值觀的問題。 這個是有可能的， 而且這個的結果 可對人類是非常有益的。 但是它不會自動發生。 如果我們需要控制 這個智慧的大爆炸， 那智慧大爆炸的初始條件 需要被正確的建立起來。 人工智慧的價值觀 要和我們的一致， 並不只是在常見的狀況下， 比如我們可以 很簡單低檢查它的行為， 但也要在未來所有人工智慧 可能會遇到的情況下 保持價值觀的一致。 還有很多深奧的問題需要被解決： 它們決策概念的所有細節， 它如何面對解決 邏輯不確定性的情況等問題。 所以技術上待解決的問題 讓這個任務看起來蠻難的 -- 還沒有像做出一個超級智慧 那樣的難， 但還是挺難的。 我們所擔心的是： 創造出一個超級智慧 是一個很難的挑戰。 創造出一個安全的超級智慧 是一個更大的挑戰。 最大的風險在於 有人想出了如何解決第一個難題 但是沒有解決第二個問題 來確保安全性萬無一失。 所以我覺得我們應該先想出 如何"控制"的方法。 這樣當我們需要的時候 我們可以用的到它。 現在也許我們無法 完全解決「控制」的問題 因為有時候你要了解 你所想要控制的架構後 你才能知道如何實施。 但是如果我們可以 事先解決更多的難題 我們順利的進入到 機器智能時代的機率 就會更高。 這對我來說是一個值得挑戰的事情 而且我能想像到如果一切順利的話， 我們的後代，幾百萬年以後的人類 回顧我們這個時代的時候 他們可能會說我們 所做的最重要的事就是 把這個事情弄對了。 謝謝 (觀眾掌聲)