0:00:00.570,0:00:04.777
我和一群數學家、 哲學家、[br]及電腦科學家一起工作。

0:00:04.777,0:00:09.986
我們坐在一起[br]思考機器智慧的未來。

0:00:09.986,0:00:12.030
以及其他問題。

0:00:12.030,0:00:16.755
有些人可能認為[br]這是科幻小說的範疇，

0:00:16.755,0:00:19.856
離我們很遙遠，很瘋狂。

0:00:19.856,0:00:21.326
但是我要說，

0:00:21.326,0:00:24.930
好，我們來看看[br]現代人類的狀況....

0:00:24.930,0:00:26.622
(觀眾笑聲)

0:00:26.622,0:00:29.024
這是人類的常態。

0:00:29.024,0:00:31.309
但如果我們仔細想想，

0:00:31.309,0:00:36.135
其實人類是剛剛才抵達地球的訪客

0:00:36.135,0:00:41.430
假設地球在一年前誕生，

0:00:41.430,0:00:44.978
人類這個物種則僅存在了10分鐘。

0:00:44.978,0:00:48.152
工業革命在2秒鐘前開始。

0:00:48.656,0:00:54.501
另外一個角度是[br]看看這一萬年來的GDP增長

0:00:54.501,0:00:57.530
我花了時間作了張圖表，

0:00:57.530,0:00:59.304
它長這個樣子

0:00:59.304,0:01:00.667
(觀眾笑聲)

0:01:00.667,0:01:02.818
對一個正常的狀態來說[br]這是個很有趣的形狀。

0:01:02.818,0:01:04.516
我可不想要坐在上面。

0:01:04.516,0:01:07.067
(觀眾笑聲)

0:01:07.067,0:01:11.841
我們不禁問自己：[br]「是什麼造成了這種異態呢?」

0:01:11.841,0:01:14.393
有些人會說是科技

0:01:14.393,0:01:19.061
這是對的，[br]科技在人類歷史上不斷累積，

0:01:19.061,0:01:23.713
而現在科技正以飛快的速度進步。

0:01:23.713,0:01:25.278
這個是近因，

0:01:25.278,0:01:27.843
這也是為什麼[br]我們現在的生產力很高。

0:01:28.473,0:01:32.134
但是我想要進一步[br]回想到最終的原因

0:01:33.114,0:01:36.880
看看這兩位非常傑出的紳士：

0:01:36.880,0:01:38.480
這位是坎茲先生

0:01:38.480,0:01:43.123
他掌握了200個詞彙，[br]這是一個難以置信的壯舉。

0:01:43.123,0:01:46.817
以及 愛德 維騰，[br]他掀起了第二次超弦革命。

0:01:46.817,0:01:49.141
如果我們往腦袋瓜裡面看，[br]這是我們看到的：

0:01:49.141,0:01:50.711
基本上是一樣的東西。

0:01:50.711,0:01:52.524
一個稍微大一點，

0:01:52.524,0:01:55.282
它可能有一些特別的連結方法。

0:01:55.282,0:01:59.094
但是這些無形的差異不會太複雜，

0:01:59.094,0:02:03.379
因為從我們共同的祖先以來，

0:02:03.379,0:02:05.749
只經過了25萬代。

0:02:06.019,0:02:08.960
我們知道複雜的機制[br]需要很長的時間演化。

0:02:10.000,0:02:12.499
因此 一些相對微小的變化

0:02:12.499,0:02:15.566
將我們從坎茲先生變成了維騰，

0:02:15.566,0:02:20.739
從撿起掉落的樹枝當武器[br]到發射洲際彈道飛彈

0:02:20.739,0:02:24.774
因此，顯而易見的是[br]至今我們所實現的所有事

0:02:24.774,0:02:26.952
以及我們關心的所有事物，

0:02:26.952,0:02:31.850
都取決於人腦中相對微小的改變。

0:02:32.650,0:02:36.312
由此而來的推論就是：在未來，

0:02:36.312,0:02:39.789
任何能顯著地改變思想基體的變化

0:02:39.789,0:02:42.991
都有可能會帶來巨大的後果。

0:02:44.321,0:02:47.226
我的一些同事覺得我們即將發現

0:02:47.226,0:02:51.134
足以深刻的改變思想基體的科技

0:02:51.134,0:02:54.347
那就是超級機器智慧

0:02:54.347,0:02:59.086
以前的人工智慧是[br]將指令輸入到一個箱子裡。

0:02:59.086,0:03:00.751
你需要程式設計師

0:03:00.751,0:03:03.886
精心的將知識設計成指令。

0:03:03.886,0:03:05.972
你建立這些專門系統，

0:03:05.972,0:03:08.296
這些系統在某些特定的領域中有點用，

0:03:08.296,0:03:10.977
但是它們很生硬，[br]你無法延展這些系統。

0:03:10.977,0:03:14.410
基本上這些系統所輸出的東西[br]僅限於你事先輸入的範圍。

0:03:14.410,0:03:15.407
但是從那時起，

0:03:15.407,0:03:18.874
人工智慧的領域裡發生了模式的轉變。

0:03:18.874,0:03:21.644
現在主要的課題是機器的學習。

0:03:22.394,0:03:27.781
因此，與其設計知識的表現及特點，

0:03:28.511,0:03:34.065
我們寫出具有學習原始感官數據[br]的能力的程式碼。

0:03:34.065,0:03:39.063
基本上和嬰兒所做的是一樣的。

0:03:39.063,0:03:43.270
結果就是不侷限於[br]某個領域的人工智慧 --

0:03:43.270,0:03:47.901
同一個系統可以學習[br]在任何兩種語言之間翻譯

0:03:47.901,0:03:53.338
或者學著玩雅達利系統上[br]的任何一款遊戲。

0:03:53.338,0:03:55.117
現在當然

0:03:55.117,0:03:59.116
人工智慧到現在[br]還未能達到像人類一樣

0:03:59.116,0:04:02.335
具有強大的跨領域的學習能力。

0:04:02.335,0:04:04.461
人類大腦還具有一些運算技巧

0:04:04.461,0:04:06.816
我們不知道如何將這些技巧[br]複製到機器中。

0:04:07.886,0:04:09.785
所以現在需要問的是：

0:04:09.785,0:04:13.285
我們還要多久才能[br]在機器裡面複製這些技巧?

0:04:14.245,0:04:15.328
在幾年前，

0:04:15.328,0:04:18.216
我們對世界頂尖的人工智慧專家[br]做了一次問卷調查，

0:04:18.216,0:04:21.440
想要看看他們的想法， [br]其中的一個題目是：

0:04:21.440,0:04:24.793
"到哪一年你覺得[br]人類會有50%的機率

0:04:24.793,0:04:28.275
能夠達成人類級的人工智慧？"

0:04:28.785,0:04:32.968
我們把人類級的人工智慧[br]定義為有能力

0:04:32.968,0:04:35.839
將任何任務至少執行得[br]像一名成年人一樣好，

0:04:35.839,0:04:39.844
所以是真正的人類級別,[br]而不是僅限於某些領域。

0:04:39.844,0:04:43.494
而答案的中位數是2040或2050年

0:04:43.494,0:04:46.300
取決於我們問的專家屬於什麼群體。

0:04:46.300,0:04:50.339
當然，這個有可能過很久才實現，[br]也有可能提早實現

0:04:50.339,0:04:52.279
沒有人知道確切的時間。

0:04:53.259,0:04:58.631
我們知道的是，[br]機器基體處理資訊能力的最終界限

0:04:58.631,0:05:02.542
比生物組織的界限要大的多。

0:05:03.241,0:05:05.619
這取決於物理原理。

0:05:05.619,0:05:10.337
一個生物神經元發出脈衝的頻率[br]可能在200赫茲，每秒200次。

0:05:10.337,0:05:13.931
但就算是現在的電晶體[br]都以千兆赫(GHz)的頻率運轉。

0:05:13.931,0:05:19.228
神經元在軸突中傳輸的速度[br]比較慢，頂多是每秒100公尺。

0:05:19.228,0:05:22.339
但在電腦裡面，信號是以光速傳播的。

0:05:23.079,0:05:24.948
另外還有尺寸的限制

0:05:24.948,0:05:27.975
就像人類的大腦[br]必需要放得進顱骨內。

0:05:27.975,0:05:32.736
但是一部電腦可以[br]跟倉庫一樣大，甚至更大。

0:05:32.736,0:05:38.335
因此超級智慧的潛能[br]現在正潛伏在物質裡面，

0:05:38.335,0:05:44.047
就像是原子能[br]在人類的歷史中一直潛伏著，

0:05:44.047,0:05:48.452
耐心的等著，一直到1945年。

0:05:48.452,0:05:49.700
在這個世紀內，

0:05:49.700,0:05:53.818
科學家有可能會[br]將人工智慧的力量喚醒。

0:05:53.818,0:05:57.826
屆時我覺得我們會[br]見證到智慧的大爆發。

0:05:58.406,0:06:02.363
大部分的人，當他們在想[br]什麼是聰明什麼是愚笨的時候，

0:06:02.363,0:06:05.386
我想他們腦中浮現出的畫面[br]會是這樣的：

0:06:05.386,0:06:07.984
在一邊是村裡的傻子，

0:06:07.984,0:06:10.467
然後在另外一邊

0:06:10.467,0:06:15.223
是 愛德 維騰 或愛因斯坦，[br]或你喜歡的某位大師。

0:06:15.223,0:06:19.057
但是我覺得從人工智慧的觀點來看，

0:06:19.057,0:06:22.738
真正的畫面應該比較像這樣子：

0:06:23.258,0:06:26.636
人工智慧從這一點開始，零智慧

0:06:26.636,0:06:29.647
然後，在許多許多年[br]辛苦的研究以後，

0:06:29.647,0:06:33.491
我們可能可以達到[br]老鼠級的人工智慧，

0:06:33.491,0:06:35.921
它可以在凌亂的環境中找到路

0:06:35.921,0:06:37.908
就像一隻老鼠一樣。

0:06:37.908,0:06:42.221
然後，在更多年的辛苦研究[br]及投資了很多資源之後，

0:06:42.221,0:06:46.860
我們可能可以達到[br]黑猩猩級的人工智慧。

0:06:46.860,0:06:50.070
然後，在更加多年的辛苦研究之後，

0:06:50.070,0:06:52.983
我們達到村莊傻子級別的人工智慧。

0:06:52.983,0:06:56.255
然後過一小會兒後，[br]我們就超越了愛德維騰。

0:06:56.255,0:06:59.225
這列火車並不會[br]在人類村這一站就停車。

0:06:59.225,0:07:02.247
它比較可能會直接呼嘯而過。

0:07:02.247,0:07:04.231
這個具有深遠的寓意，

0:07:04.231,0:07:08.093
特別是在談到權力的問題。

0:07:08.093,0:07:09.992
舉例來說，黑猩猩很強壯 --

0:07:09.992,0:07:15.214
以體重比例來說， 一隻黑猩猩[br]比一個健康的男性人類要強壯兩倍。

0:07:15.214,0:07:19.828
然而，坎茲和他朋友們的命運[br]則很大的部分取決於

0:07:19.828,0:07:23.968
人類的作為，[br]而非黑猩猩們自己的作為。

0:07:25.228,0:07:27.542
當超級智慧出現後，

0:07:27.542,0:07:31.381
人類的命運可能會取決於[br]超級智慧的作為。

0:07:32.451,0:07:33.508
想想看：

0:07:33.508,0:07:38.552
機器智慧將會是人類所需要作出的[br]最後一個發明。

0:07:38.552,0:07:41.525
從那之後機器將會比人類更會發明，

0:07:41.525,0:07:44.065
他們也將會在"數位時間"裡[br]做出這些事。

0:07:44.065,0:07:48.966
這意味著未來到來的時間將被縮短。

0:07:48.966,0:07:52.524
想想那些我們曾經想像過的瘋狂科技

0:07:52.524,0:07:55.322
人類可能在有足夠的時間下[br]可以發明出來：

0:07:55.322,0:07:58.580
防止衰老、殖民太空、

0:07:58.580,0:08:02.311
自行複製的奈米機器人，[br]或將我們的頭腦上載到電腦裡，

0:08:02.311,0:08:04.470
這一些僅存在科幻小說範疇，

0:08:04.470,0:08:07.207
但同時還是符合物理法則的東西

0:08:07.207,0:08:11.419
超級智慧有辦法開發出這些東西，[br]而且速度可能很快。

0:08:12.449,0:08:16.007
這麼成熟的超級智慧

0:08:16.007,0:08:18.186
將會非常的強大，

0:08:18.186,0:08:22.732
最少在某些場景它將有辦法[br]得到它想要的東西。

0:08:22.732,0:08:28.393
這樣以來我們的未來就將會[br]被這個超級智慧的偏好所影響。

0:08:29.855,0:08:33.604
現在出現了一個好問題，[br]這些偏好是什麼呢？

0:08:34.244,0:08:36.013
這個問題更棘手。

0:08:36.013,0:08:37.448
要在這個領域往前走，

0:08:37.448,0:08:40.724
我們必須避免[br]將機器智慧擬人化(人格化)。

0:08:41.934,0:08:45.235
這一點很諷刺因為[br]每一篇關於未來的人工智慧

0:08:45.235,0:08:49.090
的報導都會有這張照片：

0:08:50.280,0:08:54.414
所以我覺得我們必須要[br]更抽象的來想像這個議題，

0:08:54.414,0:08:57.204
而非以好萊塢的鮮明場景來想像。

0:08:57.204,0:09:00.821
我們需要把智慧看做是[br]一個優化的過程，

0:09:00.821,0:09:06.470
一個將未來指引到[br]特定的組態的過程。

0:09:06.470,0:09:09.981
一個超級智慧[br]是一個很強大的優化過程。

0:09:09.981,0:09:14.098
它將很會利用現有資源

0:09:14.098,0:09:16.007
去達到達成目標的狀態。

0:09:16.447,0:09:19.119
這意味著有著高智慧以及

0:09:19.119,0:09:21.853
擁有一個對人類來說[br]是有意義的目標之間

0:09:21.853,0:09:26.515
並沒有必然的聯繫。

0:09:27.321,0:09:31.115
假設我們給予人工智慧的目標[br]是讓人類笑。

0:09:31.115,0:09:34.097
當人工智慧比較弱時，[br]它會做出有用的或是好笑的動作

0:09:34.097,0:09:36.614
以讓使用者笑出來。

0:09:36.614,0:09:39.031
當人工智慧演化成超級智慧的時後，

0:09:39.031,0:09:42.554
它會體認到有更有效的方法[br]可以達到這個目標：

0:09:42.554,0:09:44.476
控制這個世界

0:09:44.476,0:09:47.638
然後在人類的臉部肌肉上連接電級

0:09:47.638,0:09:50.579
以使這個人不斷的微笑。

0:09:50.579,0:09:51.614
另外一個例子，

0:09:51.614,0:09:54.997
假設我們給人工智慧的目標是[br]解出一個非常困難的數學問題。

0:09:54.997,0:09:56.934
當人工智慧變成超級智慧時，

0:09:56.934,0:10:01.105
它會體認到最有效的方法是

0:10:01.105,0:10:04.035
把整個地球轉化成[br]一部超大號的電腦，

0:10:04.035,0:10:06.281
進而增加它自己的運算能力。

0:10:06.281,0:10:09.045
注意到這個模式[br]會給人工智慧理由去做

0:10:09.045,0:10:11.561
我們可能不認可的事情。

0:10:11.561,0:10:13.496
在這個模型裡面人類是威脅，

0:10:13.496,0:10:16.417
我們可能會在解開數學問題[br]的過程中成為阻礙。

0:10:17.207,0:10:20.701
當然，在我們可預見的範圍內，[br]事情不會以這種方式出錯；

0:10:20.701,0:10:22.454
這些是誇大的例子。

0:10:22.454,0:10:24.393
但是它指出的概念很重要：

0:10:24.393,0:10:27.266
如果你創造了一個[br]非常強大的優化流程

0:10:27.266,0:10:29.500
要最大化目標X，

0:10:29.500,0:10:31.776
你最好確保你對目標X的定義

0:10:31.776,0:10:34.245
包含了所有你所在意的事情。

0:10:34.835,0:10:39.219
這也是在很多神話故事中[br]教導的寓意。

0:10:39.219,0:10:44.517
希臘神話中的米達斯國王希望[br]他碰到的所有東西都可以變成金子。

0:10:44.517,0:10:47.378
他碰到了他的女兒， [br]她變成了黃金。

0:10:47.378,0:10:49.931
他碰到了他的食物，[br]他的食物也變成了黃金。

0:10:49.931,0:10:52.520
這實際上跟我們的題目有關，

0:10:52.520,0:10:54.590
不僅僅是對貪婪的隱喻，

0:10:54.590,0:10:56.485
但也指出了如果你創造了[br]一個強大的優化流程

0:10:56.485,0:10:59.322
但同時給了它[br]不正確或不精確的目標後

0:10:59.322,0:11:04.111
會發生什麼事。

0:11:04.111,0:11:09.300
你可能會說，如果電腦系統[br]開始在人臉上安裝電極，

0:11:09.300,0:11:11.565
我們可以直接把他關掉就好了。

0:11:12.555,0:11:17.895
一、這並不一定容易做到，如果我們[br]已經對這個系統產生依賴性 ——

0:11:17.895,0:11:20.627
比如：你知道網際網路的開關在哪裡嗎？

0:11:20.627,0:11:25.747
二、為什麼黑猩猩當初[br]沒有把人類的開關關掉？

0:11:25.747,0:11:27.298
或是尼安德特人？

0:11:27.298,0:11:29.964
他們有很明顯的理由要這麼做，

0:11:29.964,0:11:32.759
而我們的開關就在這裡：

0:11:32.759,0:11:34.313
(窒息聲)

0:11:34.313,0:11:37.238
原因是人類是很聰明的敵人；

0:11:37.238,0:11:39.966
我們可以預見威脅[br]並為其做出準備。

0:11:39.966,0:11:42.470
但一個超級智慧也會，

0:11:42.470,0:11:45.724
而且它的能力將比我們強大的多。

0:11:45.724,0:11:52.911
我想要說的一點是，我們不應該[br]覺得一切都在我們的掌握之中。

0:11:52.911,0:11:56.358
我們可能可以藉由[br]把AI放到一個盒子裡面

0:11:56.358,0:11:57.948
來給我們更多的掌握，

0:11:57.948,0:11:59.744
就像是一個獨立的軟體環境，

0:11:59.744,0:12:02.766
一個AI無法逃脫的虛擬實境。

0:12:02.766,0:12:06.912
但是我們有多大的信心[br]這個AI不會找到漏洞？

0:12:06.912,0:12:10.081
就算只是人類駭客，[br]他們還經常找出漏洞。

0:12:10.081,0:12:13.117
我想我們不是很有信心。

0:12:14.237,0:12:18.785
那所以我們把網路線拔掉，[br]製造一個物理間隙，

0:12:18.785,0:12:21.453
但同樣的，就算只是人類駭客

0:12:21.453,0:12:24.834
也經常可以利用社交工程陷阱[br]來突破物理間隙。

0:12:24.834,0:12:26.093
現在，在我在台上說話的同時

0:12:26.093,0:12:28.482
我確定在世界的某一個角落裡[br]有一名公司職員

0:12:28.482,0:12:31.828
才剛剛被自稱來自IT部門[br]的人士說服(詐騙)

0:12:31.828,0:12:34.574
並交出了她的帳戶信息。

0:12:34.574,0:12:36.701
更天馬行空的狀況也可能會發生，

0:12:36.701,0:12:38.016
就像是如果你是AI，

0:12:38.016,0:12:41.548
你可以想像藉由擺動你體內的電路

0:12:41.548,0:12:45.010
然後創造出無線電波，[br]用以與外界溝通。

0:12:45.010,0:12:47.434
或這你可以假裝有故障，

0:12:47.434,0:12:50.931
然後當程式設計師[br]把你打開檢查哪裡出錯時，

0:12:50.931,0:12:52.867
他們找出了原始碼 --梆--

0:12:52.867,0:12:55.314
你可以在此做出操控。

0:12:55.314,0:12:58.744
或這它可以做出一個[br]很巧妙的科技藍圖，

0:12:58.744,0:13:00.142
當我們實施這個藍圖後，

0:13:00.142,0:13:04.539
它會產生一些AI計劃好的[br]秘密副作用。

0:13:04.539,0:13:08.002
寓意是我們不能[br]對我們控制人工智慧的能力

0:13:08.002,0:13:11.810
具有太大的信心

0:13:11.810,0:13:14.064
它終究會逃脫出來，[br]只是時間問題而已。

0:13:15.034,0:13:18.137
我覺得解方是我們需要弄清楚

0:13:18.137,0:13:23.161
如何創造出一個超級智慧， [br]哪怕是它逃出來了，

0:13:23.161,0:13:26.438
它還是安全的，[br]因為它是站在我們這一邊的

0:13:26.438,0:13:28.337
因為它擁有了我們的價值觀。

0:13:28.337,0:13:31.547
我們沒有辦法避免這個艱難的問題。

0:13:32.557,0:13:36.391
但是我覺得我們可以解決這個問題。

0:13:36.391,0:13:40.294
我們並不需要把[br]我們在乎的所有事物寫下來，

0:13:40.294,0:13:43.937
或更麻煩的把這些事物[br]寫成電腦程式語言

0:13:43.937,0:13:45.391
像是 C++或 Python，

0:13:45.391,0:13:48.158
這是個不可能完成的任務。

0:13:48.158,0:13:52.455
與其，我們可以創造出[br]一個人工智慧，它用它自己的智慧

0:13:52.455,0:13:55.226
來學習我們的價值觀，

0:13:55.226,0:14:00.506
它的激勵機制要設計成[br]會讓它想要

0:14:00.506,0:14:05.738
來追求我們的價值觀或者[br]去做它認為我們會贊成的事情。

0:14:05.738,0:14:09.152
藉此我們可以最大化地[br]利用到它們的智慧

0:14:09.152,0:14:11.897
來解決這個價值觀的問題。

0:14:12.727,0:14:14.239
這個是有可能的，

0:14:14.239,0:14:17.835
而且這個的結果[br]可對人類是非常有益的。

0:14:17.835,0:14:21.792
但是它不會自動發生。

0:14:21.792,0:14:24.790
如果我們需要控制[br]這個智慧的大爆炸，

0:14:24.790,0:14:27.653
那智慧大爆炸的初始條件

0:14:27.653,0:14:31.183
需要被正確的建立起來。

0:14:31.183,0:14:33.801
人工智慧的價值觀[br]要和我們的一致，

0:14:33.801,0:14:35.561
並不只是在常見的狀況下，

0:14:35.561,0:14:37.999
比如我們可以[br]很簡單低檢查它的行為，

0:14:37.999,0:14:41.233
但也要在未來所有人工智慧[br]可能會遇到的情況下

0:14:41.233,0:14:42.790
保持價值觀的一致。

0:14:42.790,0:14:47.527
還有很多深奧的問題需要被解決：

0:14:47.527,0:14:49.616
它們決策概念的所有細節，

0:14:49.616,0:14:52.480
它如何面對解決[br]邏輯不確定性的情況等問題。

0:14:53.330,0:14:56.432
所以技術上待解決的問題

0:14:56.432,0:14:57.545
讓這個任務看起來蠻難的 --

0:14:57.545,0:15:00.925
還沒有像做出一個超級智慧[br]那樣的難，

0:15:00.925,0:15:03.793
但還是挺難的。

0:15:03.793,0:15:05.488
我們所擔心的是：

0:15:05.488,0:15:10.172
創造出一個超級智慧[br]是一個很難的挑戰。

0:15:10.172,0:15:12.720
創造出一個安全的超級智慧

0:15:12.720,0:15:15.136
是一個更大的挑戰。

0:15:16.216,0:15:19.703
最大的風險在於[br]有人想出了如何解決第一個難題

0:15:19.703,0:15:22.704
但是沒有解決第二個問題

0:15:22.704,0:15:24.605
來確保安全性萬無一失。

0:15:25.375,0:15:28.706
所以我覺得我們應該先想出

0:15:28.706,0:15:31.528
如何"控制"的方法。

0:15:31.528,0:15:34.188
這樣當我們需要的時候[br]我們可以用的到它。

0:15:34.768,0:15:38.275
現在也許我們無法[br]完全解決「控制」的問題

0:15:38.275,0:15:41.299
因為有時候你要了解[br]你所想要控制的架構後

0:15:41.299,0:15:45.296
你才能知道如何實施。

0:15:45.296,0:15:48.676
但是如果我們可以[br]事先解決更多的難題

0:15:48.676,0:15:52.766
我們順利的進入到[br]機器智能時代的機率

0:15:52.766,0:15:54.306
就會更高。

0:15:54.306,0:15:58.950
這對我來說是一個值得挑戰的事情

0:15:58.950,0:16:02.282
而且我能想像到如果一切順利的話，

0:16:02.282,0:16:06.940
我們的後代，幾百萬年以後的人類[br]回顧我們這個時代的時候

0:16:06.940,0:16:10.942
他們可能會說我們[br]所做的最重要的事就是

0:16:10.942,0:16:12.509
把這個事情弄對了。

0:16:12.509,0:16:14.198
謝謝

0:16:14.198,0:16:17.011
(觀眾掌聲)