[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.57,0:00:04.78,Default,,0000,0000,0000,,我和一些数学家、\N哲学家和电脑学家一起工作，
Dialogue: 0,0:00:04.78,0:00:09.99,Default,,0000,0000,0000,,我们会坐在一起思考未来的机械智能，
Dialogue: 0,0:00:09.99,0:00:12.03,Default,,0000,0000,0000,,和其他的一些事情。
Dialogue: 0,0:00:12.03,0:00:16.76,Default,,0000,0000,0000,,有的人认为这类事情只是科幻，
Dialogue: 0,0:00:16.76,0:00:19.86,Default,,0000,0000,0000,,不切实际，很疯狂。
Dialogue: 0,0:00:19.86,0:00:21.33,Default,,0000,0000,0000,,但是我想说，
Dialogue: 0,0:00:21.33,0:00:24.93,Default,,0000,0000,0000,,好吧，那我们来看看人类现状吧。
Dialogue: 0,0:00:24.93,0:00:26.62,Default,,0000,0000,0000,,（笑）
Dialogue: 0,0:00:26.62,0:00:29.02,Default,,0000,0000,0000,,这是世间一种常态。
Dialogue: 0,0:00:29.02,0:00:31.31,Default,,0000,0000,0000,,但是如果我们去思考，
Dialogue: 0,0:00:31.31,0:00:34.60,Default,,0000,0000,0000,,我们人类，其实相当晚才
Dialogue: 0,0:00:34.60,0:00:36.68,Default,,0000,0000,0000,,出现在这个星球上。
Dialogue: 0,0:00:36.68,0:00:41.43,Default,,0000,0000,0000,,想一想，如果地球是一年前才被创造的，
Dialogue: 0,0:00:41.43,0:00:44.98,Default,,0000,0000,0000,,人类，那么，10分钟前才出现。
Dialogue: 0,0:00:44.98,0:00:48.15,Default,,0000,0000,0000,,然后工业时代两秒钟前刚刚开始。
Dialogue: 0,0:00:49.28,0:00:54.50,Default,,0000,0000,0000,,另一种看待这件事的方式是去\N想一下在过去一万年间的世界 GDP 状况。
Dialogue: 0,0:00:54.50,0:00:57.53,Default,,0000,0000,0000,,我其实真的试着去做了一个统计图。
Dialogue: 0,0:00:57.53,0:00:59.30,Default,,0000,0000,0000,,就是这样。
Dialogue: 0,0:00:59.30,0:01:00.67,Default,,0000,0000,0000,,（笑）
Dialogue: 0,0:01:00.67,0:01:02.82,Default,,0000,0000,0000,,这是个令人好奇的形状，正常情况下。
Dialogue: 0,0:01:02.82,0:01:04.52,Default,,0000,0000,0000,,我确定我不想坐在上面。
Dialogue: 0,0:01:04.52,0:01:07.07,Default,,0000,0000,0000,,（笑）
Dialogue: 0,0:01:07.07,0:01:11.84,Default,,0000,0000,0000,,让我们扪心自问，到底是什么造成了\N如此不寻常的现状？
Dialogue: 0,0:01:11.84,0:01:14.39,Default,,0000,0000,0000,,一些人会说，因为科技。
Dialogue: 0,0:01:14.39,0:01:19.06,Default,,0000,0000,0000,,对于现在来说是对的，科技是人类历史\N不断积累下来的果实。
Dialogue: 0,0:01:19.06,0:01:23.71,Default,,0000,0000,0000,,现在，科技发展十分迅速：
Dialogue: 0,0:01:23.71,0:01:25.28,Default,,0000,0000,0000,,这是个直接原因，
Dialogue: 0,0:01:25.28,0:01:27.84,Default,,0000,0000,0000,,这就是为什么我们现在生产效率如此高。
Dialogue: 0,0:01:28.47,0:01:32.13,Default,,0000,0000,0000,,但是我想探究更远的在未来的终极原因。
Dialogue: 0,0:01:33.11,0:01:36.88,Default,,0000,0000,0000,,看这两个非常不同的男士：
Dialogue: 0,0:01:36.88,0:01:38.48,Default,,0000,0000,0000,,这是 Kanzi，
Dialogue: 0,0:01:38.48,0:01:43.12,Default,,0000,0000,0000,,他已经掌握了 200 个词法标记，\N一个难以置信的成就。
Dialogue: 0,0:01:43.12,0:01:46.82,Default,,0000,0000,0000,,Ed Witten 开创了第二个令人惊人的创新。
Dialogue: 0,0:01:46.82,0:01:49.14,Default,,0000,0000,0000,,如果我们去看这些事物的本质，\N这是我们的发现：
Dialogue: 0,0:01:49.14,0:01:50.71,Default,,0000,0000,0000,,全都是一样的。
Dialogue: 0,0:01:50.71,0:01:52.52,Default,,0000,0000,0000,,一个稍微大了一点，
Dialogue: 0,0:01:52.52,0:01:55.28,Default,,0000,0000,0000,,也许它有一些特殊的技巧。
Dialogue: 0,0:01:55.28,0:01:59.09,Default,,0000,0000,0000,,但是，这些隐形的不同并没有很错综复杂，
Dialogue: 0,0:01:59.09,0:02:03.38,Default,,0000,0000,0000,,因为在我们和我们的祖先之间
Dialogue: 0,0:02:03.38,0:02:05.11,Default,,0000,0000,0000,,只有 25 万代人。
Dialogue: 0,0:02:05.11,0:02:08.96,Default,,0000,0000,0000,,我们知道复杂的机制\N需要很长的时间来进化得到。
Dialogue: 0,0:02:10.00,0:02:12.50,Default,,0000,0000,0000,,所以，一些相对小的变化，
Dialogue: 0,0:02:12.50,0:02:15.57,Default,,0000,0000,0000,,让我们从 Kanzi 变成了 Witten，
Dialogue: 0,0:02:15.57,0:02:20.11,Default,,0000,0000,0000,,从捡起掉下的树枝作为武器，\N到发射洲际导弹。
Dialogue: 0,0:02:20.84,0:02:24.77,Default,,0000,0000,0000,,因此，至今我们所办到的所有事情，
Dialogue: 0,0:02:24.77,0:02:26.15,Default,,0000,0000,0000,,以及我们所关心的事情，
Dialogue: 0,0:02:26.15,0:02:31.38,Default,,0000,0000,0000,,都取决于人大脑中细小的变化。
Dialogue: 0,0:02:32.65,0:02:36.31,Default,,0000,0000,0000,,因此得出的结论是：在未来，
Dialogue: 0,0:02:36.31,0:02:39.79,Default,,0000,0000,0000,,任何显著的思考基体的变化，
Dialogue: 0,0:02:39.79,0:02:42.99,Default,,0000,0000,0000,,都能带来巨大的后果。
Dialogue: 0,0:02:44.32,0:02:47.23,Default,,0000,0000,0000,,我的一些同事觉得我们即将会发明，
Dialogue: 0,0:02:47.23,0:02:51.13,Default,,0000,0000,0000,,足以深深地改变人类思考模式的科技。
Dialogue: 0,0:02:51.13,0:02:54.35,Default,,0000,0000,0000,,就是超级机能智慧。
Dialogue: 0,0:02:54.35,0:02:59.09,Default,,0000,0000,0000,,以前的人工智慧\N是把指令输入到一个箱子里。
Dialogue: 0,0:02:59.09,0:03:00.75,Default,,0000,0000,0000,,你需要人类程序员，
Dialogue: 0,0:03:00.75,0:03:03.89,Default,,0000,0000,0000,,来努力把知识转变成程序。
Dialogue: 0,0:03:03.89,0:03:05.97,Default,,0000,0000,0000,,你会建立起一些专业系统，
Dialogue: 0,0:03:05.97,0:03:08.30,Default,,0000,0000,0000,,它们有时候会有帮助，
Dialogue: 0,0:03:08.30,0:03:10.98,Default,,0000,0000,0000,,但是它们很生硬，你不能延展它们的功能。
Dialogue: 0,0:03:10.98,0:03:14.41,Default,,0000,0000,0000,,基本上你只能得到你放进去的东西。
Dialogue: 0,0:03:14.41,0:03:15.41,Default,,0000,0000,0000,,但是自从那时候开始，
Dialogue: 0,0:03:15.41,0:03:18.87,Default,,0000,0000,0000,,人工智能的领域发生了巨大的改变。
Dialogue: 0,0:03:18.87,0:03:21.64,Default,,0000,0000,0000,,现在主要的研究方向是机器的学习。
Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,所以，预期设计出知识的再现，
Dialogue: 0,0:03:28.51,0:03:34.06,Default,,0000,0000,0000,,我们写出具有从原始感官数据学习的程序，
Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,像婴儿一样。
Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,结果就不会局限于某个领域的人工智能：
Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,同一个系统可以学习两种语言之间的翻译
Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,或者学着玩 Atari 的游戏。
Dialogue: 0,0:03:53.34,0:03:55.12,Default,,0000,0000,0000,,当然，现在，
Dialogue: 0,0:03:55.12,0:03:59.12,Default,,0000,0000,0000,,人工智能还未能达到向人类一样，
Dialogue: 0,0:03:59.12,0:04:02.34,Default,,0000,0000,0000,,具有强大的跨领域学习能力。
Dialogue: 0,0:04:02.34,0:04:04.46,Default,,0000,0000,0000,,人类大脑还具有一些运算技巧，
Dialogue: 0,0:04:04.46,0:04:06.82,Default,,0000,0000,0000,,可是我们不知道如何\N将这些技巧用于机器。
Dialogue: 0,0:04:07.89,0:04:09.78,Default,,0000,0000,0000,,所以我们现在需要问：
Dialogue: 0,0:04:09.78,0:04:13.28,Default,,0000,0000,0000,,我们还要多久才可以\N让机器复制这种能力？
Dialogue: 0,0:04:14.24,0:04:15.33,Default,,0000,0000,0000,,几年前，
Dialogue: 0,0:04:15.33,0:04:18.22,Default,,0000,0000,0000,,我们对世界顶尖的人工智能专家\N做了一次问卷调查，
Dialogue: 0,0:04:18.22,0:04:21.44,Default,,0000,0000,0000,,来收集他们的想法，其中一道题目是：
Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,“到哪一年你觉得人类会有 50% 的可能性
Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,创造达到人类水平的人工智能？”
Dialogue: 0,0:04:28.78,0:04:32.97,Default,,0000,0000,0000,,我们把这样的人工智能定义为
Dialogue: 0,0:04:32.97,0:04:35.84,Default,,0000,0000,0000,,有能力将任何任务\N完成得至少和一名成年人一样好。
Dialogue: 0,0:04:35.84,0:04:39.84,Default,,0000,0000,0000,,所以是真正的人类级别，\N而不是仅限于一些领域。
Dialogue: 0,0:04:39.84,0:04:43.49,Default,,0000,0000,0000,,而答案的中位数是 2040 到 2050 年，
Dialogue: 0,0:04:43.49,0:04:46.30,Default,,0000,0000,0000,,取决于这些专家的群体。
Dialogue: 0,0:04:46.30,0:04:50.34,Default,,0000,0000,0000,,当然这个有可能要过很久才能实现，\N也有可能提前实现。
Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,没有人知道确切的时间。
Dialogue: 0,0:04:53.26,0:04:57.67,Default,,0000,0000,0000,,我们知道的事，\N处理信息的能力的最终点，
Dialogue: 0,0:04:57.67,0:05:02.54,Default,,0000,0000,0000,,比任何生物组织要大很多。
Dialogue: 0,0:05:03.24,0:05:05.62,Default,,0000,0000,0000,,这取决与物理原理。
Dialogue: 0,0:05:05.62,0:05:10.34,Default,,0000,0000,0000,,一个生物神经元所发出的脉冲频率\N大约位于 200 赫兹，每秒 200 次。
Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,但是就算是现在的电晶体\N都以千兆赫的频率运行。
Dialogue: 0,0:05:13.93,0:05:19.23,Default,,0000,0000,0000,,神经元在轴突中传输的速度较慢，\N最多 100 米每秒。
Dialogue: 0,0:05:19.23,0:05:22.34,Default,,0000,0000,0000,,但在电脑里，信号是以光速传播的。
Dialogue: 0,0:05:23.08,0:05:24.95,Default,,0000,0000,0000,,另外还有尺寸的限制，
Dialogue: 0,0:05:24.95,0:05:27.98,Default,,0000,0000,0000,,就像人类的大脑只能有颅骨那么大，
Dialogue: 0,0:05:27.98,0:05:32.74,Default,,0000,0000,0000,,但是一个电脑可以和仓库一样大，甚至更大。
Dialogue: 0,0:05:32.74,0:05:38.34,Default,,0000,0000,0000,,因此超级智慧的潜能正潜伏在物质之中，
Dialogue: 0,0:05:38.34,0:05:44.05,Default,,0000,0000,0000,,就像原子能潜伏在人类历史中一样，
Dialogue: 0,0:05:44.05,0:05:48.45,Default,,0000,0000,0000,,直到 1945。
Dialogue: 0,0:05:48.45,0:05:49.70,Default,,0000,0000,0000,,在这个世纪里，
Dialogue: 0,0:05:49.70,0:05:53.82,Default,,0000,0000,0000,,科学家可能能将人工智慧的力量唤醒。
Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,那时候我觉得我们会看到智慧大爆发。
Dialogue: 0,0:05:58.41,0:06:02.36,Default,,0000,0000,0000,,大部分的人，当他们想\N什么是聪明什么是笨的时候，
Dialogue: 0,0:06:02.36,0:06:05.39,Default,,0000,0000,0000,,他们脑子里的画面是这样的：
Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,一边是村子里的傻子，
Dialogue: 0,0:06:07.98,0:06:10.47,Default,,0000,0000,0000,,一边是
Dialogue: 0,0:06:10.47,0:06:15.22,Default,,0000,0000,0000,,Ed Witten 或 Albert Einstein，\N或者其他大师。
Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,但是我觉得从人工智能的观点来看，
Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,真正的画面也许是这样：
Dialogue: 0,0:06:23.26,0:06:26.64,Default,,0000,0000,0000,,人工智能从这一点开始，零智慧。
Dialogue: 0,0:06:26.64,0:06:29.65,Default,,0000,0000,0000,,然后，在许多许多辛劳工作后，
Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,也许最终我们能达到老鼠级别的智慧，
Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,能在混乱中找到开出一条道路，
Dialogue: 0,0:06:35.92,0:06:37.91,Default,,0000,0000,0000,,像一只老鼠一样。
Dialogue: 0,0:06:37.91,0:06:42.22,Default,,0000,0000,0000,,之后，在更多更多年的辛苦研究\N和投资之后，
Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,也许最终我们能到达黑猩猩级人工智能。
Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,在后来，更多年的研究之后，
Dialogue: 0,0:06:50.07,0:06:52.98,Default,,0000,0000,0000,,我们能够达到村里的傻子级别的人工智能。
Dialogue: 0,0:06:52.98,0:06:56.26,Default,,0000,0000,0000,,在一段时间之后，\N我们能超越 Ed Witten。
Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,这列火车不会在“人类站”就停下。
Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,它比较可能会呼啸而过。
Dialogue: 0,0:07:02.25,0:07:04.23,Default,,0000,0000,0000,,现在这个有深远的寓意，
Dialogue: 0,0:07:04.23,0:07:08.09,Default,,0000,0000,0000,,尤其是当我们谈到力量权利的时候。
Dialogue: 0,0:07:08.09,0:07:09.99,Default,,0000,0000,0000,,比如，黑猩猩很强壮：
Dialogue: 0,0:07:09.99,0:07:15.21,Default,,0000,0000,0000,,同等的体重，一个黑猩猩是\N两个健康男性那么强壮。
Dialogue: 0,0:07:15.21,0:07:19.83,Default,,0000,0000,0000,,然而，Kanzi 和他的朋友们的命运\N更多取决于
Dialogue: 0,0:07:19.83,0:07:23.97,Default,,0000,0000,0000,,我们人类能做到什么，\N而不是猩猩能做到什么。
Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,当超级智慧出现的时候，
Dialogue: 0,0:07:27.54,0:07:31.38,Default,,0000,0000,0000,,人类的命运也许会取决于\N那个超级智慧体要做什么。
Dialogue: 0,0:07:32.45,0:07:33.51,Default,,0000,0000,0000,,想一想：
Dialogue: 0,0:07:33.51,0:07:38.55,Default,,0000,0000,0000,,机器智慧是人类需要创造的最后一个东西。
Dialogue: 0,0:07:38.55,0:07:41.52,Default,,0000,0000,0000,,机器在那之后会比我们更擅长创造，
Dialogue: 0,0:07:41.52,0:07:44.06,Default,,0000,0000,0000,,他们也会在数位时间里这样做。
Dialogue: 0,0:07:44.06,0:07:48.97,Default,,0000,0000,0000,,这个意味着一个被缩短的未来。
Dialogue: 0,0:07:48.97,0:07:52.52,Default,,0000,0000,0000,,想一下你曾想象过的所有的疯狂的科技，
Dialogue: 0,0:07:52.52,0:07:55.32,Default,,0000,0000,0000,,也许人类可以在适当的时候完成：
Dialogue: 0,0:07:55.32,0:07:58.58,Default,,0000,0000,0000,,终结衰老、宇宙殖民、
Dialogue: 0,0:07:58.58,0:08:02.31,Default,,0000,0000,0000,,自我复制的纳米机器人\N和大脑到电脑的传输，
Dialogue: 0,0:08:02.31,0:08:04.47,Default,,0000,0000,0000,,诸如此类的看似仅存在于科幻
Dialogue: 0,0:08:04.47,0:08:07.21,Default,,0000,0000,0000,,却有同时符合物理法则的元素。
Dialogue: 0,0:08:07.21,0:08:11.42,Default,,0000,0000,0000,,超级智慧有办法开发出这些东西，也许更快。
Dialogue: 0,0:08:12.45,0:08:16.01,Default,,0000,0000,0000,,现在，一个拥有如此成熟科技的超级智慧体
Dialogue: 0,0:08:16.01,0:08:18.19,Default,,0000,0000,0000,,将会是非常强大，
Dialogue: 0,0:08:18.19,0:08:22.73,Default,,0000,0000,0000,,至少在一些情况下，\N它能得到它想要的东西。
Dialogue: 0,0:08:22.73,0:08:28.39,Default,,0000,0000,0000,,我们的未来就将会被\N这个超级智慧体的喜好所主宰。
Dialogue: 0,0:08:29.86,0:08:33.60,Default,,0000,0000,0000,,现在的问题就是，\N这些喜好是什么呢？\N
Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,这很棘手。
Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,要在这个领域取得进步，
Dialogue: 0,0:08:37.45,0:08:40.72,Default,,0000,0000,0000,,我们必须避免将机器智慧人格化。
Dialogue: 0,0:08:41.93,0:08:45.24,Default,,0000,0000,0000,,这一点很讽刺，\N因为每一个关于人工智能的未来
Dialogue: 0,0:08:45.24,0:08:49.09,Default,,0000,0000,0000,,的新闻报道，都会有这个图片：
Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,所以我觉得我们必须\N用更抽象的方法看待这个问题，
Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,而不是在好莱坞电影的叙事之下。
Dialogue: 0,0:08:57.20,0:09:00.82,Default,,0000,0000,0000,,我们需要把智慧看做是一个优化的过程，
Dialogue: 0,0:09:00.82,0:09:06.47,Default,,0000,0000,0000,,一个能把未来引导至\N一个特殊组合结构的过程。
Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,一个超级智慧体是一个\N非常强大的优化过程。
Dialogue: 0,0:09:09.98,0:09:13.28,Default,,0000,0000,0000,,它将会擅长利用资源来
Dialogue: 0,0:09:13.28,0:09:16.01,Default,,0000,0000,0000,,达到自己的目标。
Dialogue: 0,0:09:16.45,0:09:19.12,Default,,0000,0000,0000,,这意味着有着高智慧和
Dialogue: 0,0:09:19.12,0:09:21.85,Default,,0000,0000,0000,,拥有一个对人类来说有用的目标之间
Dialogue: 0,0:09:21.85,0:09:26.52,Default,,0000,0000,0000,,并没有必然的联系。
Dialogue: 0,0:09:27.32,0:09:31.12,Default,,0000,0000,0000,,假设我们给予人工智慧的目的是让人笑，
Dialogue: 0,0:09:31.12,0:09:34.10,Default,,0000,0000,0000,,当人工智能弱的时候，\N它能做出有用或好笑的表演，
Dialogue: 0,0:09:34.10,0:09:36.61,Default,,0000,0000,0000,,这样它的使用者就会笑了。
Dialogue: 0,0:09:36.61,0:09:39.03,Default,,0000,0000,0000,,当人工智能变成超级智慧体的时候，
Dialogue: 0,0:09:39.03,0:09:42.55,Default,,0000,0000,0000,,它会意识到有一个更有效的办法\N能达到这个效果：
Dialogue: 0,0:09:42.55,0:09:44.48,Default,,0000,0000,0000,,控制世界，
Dialogue: 0,0:09:44.48,0:09:47.64,Default,,0000,0000,0000,,在人类面部肌肉上插入电极
Dialogue: 0,0:09:47.64,0:09:50.58,Default,,0000,0000,0000,,来让人类不断地笑。
Dialogue: 0,0:09:50.58,0:09:51.61,Default,,0000,0000,0000,,另一个例子：
Dialogue: 0,0:09:51.61,0:09:54.100,Default,,0000,0000,0000,,假设我们给予人工智能的目标\N是解出很难的数学题，
Dialogue: 0,0:09:54.100,0:09:56.93,Default,,0000,0000,0000,,当人工智能变成超级智慧体的时候，
Dialogue: 0,0:09:56.93,0:10:01.10,Default,,0000,0000,0000,,它意识到有一个更有效的办法来解出问题，
Dialogue: 0,0:10:01.10,0:10:04.04,Default,,0000,0000,0000,,是把整个地球变成一个巨型电脑，
Dialogue: 0,0:10:04.04,0:10:06.28,Default,,0000,0000,0000,,这样它的运算能力就变更强大了。
Dialogue: 0,0:10:06.28,0:10:09.04,Default,,0000,0000,0000,,注意到这个是\N给予人工智能一个模式型的理由
Dialogue: 0,0:10:09.04,0:10:11.56,Default,,0000,0000,0000,,来做我们也许并不认可的事情。
Dialogue: 0,0:10:11.56,0:10:13.50,Default,,0000,0000,0000,,人类在这个模式中是威胁，
Dialogue: 0,0:10:13.50,0:10:16.42,Default,,0000,0000,0000,,我们可以人为地\N让这个数学问题不能被解出。
Dialogue: 0,0:10:17.21,0:10:20.70,Default,,0000,0000,0000,,当然了，我们预见\N这种事情不会错到这样的地步，
Dialogue: 0,0:10:20.70,0:10:22.45,Default,,0000,0000,0000,,这些是夸张的例子。
Dialogue: 0,0:10:22.45,0:10:24.39,Default,,0000,0000,0000,,但是它们所代表的主旨很重要：
Dialogue: 0,0:10:24.39,0:10:27.27,Default,,0000,0000,0000,,如果你创造了一个非常强大的优化过程
Dialogue: 0,0:10:27.27,0:10:29.50,Default,,0000,0000,0000,,来最大化目标 X，
Dialogue: 0,0:10:29.50,0:10:31.78,Default,,0000,0000,0000,,你最好保证你的意义上的 X
Dialogue: 0,0:10:31.78,0:10:34.24,Default,,0000,0000,0000,,包括了所有你在乎的事情。
Dialogue: 0,0:10:34.84,0:10:39.22,Default,,0000,0000,0000,,这是一个很多神话故事中都在传递的寓意。
Dialogue: 0,0:10:39.22,0:10:44.52,Default,,0000,0000,0000,,（希腊神话中）的 Midas 国王\N希望他碰到的所有东西都能变成金子。
Dialogue: 0,0:10:44.52,0:10:47.38,Default,,0000,0000,0000,,他碰到了他的女儿，她于是变成了金子。
Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,他碰到了食物，于是食物变成了金子。
Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,这个故事和我们的话题息息相关，
Dialogue: 0,0:10:52.52,0:10:54.59,Default,,0000,0000,0000,,并不只是因为它隐藏在对贪婪的暗喻，
Dialogue: 0,0:10:54.59,0:10:56.48,Default,,0000,0000,0000,,也是因为他指出了
Dialogue: 0,0:10:56.48,0:10:59.32,Default,,0000,0000,0000,,如果你创造出来一个强大的优化过程
Dialogue: 0,0:10:59.32,0:11:04.11,Default,,0000,0000,0000,,并且给他了一个错误的或者不精确的目标，\N后果会是什么。
Dialogue: 0,0:11:04.11,0:11:09.30,Default,,0000,0000,0000,,现在也许你会说，\N如果一个电脑开始在人类脸上插电极，
Dialogue: 0,0:11:09.30,0:11:11.56,Default,,0000,0000,0000,,我们会关掉它。
Dialogue: 0,0:11:12.56,0:11:17.90,Default,,0000,0000,0000,,第一，这不是一件容易事，\N如果我们变得非常依赖这个系统：
Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,比如，你知道互联网的开关在哪吗？
Dialogue: 0,0:11:20.63,0:11:25.75,Default,,0000,0000,0000,,第二，为什么当初黑猩猩\N没有关掉人类的开关，
Dialogue: 0,0:11:25.75,0:11:27.30,Default,,0000,0000,0000,,或者尼安德特人的开关？
Dialogue: 0,0:11:27.30,0:11:29.96,Default,,0000,0000,0000,,他们肯定有理由。
Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,我们有一个开关，比如，这里。
Dialogue: 0,0:11:32.76,0:11:34.31,Default,,0000,0000,0000,,（窒息声）
Dialogue: 0,0:11:34.31,0:11:37.24,Default,,0000,0000,0000,,之所以我们是聪明的敌人，
Dialogue: 0,0:11:37.24,0:11:39.97,Default,,0000,0000,0000,,因为我们可以预见到威胁并且尝试避免它。
Dialogue: 0,0:11:39.97,0:11:42.47,Default,,0000,0000,0000,,但是一个超级智慧体也可以，
Dialogue: 0,0:11:42.47,0:11:45.72,Default,,0000,0000,0000,,而且会做得更好。
Dialogue: 0,0:11:45.72,0:11:52.91,Default,,0000,0000,0000,,我们不应该很自信地\N表示我们能控制所有事情。
Dialogue: 0,0:11:52.91,0:11:56.36,Default,,0000,0000,0000,,为了把我们的工作变得更简单一点，\N我们应该试着，比如，
Dialogue: 0,0:11:56.36,0:11:57.95,Default,,0000,0000,0000,,把人工智能放进一个小盒子，
Dialogue: 0,0:11:57.95,0:11:59.74,Default,,0000,0000,0000,,想一个保险的软件环境，
Dialogue: 0,0:11:59.74,0:12:02.77,Default,,0000,0000,0000,,一个它无法逃脱的虚拟现实模拟器。
Dialogue: 0,0:12:02.77,0:12:06.91,Default,,0000,0000,0000,,但是我们有信心它不可能能发现一个漏洞，\N能让它逃出的漏洞吗？
Dialogue: 0,0:12:06.91,0:12:10.08,Default,,0000,0000,0000,,连人类黑客每时每刻都能发现网络漏洞，
Dialogue: 0,0:12:10.08,0:12:13.12,Default,,0000,0000,0000,,我会说，也许不是很有信心。
Dialogue: 0,0:12:14.24,0:12:18.78,Default,,0000,0000,0000,,所以我们断开以太网的链接来创建一个空隙，
Dialogue: 0,0:12:18.78,0:12:21.45,Default,,0000,0000,0000,,但是，重申一遍，人类黑客都可以
Dialogue: 0,0:12:21.45,0:12:24.83,Default,,0000,0000,0000,,一次又一次以社会工程跨越这样的空隙。
Dialogue: 0,0:12:24.83,0:12:26.09,Default,,0000,0000,0000,,现在，在我说话的时候，
Dialogue: 0,0:12:26.09,0:12:28.48,Default,,0000,0000,0000,,我肯定在这边的某个雇员，
Dialogue: 0,0:12:28.48,0:12:31.83,Default,,0000,0000,0000,,曾近被要求交出他的账户明细，
Dialogue: 0,0:12:31.83,0:12:34.57,Default,,0000,0000,0000,,给一个自称是电脑信息部门的人。
Dialogue: 0,0:12:34.57,0:12:36.70,Default,,0000,0000,0000,,其他的情况也有可能，
Dialogue: 0,0:12:36.70,0:12:38.02,Default,,0000,0000,0000,,比如如果你是人工智能，
Dialogue: 0,0:12:38.02,0:12:41.55,Default,,0000,0000,0000,,你可以想象你用在你的体内\N环绕复杂缠绕的电极
Dialogue: 0,0:12:41.55,0:12:45.01,Default,,0000,0000,0000,,创造出一种无线电波来交流。
Dialogue: 0,0:12:45.01,0:12:47.43,Default,,0000,0000,0000,,或者也许你可以假装你出了问题，
Dialogue: 0,0:12:47.43,0:12:50.93,Default,,0000,0000,0000,,然后程序师就把你打开看看哪里出错了，
Dialogue: 0,0:12:50.93,0:12:52.87,Default,,0000,0000,0000,,他们找出了源代码——Bang！——
Dialogue: 0,0:12:52.87,0:12:55.31,Default,,0000,0000,0000,,你就可以取得控制权了。
Dialogue: 0,0:12:55.31,0:12:58.74,Default,,0000,0000,0000,,或者它可以做出一个\N非常漂亮的科技蓝图，
Dialogue: 0,0:12:58.74,0:13:00.14,Default,,0000,0000,0000,,当我们实现之后，
Dialogue: 0,0:13:00.14,0:13:04.54,Default,,0000,0000,0000,,它有一些被人工智能计划好的\N秘密的副作用。
Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,所以我们不能\N对我们能够永远控制
Dialogue: 0,0:13:08.00,0:13:11.81,Default,,0000,0000,0000,,一个超级智能体的能力\N表示过度自信。
Dialogue: 0,0:13:11.81,0:13:14.06,Default,,0000,0000,0000,,在不久后，它会逃脱出来。
Dialogue: 0,0:13:15.03,0:13:18.14,Default,,0000,0000,0000,,我相信我们需要弄明白
Dialogue: 0,0:13:18.14,0:13:23.16,Default,,0000,0000,0000,,如何创造出超级人工智能体，哪怕它逃走了，
Dialogue: 0,0:13:23.16,0:13:26.44,Default,,0000,0000,0000,,它仍然是无害的，因为它是我们这一边的，
Dialogue: 0,0:13:26.44,0:13:28.34,Default,,0000,0000,0000,,因为它有我们的价值观。
Dialogue: 0,0:13:28.34,0:13:31.55,Default,,0000,0000,0000,,我认为这是个不可避免的问题。
Dialogue: 0,0:13:32.56,0:13:36.39,Default,,0000,0000,0000,,现在，我对这个问题能否被解决保持乐观。
Dialogue: 0,0:13:36.39,0:13:40.29,Default,,0000,0000,0000,,我们不需要写下\N所有我们在乎的事情，
Dialogue: 0,0:13:40.29,0:13:43.94,Default,,0000,0000,0000,,或者，更糟地，把这些事情变成计算机语言，
Dialogue: 0,0:13:43.94,0:13:45.39,Default,,0000,0000,0000,,C++ 或者 Python，
Dialogue: 0,0:13:45.39,0:13:48.16,Default,,0000,0000,0000,,这是个不可能的任务。
Dialogue: 0,0:13:48.16,0:13:52.46,Default,,0000,0000,0000,,而是，我们会创造出一个人工智能机器人，\N用它自己的智慧
Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,来学习我们的价值观，
Dialogue: 0,0:13:55.23,0:14:00.51,Default,,0000,0000,0000,,它的激励制度可以激励它
Dialogue: 0,0:14:00.51,0:14:05.74,Default,,0000,0000,0000,,来追求我们的价值观\N或者去做我们会赞成的事情。
Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,我们会因此最大地提高它的智力，
Dialogue: 0,0:14:09.15,0:14:11.90,Default,,0000,0000,0000,,来解决富有价值的问题。
Dialogue: 0,0:14:12.73,0:14:14.24,Default,,0000,0000,0000,,这是有可能的，
Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,结果可以使人类非常受益。
Dialogue: 0,0:14:17.84,0:14:21.79,Default,,0000,0000,0000,,但它不是自动发生的。
Dialogue: 0,0:14:21.79,0:14:24.79,Default,,0000,0000,0000,,智慧大爆炸的初始条件
Dialogue: 0,0:14:24.79,0:14:27.65,Default,,0000,0000,0000,,需要被正确地建立起来，
Dialogue: 0,0:14:27.65,0:14:31.18,Default,,0000,0000,0000,,如果我们想要一切在掌握之中。
Dialogue: 0,0:14:31.18,0:14:33.80,Default,,0000,0000,0000,,人工智能的价值观\N要和我们的价值观相辅相成，
Dialogue: 0,0:14:33.80,0:14:35.56,Default,,0000,0000,0000,,不只是在熟悉的情况下，
Dialogue: 0,0:14:35.56,0:14:37.100,Default,,0000,0000,0000,,比如当我们能很容易检查它的行为的时候，
Dialogue: 0,0:14:37.100,0:14:41.23,Default,,0000,0000,0000,,但也要在所有人工智能可能会遇到的\N前所未有的情况下，
Dialogue: 0,0:14:41.23,0:14:42.79,Default,,0000,0000,0000,,在没有界限的未来，\N与我们的价值观相辅相成。
Dialogue: 0,0:14:42.79,0:14:47.53,Default,,0000,0000,0000,,也有很多深奥的问题需要被分拣解决：
Dialogue: 0,0:14:47.53,0:14:49.62,Default,,0000,0000,0000,,它如何做决定，
Dialogue: 0,0:14:49.62,0:14:52.48,Default,,0000,0000,0000,,如何解决逻辑不确定性和类似的情况。
Dialogue: 0,0:14:53.33,0:14:56.43,Default,,0000,0000,0000,,所以技术上的待解决问题让这个任务
Dialogue: 0,0:14:56.43,0:14:57.54,Default,,0000,0000,0000,,看起来有些困难：
Dialogue: 0,0:14:57.54,0:15:00.92,Default,,0000,0000,0000,,并没有像做出一个超级智慧体一样困难，
Dialogue: 0,0:15:00.92,0:15:03.79,Default,,0000,0000,0000,,但是还是很难。
Dialogue: 0,0:15:03.79,0:15:05.49,Default,,0000,0000,0000,,这使我们所担心的：
Dialogue: 0,0:15:05.49,0:15:10.17,Default,,0000,0000,0000,,创造出一个超级智慧体确实是个很大的挑战。
Dialogue: 0,0:15:10.17,0:15:12.72,Default,,0000,0000,0000,,创造出一个安全的超级智慧体，
Dialogue: 0,0:15:12.72,0:15:15.14,Default,,0000,0000,0000,,是个更大的挑战。
Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,风险是，如果有人有办法解决第一个难题，
Dialogue: 0,0:15:19.70,0:15:22.70,Default,,0000,0000,0000,,却无法解决第二个
Dialogue: 0,0:15:22.70,0:15:24.60,Default,,0000,0000,0000,,确保安全性的挑战。
Dialogue: 0,0:15:25.38,0:15:28.71,Default,,0000,0000,0000,,所以我认为我们应该预先想出
Dialogue: 0,0:15:28.71,0:15:31.53,Default,,0000,0000,0000,,“控制性”的解决方法，
Dialogue: 0,0:15:31.53,0:15:34.19,Default,,0000,0000,0000,,这样我们就能在需要的时候用到它了。
Dialogue: 0,0:15:34.77,0:15:38.28,Default,,0000,0000,0000,,现在也许我们并不能\N预先解决全部的控制性问题，
Dialogue: 0,0:15:38.28,0:15:41.30,Default,,0000,0000,0000,,因为有些因素需要你了解
Dialogue: 0,0:15:41.30,0:15:45.30,Default,,0000,0000,0000,,你要应用到的那个构架的细节才能实施。
Dialogue: 0,0:15:45.30,0:15:48.68,Default,,0000,0000,0000,,但如果我们能解决更多控制性的难题，
Dialogue: 0,0:15:48.68,0:15:52.77,Default,,0000,0000,0000,,当我们迈入机器智能时代后
Dialogue: 0,0:15:52.77,0:15:54.31,Default,,0000,0000,0000,,就能更加顺利。
Dialogue: 0,0:15:54.31,0:15:58.95,Default,,0000,0000,0000,,这对于我来说是个值得一试的东西，
Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,而且我能想象，如果一切顺利，
Dialogue: 0,0:16:02.28,0:16:06.94,Default,,0000,0000,0000,,几百万年后的人类回首我们这个世纪，
Dialogue: 0,0:16:06.94,0:16:10.94,Default,,0000,0000,0000,,他们也许会说，\N我们所做的最最重要的事情，
Dialogue: 0,0:16:10.94,0:16:12.51,Default,,0000,0000,0000,,就是做了这个正确的决定。
Dialogue: 0,0:16:12.51,0:16:14.20,Default,,0000,0000,0000,,谢谢。
Dialogue: 0,0:16:14.20,0:16:17.01,Default,,0000,0000,0000,,（掌声）