0:00:01.018,0:00:02.719
克里斯 · 安德森（CA）：[br]尼克 · 博斯特罗姆（NB），

0:00:02.719,0:00:06.669
你为我们带来过这么多[br]疯狂的点子。

0:00:06.669,0:00:08.503
我记得大概二十年前，

0:00:08.503,0:00:11.261
你曾提出[br]我们可能都正在，或曾经

0:00:11.261,0:00:13.128
生活在一个模拟世界里。

0:00:13.128,0:00:14.628
最近，

0:00:14.628,0:00:19.230
你用最生动的案例来说明[br]通用人工智能

0:00:19.230,0:00:21.248
可能会带来的非常可怕的问题。

0:00:21.716,0:00:23.065
接着今年，

0:00:23.065,0:00:26.381
你即将发表一篇论文，

0:00:26.386,0:00:29.237
题目为《脆弱世界假说》。

0:00:29.237,0:00:33.906
而今天晚上我们的任务[br]就是来简析这篇文章。

0:00:34.372,0:00:36.290
来我们开始吧。

0:00:36.790,0:00:38.691
假设前提是什么呢？

0:00:39.860,0:00:42.379
尼克 · 博斯特罗姆（NB）：[br]这篇文章在试图讨论

0:00:42.379,0:00:45.529
人类现状的一种结构化特征。

0:00:47.047,0:00:49.398
我知道你喜欢摸球游戏的比喻，

0:00:49.398,0:00:51.386
那我就用它来解释。

0:00:51.386,0:00:55.705
想象一个很大的缸中装满了小球，

0:00:55.705,0:00:59.775
小球代表[br]各种观点、方法，和可能的技术。

0:01:00.833,0:01:04.482
你可以把人类的创造历史

0:01:04.482,0:01:08.316
当作把手伸向这个缸[br]并从中不断取出小球的过程，

0:01:08.316,0:01:11.552
目前为止的净效益[br]已创造了极大的收益，对吧？

0:01:11.552,0:01:14.320
我们取出了很多很多白色的小球，

0:01:14.320,0:01:17.337
一些或深或浅的灰色的小球，[br]有好有坏。

0:01:17.987,0:01:21.022
我们至今[br]还没有拿到过黑色的小球——

0:01:22.172,0:01:27.676
也就是一个必定会[br]摧毁其所属文明的技术。

0:01:27.676,0:01:30.961
这篇论文试图讨论的就是[br]这个黑球可能会是什么。

0:01:30.961,0:01:32.840
CA：所以你将这个球

0:01:32.840,0:01:36.147
定义为必将摧毁文明的存在。

0:01:36.147,0:01:41.783
NB：除非我们停止这种我称之为[br]半无政府的默认条件，

0:01:41.783,0:01:43.501
或者说默认状态。

0:01:44.235,0:01:47.984
CA：也就是说你利用了一些反例

0:01:47.984,0:01:50.041
做为有力佐证来说明你的观点，

0:01:50.041,0:01:52.687
比如说你相信到目前为止[br]我们仅仅是走运，

0:01:52.687,0:01:55.584
而且我们在不知情的情况下，

0:01:55.584,0:01:57.494
很可能已经取出了死亡之球。

0:01:57.494,0:01:59.603
我记得有句名言，是什么来着？

0:02:00.536,0:02:03.171
NB：我猜我只是想阐明

0:02:03.171,0:02:06.321
预测基本发现[br]在未来可能的作用潜力的

0:02:06.321,0:02:08.071
困难程度。

0:02:08.071,0:02:11.106
我们真的不具备那样的能力。

0:02:11.106,0:02:14.508
因为对于取出小球，[br]我们已经轻车熟路，

0:02:14.508,0:02:18.259
但是我们并没有[br]把球放回缸里的能力。

0:02:18.259,0:02:20.610
我们可以发明，[br]但是我们不会回到发明前。

0:02:21.462,0:02:24.145
很显然我们的战略，

0:02:24.145,0:02:26.697
就是祈祷缸里没有黑球。

0:02:26.697,0:02:30.732
CA：也就是说一旦把球取出来了[br]就没法再放回去了。

0:02:30.732,0:02:32.505
你觉得我们一直挺幸运。

0:02:32.505,0:02:34.611
在讲述这些例子的过程中，

0:02:34.611,0:02:37.679
你谈到了不同类型的弱点。

0:02:37.679,0:02:40.180
NB：最容易理解的一种类型是

0:02:40.180,0:02:43.213
不费吹灰之力

0:02:43.213,0:02:45.615
便能造成大规模破坏的技术。

0:02:47.299,0:02:50.805
合成生物技术可能成为[br]这样的黑球，

0:02:50.805,0:02:53.351
但同时我们可以利用它[br]做很多事情——

0:02:53.351,0:02:56.007
比如说地球工程，[br]非常棒，对吧？

0:02:56.007,0:02:58.314
我们可以利用它来应对全球变暖，

0:02:58.314,0:03:00.363
但是我们肯定不希望[br]这种技术变得唾手可得，

0:03:00.363,0:03:02.881
我们不希望某个路人和他的奶奶

0:03:02.881,0:03:05.949
拥有这样的能彻底[br]改变地球气候的能力。

0:03:05.949,0:03:09.609
又或者是具备杀伤力的[br]自主无人机，

0:03:09.609,0:03:13.011
得以量产、如蚊子大小的[br]机械杀人虫。

0:03:14.438,0:03:16.650
纳米技术，通用人工智能等。

0:03:16.988,0:03:18.747
CA：在论文里，你论述到

0:03:18.747,0:03:22.317
我们对能够创造原子弹的[br]核能的发现

0:03:22.317,0:03:24.435
纯粹是走运。

0:03:24.435,0:03:27.108
因此，利用身边更容易获得的资源

0:03:27.108,0:03:29.659
就能制造出原子弹这样的情况，

0:03:29.659,0:03:31.137
也是极有可能的。

0:03:31.530,0:03:35.351
NB：没错，回顾上世纪 30 年代，

0:03:35.351,0:03:39.917
当时我们在核物理学领域[br]取得首次突破，

0:03:39.917,0:03:43.646
几个天才科学家发现[br]引发原子核链反应是可能的，

0:03:43.646,0:03:46.838
接着便想到把它做成一枚炸弹。

0:03:46.838,0:03:48.805
我们往下研究，

0:03:48.805,0:03:51.506
发现要想做出一枚原子弹

0:03:51.506,0:03:53.907
需要浓缩铀或者钚，

0:03:53.907,0:03:55.991
而这些是极难弄到手的材料。

0:03:55.991,0:03:58.246
需要超速离心机，

0:03:58.246,0:04:02.044
需要反应堆，[br]能产生巨大能量的东西。

0:04:02.044,0:04:03.862
但是试想一下，

0:04:03.862,0:04:07.897
如果有一种很简单的方法[br]就能释放原子的能量。

0:04:07.897,0:04:10.060
可能是在微波炉里烤沙子

0:04:10.060,0:04:11.994
诸如此类的简便方法，

0:04:11.994,0:04:13.995
你就能很轻而易举地[br]引发原子核爆。

0:04:13.995,0:04:15.989
我们知道从物理学上来说[br]这并不可能。

0:04:15.989,0:04:18.157
但是在研究相关的物理学问题之前，

0:04:18.157,0:04:20.405
我们又如何知道这是不可能的呢？

0:04:20.405,0:04:21.992
CA：尽管如此，为何你不能论述说

0:04:21.992,0:04:23.794
地球上生命的进化

0:04:23.794,0:04:27.096
暗示了地球某种稳定的环境，

0:04:27.096,0:04:30.824
如果相对简单地[br]就能引发大规模核反应，

0:04:30.824,0:04:32.957
那么地球本就不会如此稳定，

0:04:32.957,0:04:34.440
我们也不复存在。

0:04:34.757,0:04:38.360
NB：是的，除非这种情况能轻易实现[br]且有人有意为之。

0:04:38.360,0:04:41.127
但这种情况不会突然冒出来。

0:04:41.127,0:04:42.761
我们轻易能办到的，

0:04:42.761,0:04:44.895
比如说将 10 个方块[br]一个个叠起来，

0:04:44.895,0:04:47.920
但在自然中，你不会看到[br]一个 10 个方块为一摞的物体。

0:04:47.920,0:04:49.588
CA：那么这可能就是

0:04:49.588,0:04:51.744
我们很多人最为担心的一点，

0:04:51.744,0:04:55.113
也就是合成生物技术

0:04:55.113,0:04:58.398
很可能就是引领我们走向[br]可视未来的捷径。

0:04:58.398,0:05:01.325
NB：是的，现在我们想想[br]那可能意味着什么？

0:05:01.325,0:05:04.828
假设任何人在某个下午，[br]在自己的厨房里捣腾

0:05:04.828,0:05:06.496
就能毁掉一座城市。

0:05:06.496,0:05:09.797
很难想象我们熟知的现代文明

0:05:09.797,0:05:11.498
怎样能逃过一劫。

0:05:11.498,0:05:13.983
因为任意 100 万人里面，

0:05:13.983,0:05:16.651
总会有那么一些人，[br]出于某种原因，

0:05:16.651,0:05:19.019
会选择使用那种毁天灭地的能量。

0:05:19.686,0:05:22.820
如果那个世界末日的残余

0:05:22.820,0:05:24.806
选择要摧毁一座城市，[br]甚至更糟，

0:05:24.806,0:05:26.439
那么文明将难逃一劫。

0:05:26.439,0:05:28.806
CA：文章中提到的另一种弱点。

0:05:28.806,0:05:30.490
你能谈谈吗？

0:05:30.490,0:05:34.310
NB：嗯，在这种显而易见的黑球外，

0:05:34.310,0:05:37.277
这种能一下子引发大爆炸的黑球外，

0:05:37.277,0:05:41.714
其他类型的黑球[br]则是通过创造不良动机，

0:05:41.714,0:05:43.997
鼓吹人们作恶。

0:05:43.997,0:05:48.066
我们可以把它称为“ Type-2a ”，

0:05:48.066,0:05:52.634
指的是[br]使用某些技术去怂恿大国

0:05:52.634,0:05:57.103
让它们利用自身的大规模武力[br]带来破坏。

0:05:57.103,0:06:00.321
那么核武器[br]其实很接近这个定义，对吧？

0:06:02.005,0:06:05.091
我们花了超过 10 万亿美元

0:06:05.091,0:06:07.625
生产出 7 万颗原子弹，

0:06:07.625,0:06:09.946
随时候命。

0:06:09.946,0:06:11.671
在冷战时期，有好几次

0:06:11.671,0:06:13.955
我们差一点就把世界炸得飞起。

0:06:13.955,0:06:16.944
这并不是因为人们认为[br]炸飞彼此是一个很棒的想法，

0:06:16.944,0:06:19.155
我们一起花个 10 万亿[br]把大家炸个稀巴烂吧，

0:06:19.155,0:06:21.905
但是背后的推动力是如此强大，[br]我们发现——

0:06:21.905,0:06:23.355
结果本可能会更惨重。

0:06:23.355,0:06:26.273
假设第一次突袭安然无恙。

0:06:26.273,0:06:28.594
那么之后，在一个危急情况下

0:06:28.594,0:06:30.728
想要遏制别人发射所有的原子弹

0:06:30.728,0:06:32.495
将会变得非常棘手。

0:06:32.495,0:06:35.397
不为别的，因为你会害怕[br]对手抢先一步发射导弹。

0:06:35.397,0:06:37.739
CA：对，相互制衡的毁灭性武器

0:06:37.739,0:06:40.540
让冷战时期保持相对稳定，

0:06:40.540,0:06:42.232
如果没有这种制衡，[br]我们可能也不复存在了。

0:06:42.232,0:06:44.173
NB：冷战本可能比当时的局势更动荡。

0:06:44.173,0:06:46.225
因为可能会有其他技术武器。

0:06:46.225,0:06:48.391
假设不是核武器震慑，

0:06:48.391,0:06:51.395
而是其他更小型的[br]或是不那么与众不同的武器，

0:06:51.395,0:06:53.869
军备条约怕是更难达成共识。

0:06:53.869,0:06:56.209
CA：以及鼓吹强国政治力量的不良动机，

0:06:56.209,0:07:00.144
你在 Type-2b 中也表示了[br]对怂恿常人的不良动机的担忧。

0:07:00.144,0:07:04.681
NB：是的，[br]在这里我们可能要拿全球变暖举例。

0:07:06.881,0:07:08.668
总有那么一些便利因素

0:07:08.668,0:07:10.901
促使我们每一个人做出一些

0:07:10.901,0:07:13.786
无足轻重的个人行为，对吧？

0:07:13.786,0:07:15.804
但是如果上百亿人都这么做，

0:07:15.804,0:07:18.400
累积起来，这将会产生毁灭性影响。

0:07:18.042,0:07:20.573
全球变暖的情况本可能[br]比现在更糟糕。

0:07:20.573,0:07:23.724
我们现在用的是气候敏感参数。

0:07:23.724,0:07:27.426
这个参数显示[br]我们每释放一个单位的温室气体

0:07:27.426,0:07:30.110
气温会上升多少。

0:07:30.110,0:07:32.411
但是假设情况变成

0:07:32.411,0:07:34.996
我们每释放一个单位的温室气体，

0:07:34.996,0:07:37.300
到 2100 年

0:07:37.300,0:07:41.380
气温不是上升 3 - 4.5 度，

0:07:41.380,0:07:43.456
而是 15 - 20 度。

0:07:44.289,0:07:46.421
那我们将可能处于水深火热之中。

0:07:46.421,0:07:49.238
又或者假设很难生产再生能源。

0:07:49.238,0:07:51.930
又或者地下还有很多石油。

0:07:51.930,0:07:55.267
CA：在这种情况下，[br]那你为什么不论述——

0:07:55.267,0:07:57.345
我们现在的行为

0:07:57.345,0:08:01.363
在可见的一段时间里[br]已经造成了 10 度的气温之差，

0:08:01.363,0:08:05.100
那这下人们总该[br]认真起来，做出些改变了。

0:08:05.100,0:08:07.500
我们愚蠢，但是我们可能[br]还不至于那么愚蠢。

0:08:07.500,0:08:09.200
又或者我们就是如此愚蠢。

0:08:09.200,0:08:10.602
NB：我看不一定。

0:08:10.602,0:08:12.702
（笑声）

0:08:12.702,0:08:14.670
你可以想象其他东西。

0:08:14.670,0:08:20.242
比如现在要转向再生能源之类的[br]的确有些困难，对吧，

0:08:20.242,0:08:21.541
但是确是可行的。

0:08:21.541,0:08:24.609
可能在稍有不同的物理学知识原理下，

0:08:24.609,0:08:27.443
它的应用可能就会变得昂贵很多。

0:08:28.261,0:08:29.795
CA：那你怎么看呢，尼克？

0:08:29.795,0:08:32.245
你认为把这些可能性加总，

0:08:32.245,0:08:36.465
这个地球，我们人类，

0:08:36.465,0:08:38.149
就是一个脆弱的世界？

0:08:38.149,0:08:40.717
我们的未来里有一个死亡之球？

0:08:43.867,0:08:45.102
NB：这很难说。

0:08:45.102,0:08:50.003
我的意思是，我认为缸里[br]可能有各种各样的黑球，

0:08:50.003,0:08:51.521
可能这就是我们的未来。

0:08:51.521,0:08:53.855
但其中，可能也会有一些金球，

0:08:53.855,0:08:57.407
能保护我们不受黑球的伤害。

0:08:57.407,0:09:00.442
可我不知道[br]它们出现的先后顺序。

0:09:00.442,0:09:04.361
CA：对这种想法的[br]一种可能的哲学批判是

0:09:04.361,0:09:10.034
这种想法暗示着未来的大局已定。

0:09:10.034,0:09:12.535
这个球要么存在，要么不存在。

0:09:12.535,0:09:15.503
某种程度上，

0:09:15.503,0:09:17.804
这不是我想要的未来观。

0:09:17.804,0:09:20.421
我想要相信未来尚未成型，

0:09:20.421,0:09:22.871
今天我们的决定将能改变未来走向

0:09:22.871,0:09:25.398
也就是我们会从这个缸里[br]取出怎样的小球。

0:09:25.799,0:09:29.974
NB：我想如果[br]我们一直不断发明创造，

0:09:29.974,0:09:32.141
最终我们会取出所有的小球。

0:09:32.812,0:09:36.096
那是一种技术决定论的较弱形式，

0:09:36.096,0:09:37.413
也是挺合理的。

0:09:37.413,0:09:40.149
就好像你不可能遇上一个

0:09:40.149,0:09:42.983
燧石斧和喷射机并存的社会。

0:09:44.067,0:09:48.135
但是你可以把某种技术想象成[br]一种功能组合。

0:09:48.135,0:09:50.914
也就是说技术能让我们[br]实现各种各样的事情，

0:09:50.914,0:09:52.766
并在这个世界中[br]造成各种各样的影响。

0:09:52.766,0:09:55.983
我们怎样利用技术[br]全凭人类做出怎样的选择。

0:09:55.983,0:09:58.701
但是如果我们想想这三种类型的弱点，

0:09:58.701,0:10:02.187
它们做出了一个关于我们[br]将会选择如何使用技术的弱势假设。

0:10:02.187,0:10:05.495
比如说 Type-1 弱点，[br]也就是大规模毁灭性力量，

0:10:05.495,0:10:07.597
思考上百万的人口中，

0:10:07.597,0:10:10.407
会有一些人[br]可能会选择使用这种力量作恶，

0:10:10.407,0:10:12.259
这是一个相当弱的假设。

0:10:12.259,0:10:14.769
CA：对于我来说，[br]其中最令人心烦的论点

0:10:14.769,0:10:19.472
就是我们可能对于[br]缸里的东西已经有了一定的想法，

0:10:19.472,0:10:22.739
这让我们感觉——[br]很可能我们要完了。

0:10:22.739,0:10:27.635
换句话说，[br]如果你相信加速的力量，

0:10:27.635,0:10:30.200
也就是技术固有的发展加速性，

0:10:30.200,0:10:32.520
我们所打造的这些[br]让我们更强大的工具，

0:10:32.524,0:10:35.330
随后到了某个时刻，[br]我们会进入

0:10:35.330,0:10:38.168
某个人仅凭一己之力[br]就能干掉所有人的境地，

0:10:38.168,0:10:40.985
之后这看起来似乎我们都要完了。

0:10:40.985,0:10:43.837
这个论点不是有点令人恐慌？

0:10:43.837,0:10:45.738
NB：呃，对啊。

0:10:46.555,0:10:47.973
（笑声）

0:10:47.973,0:10:49.323
我认为——

0:10:50.845,0:10:53.189
我们获得越来越多的力量，

0:10:53.189,0:10:56.290
这些力量用起来越来越得心应手，

0:10:56.290,0:10:59.825
但是同时我们也可以发明一些技术[br]来帮我们控制

0:10:59.825,0:11:01.844
人们如何使用这些力量。

0:11:01.844,0:11:04.745
CA：那我们来谈谈面对这些危机的反应。

0:11:04.745,0:11:07.146
假设想想这些可能性

0:11:07.146,0:11:09.280
现有的这些可能性——

0:11:09.280,0:11:12.983
不单单是合成生物技术，[br]还是网络战，

0:11:12.983,0:11:16.467
人工智能，等等等等——

0:11:16.467,0:11:20.781
我们的未来可能注定难逃一切。

0:11:20.781,0:11:23.244
那人们可能会有怎样的反应呢？

0:11:23.244,0:11:27.481
你在文章中[br]也谈过四种可能的反应。

0:11:27.481,0:11:31.183
NB：限制技术发展看起来不太可能，

0:11:31.183,0:11:34.556
如果我们谈的是技术发展的全面停滞。

0:11:34.556,0:11:35.989
我觉得非但不可行，

0:11:35.989,0:11:38.830
而且哪怕我们有能力这么做，[br]又有谁会想这么做。

0:11:38.830,0:11:41.360
我想在极少数的领域，

0:11:41.360,0:11:43.882
你可能会想要放慢发展的步伐。

0:11:43.882,0:11:47.250
比如说你不会希望[br]生化武器得到快速发展，

0:11:47.250,0:11:49.318
又或者说同位素分离，

0:11:49.318,0:11:51.619
那是有助于生产原子弹的东西。

0:11:52.571,0:11:55.805
CA：换作以前，[br]我会十分同意你这里的观点。

0:11:55.805,0:11:59.400
但是现在，[br]我倒是想要三思一下。

0:11:59.400,0:12:00.442
因为首先，

0:12:00.442,0:12:03.750
如果我们回顾[br]过去几十年的历史，

0:12:03.750,0:12:06.610
这段时期，[br]我们一直都在全速前进，

0:12:06.610,0:12:08.846
这还好，那是我们唯一的选择。

0:12:08.846,0:12:12.864
但如果你看看[br]全球化及其的加速发展，

0:12:12.864,0:12:16.316
如果看看那个[br]“快速行动，破除陈规”的策略

0:12:16.316,0:12:18.434
及其带来的后果，

0:12:18.434,0:12:21.200
再看看合成生物技术的潜力所在，

0:12:21.200,0:12:25.586
我不认为[br]我们应该快速发展，

0:12:25.586,0:12:27.303
或者不加以任何约束，

0:12:27.303,0:12:29.692
奔向一个人手一台 DNA 打印机，

0:12:29.692,0:12:32.737
DNA 打印机变成高中实验室标配的[br]世界。

0:12:33.162,0:12:34.729
是有一些的约束，对吗？

0:12:34.729,0:12:37.415
NB：有可能，这是第一部分，[br]但是并不可行。

0:12:37.415,0:12:39.516
如果你觉得[br]阻止这一切是人心所向，

0:12:39.516,0:12:41.316
那么还有可行性问题。

0:12:41.316,0:12:44.258
如果只是一个国家这么做[br]并没多大用处——

0:12:44.258,0:12:46.186
CA：不，一个国家不管用，

0:12:46.186,0:12:48.819
但是我们之前有过国际条约。

0:12:48.819,0:12:52.321
这才是我们[br]真正度过核危机的方法——

0:12:52.321,0:12:53.439
走出国门，

0:12:53.439,0:12:56.422
历经痛苦的斡旋谈判。

0:12:56.422,0:13:01.841
我在想，作为一项全球优先事务，[br]这其中的逻辑

0:13:01.841,0:13:03.842
不应该是我们走出国门并尝试，

0:13:03.842,0:13:06.242
比如现在，开始协商并制定出[br]一些非常严格的规定

0:13:06.242,0:13:08.929
来约束合成生物的研究吗？

0:13:08.929,0:13:11.913
这可不是什么[br]你想要民主化的东西，对吧？

0:13:11.913,0:13:14.213
NB：我完全赞成——

0:13:15.480,0:13:17.310
举个例子，

0:13:17.310,0:13:21.399
也许拥有 DNA 合成仪器[br]挺诱人的，

0:13:21.399,0:13:25.109
并非作为每个实验室[br]都有的那种产品，

0:13:25.109,0:13:26.753
而可能作为一种服务。

0:13:26.753,0:13:29.236
也许世界上能有那么 4 - 5 个地方，

0:13:29.236,0:13:32.772
你可以把自己的电子蓝图发过去，[br]然后得到自己的 DNA 图谱。

0:13:32.772,0:13:35.560
如果这个技术变成必需的一天[br]真的来了，

0:13:35.560,0:13:36.906
那你就会获得这种能力，

0:13:36.906,0:13:39.309
我们也会有一组有限的要塞点。

0:13:39.309,0:13:42.810
所以我认为你会想[br]寻找某些特殊的机会，

0:13:42.810,0:13:44.877
使你有更强的控制。

0:13:44.877,0:13:46.629
CA：你的观点是，最终，

0:13:46.629,0:13:49.642
仅依靠放慢脚步，[br]我们是无法成功的。

0:13:49.642,0:13:52.293
某人，在某个地方——[br]北朝鲜——

0:13:52.293,0:13:55.510
某人会发现这样的知识，

0:13:55.510,0:13:57.144
如果它真的存在的话。

0:13:57.144,0:13:59.512
NB：在当前的情况来看貌似是合理的。

0:13:59.512,0:14:01.314
也不仅限于合成生物技术。

0:14:01.314,0:14:03.947
我想世界上任何新的前沿的改变，

0:14:03.947,0:14:05.581
都可能是一个黑球。

0:14:05.581,0:14:07.766
CA：我们再看看另一种可能的反应。

0:14:07.766,0:14:10.117
NB：我想这种反应的潜能是有限的。

0:14:10.117,0:14:13.702
我们再看看 Type-1 弱点，

0:14:13.702,0:14:16.677
如果能减少那些有动力因素

0:14:16.677,0:14:19.175
去毁灭世界的人数，

0:14:19.175,0:14:21.109
如果有这样的方法和途径，

0:14:21.109,0:14:22.292
那会是件好事。

0:14:22.292,0:14:24.511
CA：在这个你希望我们想象的图景中，

0:14:24.511,0:14:26.867
你想象着带着面部识别的无人机

0:14:26.867,0:14:27.951
满世界飞。

0:14:27.951,0:14:31.350
当它们发现有人表现出[br]反社会行为倾向时，

0:14:31.350,0:14:33.421
它们会施以爱的沐浴，并修正他们。

0:14:33.421,0:14:35.654
NB：我想这会是个混合的图景。

0:14:35.654,0:14:39.572
消除可以表示禁闭或杀害，

0:14:39.572,0:14:42.692
也可以意味着，[br]劝说人们看到世界更美好的一面。

0:14:42.692,0:14:44.442
但是重点是，

0:14:44.442,0:14:46.594
假设你深谙此道，

0:14:46.594,0:14:49.929
你把害人之马的数目减半了。

0:14:49.929,0:14:52.450
而且假如你想通过劝说来实现，

0:14:52.450,0:14:53.629
那么你就是在和那些

0:14:53.629,0:14:55.964
如政党，宗教，教育体系等

0:14:55.964,0:14:58.330
试图游说人们的进行力量比拼。

0:14:58.330,0:14:59.782
但是假设你[br]真能把害人之马的数目减半，

0:14:59.782,0:15:01.868
我不认为风险就会相应地[br]被削弱一半。

0:15:01.868,0:15:03.653
可能只是减少 5% - 10% 。

0:15:03.653,0:15:08.400
CA：你并不推荐我们把人类的未来[br]押在第二种反应上。

0:15:08.400,0:15:11.700
NB：我觉得阻止和劝服人们是好的，

0:15:11.700,0:15:13.990
但是我们不应该将此做为[br]我们唯一的保护措施。

0:15:13.990,0:15:15.313
CA：那么第三种呢？

0:15:15.313,0:15:18.259
NB：我觉得有两种通用的方法，

0:15:18.259,0:15:22.211
我们可以利用它们[br]来获取稳定世界的能力

0:15:22.211,0:15:25.229
来对抗所有一切可能的弱点。

0:15:25.229,0:15:28.709
我们很可能会同时需要两者。

0:15:28.709,0:15:30.707
一种是能够实施

0:15:30.707,0:15:33.109
极为有效的预防管制的能力。

0:15:33.109,0:15:35.410
如果有人做出危险之事，

0:15:35.410,0:15:37.361
你可以拦截，

0:15:37.361,0:15:40.162
你可以进行实时拦截，[br]并阻止他们。

0:15:40.162,0:15:42.681
而这需要无孔不入的监管，

0:15:42.681,0:15:45.181
所有人无时无刻都被监视。

0:15:46.266,0:15:48.750
CA：那某种程度就是[br]”少数派报告“里的情景了。

0:15:48.750,0:15:51.561
NB：你可能会使用人工智能算法

0:15:51.561,0:15:55.346
来审查大型自由中心的这些数据等等。

0:15:56.362,0:16:00.849
CA：你应该知道大众监控[br]现在不是个很吃香的词吧？

0:16:00.849,0:16:02.399
（笑声）

0:16:03.266,0:16:05.231
NB：是的，[br]所以图中的一个小小设备，

0:16:05.231,0:16:07.826
把它想象成一个[br]你需要 24 小时佩戴的

0:16:07.826,0:16:10.761
上面有多角度摄像头的项链。

0:16:11.629,0:16:13.479
为了听起来不那么膈应，

0:16:13.479,0:16:16.130
我们就叫它”自由标签“什么的。

0:16:16.130,0:16:18.810
（笑声）

0:16:18.810,0:16:19.348
CA：好吧。

0:16:19.348,0:16:21.499
这就是对话呀，朋友们，

0:16:21.499,0:16:25.520
这就是为什么[br]这是一场令人震撼的对话呀。

0:16:25.520,0:16:27.218
NB：事实上，就这个主题[br]已经有很广泛的讨论了，

0:16:27.218,0:16:29.119
很明显，单单针对这个主题本身。

0:16:29.119,0:16:31.347
这背后有非常严重的[br]问题和风险，对吧？

0:16:31.347,0:16:32.848
我们待会可以再谈谈。

0:16:32.848,0:16:34.206
所以另外一种方法，[br]也是最后的方法，

0:16:34.206,0:16:36.674
另一种带来普遍稳定性的能力

0:16:36.674,0:16:38.759
大致就是插入另一个管制间隙。

0:16:38.759,0:16:42.937
那么就可以在微观层面进行监管，

0:16:42.937,0:16:46.106
比如说防止任何人做出[br]严重违法的行为。

0:16:46.106,0:16:48.560
然后有一个对应的

0:16:48.560,0:16:50.441
宏观、全球性层面的监管间隙。

0:16:50.441,0:16:53.926
你需要凭借这种能力，

0:16:53.926,0:16:57.210
可靠地，[br]来防止最糟糕的全球性协调失灵，

0:16:57.210,0:17:00.962
来避免强权之间的战争，

0:17:00.962,0:17:02.379
军备竞赛，

0:17:03.397,0:17:05.664
灾难性的常见问题，

0:17:07.532,0:17:11.750
以应对 Type-2a 弱点。

0:17:11.750,0:17:13.672
CA：全球治理这一名词

0:17:13.672,0:17:15.827
现在无疑是最不受待见的，

0:17:15.827,0:17:18.620
但是你能否通过历史，

0:17:18.620,0:17:19.713
人类的历史来说明

0:17:19.713,0:17:25.183
在每一个技术力量上升的阶段，

0:17:25.183,0:17:28.485
人们会重组这种力量并加以集中。

0:17:28.485,0:17:31.798
比如说[br]当一群四处为非作歹的罪犯

0:17:31.798,0:17:33.670
就能挟持一个社会的时候，

0:17:33.670,0:17:35.815
那么对应的手段是国家，

0:17:35.815,0:17:38.266
集中力量，[br]警察部队或一支军队，

0:17:38.266,0:17:40.207
站出来说“你不能这么做。”

0:17:40.207,0:17:44.631
这里面的逻辑，[br]让单个人或单个群体

0:17:44.631,0:17:46.324
拥有保护人类的能力

0:17:46.324,0:17:49.038
意味着在某个时刻[br]我们将不得不需要走这条路，

0:17:49.038,0:17:50.848
至少在某些形式上，不是吗？

0:17:50.848,0:17:54.192
NB：在人类的发展历程中[br]政治组织发展规模之壮大

0:17:54.192,0:17:56.229
是毋庸置疑的。

0:17:56.229,0:17:58.497
以前曾是捕猎者和采集者群体，

0:17:58.497,0:18:01.399
接着是部落、城邦、国家，

0:18:01.399,0:18:05.147
现在有国际组织，诸如此类。

0:18:05.147,0:18:06.863
我想再次确认的一点是

0:18:06.863,0:18:08.647
我有这样的机会去强调

0:18:08.647,0:18:10.581
大众监管和全球治理

0:18:10.581,0:18:13.211
很明显存在的巨大缺点

0:18:13.211,0:18:15.444
以及巨大的风险。

0:18:15.444,0:18:18.790
我刚指出的只是如果我们走运，

0:18:18.790,0:18:20.664
想要躲过黑球的灾难

0:18:20.664,0:18:22.306
也就那么些方法。

0:18:22.306,0:18:24.722
CA：这个理论的逻辑，

0:18:24.722,0:18:26.201
就我而言，

0:18:26.201,0:18:29.711
我们得承认我们不可能无往不胜。

0:18:29.711,0:18:31.445
也就是，

0:18:33.230,0:18:36.314
我会说，[br]那种很多人都有的痴心妄想中，

0:18:36.314,0:18:39.616
技术永远是一种向善的力量，

0:18:39.616,0:18:42.534
继续前进、别停下来、全速前进，

0:18:42.534,0:18:44.652
并且不计后果，

0:18:44.652,0:18:46.452
其实根本没有这个选择。

0:18:46.452,0:18:48.703
我们可以全速发展科技。

0:18:48.703,0:18:50.524
但如果我们继续这么发展科技，

0:18:50.524,0:18:51.842
我们就将要必须接受

0:18:51.842,0:18:54.355
随之而来的[br]一些非常令人不适的不便，

0:18:54.355,0:18:56.121
这有点像和我们自己比赛,

0:18:56.121,0:18:58.837
如果你想拥有力量，[br]你最好能限制它的使用，

0:18:58.837,0:19:00.923
你最好想办法如何限制它的使用。

0:19:00.923,0:19:04.324
NB：我想这是一种选择，

0:19:04.324,0:19:07.076
非常诱人的一种选择，[br]某种程度上也是最简单的选择，

0:19:07.076,0:19:08.443
还可能奏效，

0:19:08.443,0:19:13.279
但这也意味着我们本质上很脆弱，[br]不能承受取出黑球之重。

0:19:13.279,0:19:15.446
现在我认为，一定的协调能力

0:19:15.446,0:19:18.202
比方说如果真的解决了[br]宏观管理问题

0:19:18.202,0:19:19.754
以及微观治理问题，

0:19:19.754,0:19:22.106
那么我们可以一次性[br]从缸里取出所有的小球。

0:19:22.106,0:19:23.817
那么我们将会极其受益。

0:19:24.469,0:19:27.933
CA：我想，如果我们活在[br]一个模拟世界中，这又有什么关系？

0:19:27.933,0:19:29.266
我们重启就好了。

0:19:29.266,0:19:30.518
（笑声）

0:19:30.518,0:19:32.251
NB：那……我……

0:19:32.251,0:19:34.686
（笑声）

0:19:34.686,0:19:36.294
我没想到你会这么说。

0:19:38.025,0:19:39.480
CA：那么你的看法呢？

0:19:39.480,0:19:44.083
综合来看，[br]我们在劫难逃的几率有多高？

0:19:44.083,0:19:46.050
（笑声）

0:19:46.917,0:19:49.280
我喜欢当你问这个问题的时候[br]大家笑成这样。

0:19:49.280,0:19:50.731
NB：在个人的层面，

0:19:50.731,0:19:54.450
从时间线上来看[br]我们终究难逃一劫，

0:19:54.450,0:19:57.235
我们在腐烂，在老化，[br]诸如此类的，对吧？

0:19:57.235,0:19:58.819
（笑声）

0:19:58.819,0:20:00.519
事实上很难说。

0:20:00.519,0:20:02.705
如果你想通过一个设定来附加概率，

0:20:02.705,0:20:04.056
首先要问的是，我们是谁？

0:20:04.056,0:20:06.725
如果你年事已高，[br]很可能你会自然死亡，

0:20:06.725,0:20:09.575
如果你还很年轻，[br]你可能能活到 100 岁——

0:20:09.575,0:20:11.876
这个概率的大小[br]取决于你问的对象是谁。

0:20:11.876,0:20:16.129
接着我们得问，怎样才算是文明毁灭？

0:20:16.129,0:20:21.648
在文章里我不需要存在的灾难

0:20:21.648,0:20:23.266
来计算概率。

0:20:23.266,0:20:24.949
主要看你怎样定义，

0:20:24.949,0:20:26.379
我可以说 10 亿的死亡人数，

0:20:26.379,0:20:28.329
或者 GDP 下降 50% ，

0:20:28.329,0:20:30.596
但是一切取决于[br]你所设定的起点是什么，

0:20:30.596,0:20:32.664
起点不同，[br]所得到的概率估算随之不同。

0:20:32.664,0:20:37.185
但是我想你可以把我看做是[br]一个害怕的乐观主义者吧。

0:20:37.185,0:20:38.350
（笑声）

0:20:38.350,0:20:40.187
CA：如果你是一个害怕的乐观主义者，

0:20:40.187,0:20:44.253
那我想你刚刚就催生了一帮[br]同样害怕的……

0:20:44.253,0:20:45.487
人们。

0:20:45.487,0:20:46.654
（笑声）

0:20:46.654,0:20:47.938
NB：在模拟世界里。

0:20:47.938,0:20:49.086
CA：在一个模拟世界里。

0:20:49.086,0:20:50.854
尼克 · 博斯特罗姆，[br]你的思维真让我大开眼界，

0:20:50.854,0:20:53.871
非常感谢你今天在光天化日之下[br]把我们大家都吓得不行。

0:20:53.871,0:20:56.375
（掌声）