WEBVTT

00:00:01.018 --> 00:00:02.719
克里斯 · 安德森（CA）：
尼克 · 博斯特罗姆（NB），

00:00:02.719 --> 00:00:06.669
你为我们带来过这么多
疯狂的点子。

00:00:06.669 --> 00:00:08.503
我记得大概二十年前，

00:00:08.503 --> 00:00:11.261
你曾提出
我们可能都正在，或曾经

00:00:11.261 --> 00:00:13.128
生活在一个模拟世界里。

00:00:13.128 --> 00:00:14.628
最近，

00:00:14.628 --> 00:00:19.230
你用最生动的案例来说明
通用人工智能

00:00:19.230 --> 00:00:21.248
可能会带来的非常可怕的问题。

00:00:21.716 --> 00:00:23.065
接着今年，

00:00:23.065 --> 00:00:26.381
你即将发表一篇论文，

00:00:26.386 --> 00:00:29.237
题目为《脆弱世界假说》。

00:00:29.237 --> 00:00:33.906
而今天晚上我们的任务
就是来简析这篇文章。

00:00:34.372 --> 00:00:36.290
来我们开始吧。

00:00:36.790 --> 00:00:38.691
假设前提是什么呢？

NOTE Paragraph

00:00:39.860 --> 00:00:42.379
尼克 · 博斯特罗姆（NB）：
这篇文章在试图讨论

00:00:42.379 --> 00:00:45.529
人类现状的一种结构化特征。

00:00:47.047 --> 00:00:49.398
我知道你喜欢摸球游戏的比喻，

00:00:49.398 --> 00:00:51.386
那我就用它来解释。

00:00:51.386 --> 00:00:55.705
想象一个很大的缸中装满了小球，

00:00:55.705 --> 00:00:59.775
小球代表
各种观点、方法，和可能的技术。

00:01:00.833 --> 00:01:04.482
你可以把人类的创造历史

00:01:04.482 --> 00:01:08.316
当作把手伸向这个缸
并从中不断取出小球的过程，

00:01:08.316 --> 00:01:11.552
目前为止的净效益
已创造了极大的收益，对吧？

00:01:11.552 --> 00:01:14.320
我们取出了很多很多白色的小球，

00:01:14.320 --> 00:01:17.337
一些或深或浅的灰色的小球，
有好有坏。

00:01:17.987 --> 00:01:21.022
我们至今
还没有拿到过黑色的小球——

00:01:22.172 --> 00:01:27.676
也就是一个必定会
摧毁其所属文明的技术。

00:01:27.676 --> 00:01:30.961
这篇论文试图讨论的就是
这个黑球可能会是什么。

NOTE Paragraph

00:01:30.961 --> 00:01:32.840
CA：所以你将这个球

00:01:32.840 --> 00:01:36.147
定义为必将摧毁文明的存在。

NOTE Paragraph

00:01:36.147 --> 00:01:41.783
NB：除非我们停止这种我称之为
半无政府的默认条件，

00:01:41.783 --> 00:01:43.501
或者说默认状态。

NOTE Paragraph

00:01:44.235 --> 00:01:47.984
CA：也就是说你利用了一些反例

00:01:47.984 --> 00:01:50.041
做为有力佐证来说明你的观点，

00:01:50.041 --> 00:01:52.687
比如说你相信到目前为止
我们仅仅是走运，

00:01:52.687 --> 00:01:55.584
而且我们在不知情的情况下，

00:01:55.584 --> 00:01:57.494
很可能已经取出了死亡之球。

00:01:57.494 --> 00:01:59.603
我记得有句名言，是什么来着？

NOTE Paragraph

00:02:00.536 --> 00:02:03.171
NB：我猜我只是想阐明

00:02:03.171 --> 00:02:06.321
预测基本发现
在未来可能的作用潜力的

00:02:06.321 --> 00:02:08.071
困难程度。

00:02:08.071 --> 00:02:11.106
我们真的不具备那样的能力。

00:02:11.106 --> 00:02:14.508
因为对于取出小球，
我们已经轻车熟路，

00:02:14.508 --> 00:02:18.259
但是我们并没有
把球放回缸里的能力。

00:02:18.259 --> 00:02:20.610
我们可以发明，
但是我们不会回到发明前。

00:02:21.462 --> 00:02:24.145
很显然我们的战略，

00:02:24.145 --> 00:02:26.697
就是祈祷缸里没有黑球。

NOTE Paragraph

00:02:26.697 --> 00:02:30.732
CA：也就是说一旦把球取出来了
就没法再放回去了。

00:02:30.732 --> 00:02:32.505
你觉得我们一直挺幸运。

00:02:32.505 --> 00:02:34.611
在讲述这些例子的过程中，

00:02:34.611 --> 00:02:37.679
你谈到了不同类型的弱点。

NOTE Paragraph

00:02:37.679 --> 00:02:40.180
NB：最容易理解的一种类型是

00:02:40.180 --> 00:02:43.213
不费吹灰之力

00:02:43.213 --> 00:02:45.615
便能造成大规模破坏的技术。

00:02:47.299 --> 00:02:50.805
合成生物技术可能成为
这样的黑球，

00:02:50.805 --> 00:02:53.351
但同时我们可以利用它
做很多事情——

00:02:53.351 --> 00:02:56.007
比如说地球工程，
非常棒，对吧？

00:02:56.007 --> 00:02:58.314
我们可以利用它来应对全球变暖，

00:02:58.314 --> 00:03:00.363
但是我们肯定不希望
这种技术变得唾手可得，

00:03:00.363 --> 00:03:02.881
我们不希望某个路人和他的奶奶

00:03:02.881 --> 00:03:05.949
拥有这样的能彻底
改变地球气候的能力。

00:03:05.949 --> 00:03:09.609
又或者是具备杀伤力的
自主无人机，

00:03:09.609 --> 00:03:13.011
得以量产、如蚊子大小的
机械杀人虫。

00:03:14.438 --> 00:03:16.650
纳米技术，通用人工智能等。

NOTE Paragraph

00:03:16.988 --> 00:03:18.747
CA：在论文里，你论述到

00:03:18.747 --> 00:03:22.317
我们对能够创造原子弹的
核能的发现

00:03:22.317 --> 00:03:24.435
纯粹是走运。

00:03:24.435 --> 00:03:27.108
因此，利用身边更容易获得的资源

00:03:27.108 --> 00:03:29.659
就能制造出原子弹这样的情况，

00:03:29.659 --> 00:03:31.137
也是极有可能的。

NOTE Paragraph

00:03:31.530 --> 00:03:35.351
NB：没错，回顾上世纪 30 年代，

00:03:35.351 --> 00:03:39.917
当时我们在核物理学领域
取得首次突破，

00:03:39.917 --> 00:03:43.646
几个天才科学家发现
引发原子核链反应是可能的，

00:03:43.646 --> 00:03:46.838
接着便想到把它做成一枚炸弹。

00:03:46.838 --> 00:03:48.805
我们往下研究，

00:03:48.805 --> 00:03:51.506
发现要想做出一枚原子弹

00:03:51.506 --> 00:03:53.907
需要浓缩铀或者钚，

00:03:53.907 --> 00:03:55.991
而这些是极难弄到手的材料。

00:03:55.991 --> 00:03:58.246
需要超速离心机，

00:03:58.246 --> 00:04:02.044
需要反应堆，
能产生巨大能量的东西。

00:04:02.044 --> 00:04:03.862
但是试想一下，

00:04:03.862 --> 00:04:07.897
如果有一种很简单的方法
就能释放原子的能量。

00:04:07.897 --> 00:04:10.060
可能是在微波炉里烤沙子

00:04:10.060 --> 00:04:11.994
诸如此类的简便方法，

00:04:11.994 --> 00:04:13.995
你就能很轻而易举地
引发原子核爆。

00:04:13.995 --> 00:04:15.989
我们知道从物理学上来说
这并不可能。

00:04:15.989 --> 00:04:18.157
但是在研究相关的物理学问题之前，

00:04:18.157 --> 00:04:20.405
我们又如何知道这是不可能的呢？

NOTE Paragraph

00:04:20.405 --> 00:04:21.992
CA：尽管如此，为何你不能论述说

00:04:21.992 --> 00:04:23.794
地球上生命的进化

00:04:23.794 --> 00:04:27.096
暗示了地球某种稳定的环境，

00:04:27.096 --> 00:04:30.824
如果相对简单地
就能引发大规模核反应，

00:04:30.824 --> 00:04:32.957
那么地球本就不会如此稳定，

00:04:32.957 --> 00:04:34.440
我们也不复存在。

NOTE Paragraph

00:04:34.757 --> 00:04:38.360
NB：是的，除非这种情况能轻易实现
且有人有意为之。

00:04:38.360 --> 00:04:41.127
但这种情况不会突然冒出来。

00:04:41.127 --> 00:04:42.761
我们轻易能办到的，

00:04:42.761 --> 00:04:44.895
比如说将 10 个方块
一个个叠起来，

00:04:44.895 --> 00:04:47.920
但在自然中，你不会看到
一个 10 个方块为一摞的物体。

NOTE Paragraph

00:04:47.920 --> 00:04:49.588
CA：那么这可能就是

00:04:49.588 --> 00:04:51.744
我们很多人最为担心的一点，

00:04:51.744 --> 00:04:55.113
也就是合成生物技术

00:04:55.113 --> 00:04:58.398
很可能就是引领我们走向
可视未来的捷径。

NOTE Paragraph

00:04:58.398 --> 00:05:01.325
NB：是的，现在我们想想
那可能意味着什么？

00:05:01.325 --> 00:05:04.828
假设任何人在某个下午，
在自己的厨房里捣腾

00:05:04.828 --> 00:05:06.496
就能毁掉一座城市。

00:05:06.496 --> 00:05:09.797
很难想象我们熟知的现代文明

00:05:09.797 --> 00:05:11.498
怎样能逃过一劫。

00:05:11.498 --> 00:05:13.983
因为任意 100 万人里面，

00:05:13.983 --> 00:05:16.651
总会有那么一些人，
出于某种原因，

00:05:16.651 --> 00:05:19.019
会选择使用那种毁天灭地的能量。

00:05:19.686 --> 00:05:22.820
如果那个世界末日的残余

00:05:22.820 --> 00:05:24.806
选择要摧毁一座城市，
甚至更糟，

00:05:24.806 --> 00:05:26.439
那么文明将难逃一劫。

NOTE Paragraph

00:05:26.439 --> 00:05:28.806
CA：文章中提到的另一种弱点。

00:05:28.806 --> 00:05:30.490
你能谈谈吗？

NOTE Paragraph

00:05:30.490 --> 00:05:34.310
NB：嗯，在这种显而易见的黑球外，

00:05:34.310 --> 00:05:37.277
这种能一下子引发大爆炸的黑球外，

00:05:37.277 --> 00:05:41.714
其他类型的黑球
则是通过创造不良动机，

00:05:41.714 --> 00:05:43.997
鼓吹人们作恶。

00:05:43.997 --> 00:05:48.066
我们可以把它称为“ Type-2a ”，

00:05:48.066 --> 00:05:52.634
指的是
使用某些技术去怂恿大国

00:05:52.634 --> 00:05:57.103
让它们利用自身的大规模武力
带来破坏。

00:05:57.103 --> 00:06:00.321
那么核武器
其实很接近这个定义，对吧？

00:06:02.005 --> 00:06:05.091
我们花了超过 10 万亿美元

00:06:05.091 --> 00:06:07.625
生产出 7 万颗原子弹，

00:06:07.625 --> 00:06:09.946
随时候命。

00:06:09.946 --> 00:06:11.671
在冷战时期，有好几次

00:06:11.671 --> 00:06:13.955
我们差一点就把世界炸得飞起。

00:06:13.955 --> 00:06:16.944
这并不是因为人们认为
炸飞彼此是一个很棒的想法，

00:06:16.944 --> 00:06:19.155
我们一起花个 10 万亿
把大家炸个稀巴烂吧，

00:06:19.155 --> 00:06:21.905
但是背后的推动力是如此强大，
我们发现——

00:06:21.905 --> 00:06:23.355
结果本可能会更惨重。

00:06:23.355 --> 00:06:26.273
假设第一次突袭安然无恙。

00:06:26.273 --> 00:06:28.594
那么之后，在一个危急情况下

00:06:28.594 --> 00:06:30.728
想要遏制别人发射所有的原子弹

00:06:30.728 --> 00:06:32.495
将会变得非常棘手。

00:06:32.495 --> 00:06:35.397
不为别的，因为你会害怕
对手抢先一步发射导弹。

NOTE Paragraph

00:06:35.397 --> 00:06:37.739
CA：对，相互制衡的毁灭性武器

00:06:37.739 --> 00:06:40.540
让冷战时期保持相对稳定，

00:06:40.540 --> 00:06:42.232
如果没有这种制衡，
我们可能也不复存在了。

NOTE Paragraph

00:06:42.232 --> 00:06:44.173
NB：冷战本可能比当时的局势更动荡。

00:06:44.173 --> 00:06:46.225
因为可能会有其他技术武器。

00:06:46.225 --> 00:06:48.391
假设不是核武器震慑，

00:06:48.391 --> 00:06:51.395
而是其他更小型的
或是不那么与众不同的武器，

00:06:51.395 --> 00:06:53.869
军备条约怕是更难达成共识。

NOTE Paragraph

00:06:53.869 --> 00:06:56.209
CA：以及鼓吹强国政治力量的不良动机，

00:06:56.209 --> 00:07:00.144
你在 Type-2b 中也表示了
对怂恿常人的不良动机的担忧。

NOTE Paragraph

00:07:00.144 --> 00:07:04.681
NB：是的，
在这里我们可能要拿全球变暖举例。

00:07:06.881 --> 00:07:08.668
总有那么一些便利因素

00:07:08.668 --> 00:07:10.901
促使我们每一个人做出一些

00:07:10.901 --> 00:07:13.786
无足轻重的个人行为，对吧？

00:07:13.786 --> 00:07:15.804
但是如果上百亿人都这么做，

00:07:15.804 --> 00:07:18.400
累积起来，这将会产生毁灭性影响。

00:07:18.042 --> 00:07:20.573
全球变暖的情况本可能
比现在更糟糕。

00:07:20.573 --> 00:07:23.724
我们现在用的是气候敏感参数。

00:07:23.724 --> 00:07:27.426
这个参数显示
我们每释放一个单位的温室气体

00:07:27.426 --> 00:07:30.110
气温会上升多少。

00:07:30.110 --> 00:07:32.411
但是假设情况变成

00:07:32.411 --> 00:07:34.996
我们每释放一个单位的温室气体，

00:07:34.996 --> 00:07:37.300
到 2100 年

00:07:37.300 --> 00:07:41.380
气温不是上升 3 - 4.5 度，

00:07:41.380 --> 00:07:43.456
而是 15 - 20 度。

00:07:44.289 --> 00:07:46.421
那我们将可能处于水深火热之中。

00:07:46.421 --> 00:07:49.238
又或者假设很难生产再生能源。

00:07:49.238 --> 00:07:51.930
又或者地下还有很多石油。

NOTE Paragraph

00:07:51.930 --> 00:07:55.267
CA：在这种情况下，
那你为什么不论述——

00:07:55.267 --> 00:07:57.345
我们现在的行为

00:07:57.345 --> 00:08:01.363
在可见的一段时间里
已经造成了 10 度的气温之差，

00:08:01.363 --> 00:08:05.100
那这下人们总该
认真起来，做出些改变了。

00:08:05.100 --> 00:08:07.500
我们愚蠢，但是我们可能
还不至于那么愚蠢。

00:08:07.500 --> 00:08:09.200
又或者我们就是如此愚蠢。

NOTE Paragraph

00:08:09.200 --> 00:08:10.602
NB：我看不一定。

NOTE Paragraph

00:08:10.602 --> 00:08:12.702
（笑声）

NOTE Paragraph

00:08:12.702 --> 00:08:14.670
你可以想象其他东西。

00:08:14.670 --> 00:08:20.242
比如现在要转向再生能源之类的
的确有些困难，对吧，

00:08:20.242 --> 00:08:21.541
但是确是可行的。

00:08:21.541 --> 00:08:24.609
可能在稍有不同的物理学知识原理下，

00:08:24.609 --> 00:08:27.443
它的应用可能就会变得昂贵很多。

NOTE Paragraph

00:08:28.261 --> 00:08:29.795
CA：那你怎么看呢，尼克？

00:08:29.795 --> 00:08:32.245
你认为把这些可能性加总，

00:08:32.245 --> 00:08:36.465
这个地球，我们人类，

00:08:36.465 --> 00:08:38.149
就是一个脆弱的世界？

00:08:38.149 --> 00:08:40.717
我们的未来里有一个死亡之球？

NOTE Paragraph

00:08:43.867 --> 00:08:45.102
NB：这很难说。

00:08:45.102 --> 00:08:50.003
我的意思是，我认为缸里
可能有各种各样的黑球，

00:08:50.003 --> 00:08:51.521
可能这就是我们的未来。

00:08:51.521 --> 00:08:53.855
但其中，可能也会有一些金球，

00:08:53.855 --> 00:08:57.407
能保护我们不受黑球的伤害。

00:08:57.407 --> 00:09:00.442
可我不知道
它们出现的先后顺序。

NOTE Paragraph

00:09:00.442 --> 00:09:04.361
CA：对这种想法的
一种可能的哲学批判是

00:09:04.361 --> 00:09:10.034
这种想法暗示着未来的大局已定。

00:09:10.034 --> 00:09:12.535
这个球要么存在，要么不存在。

00:09:12.535 --> 00:09:15.503
某种程度上，

00:09:15.503 --> 00:09:17.804
这不是我想要的未来观。

00:09:17.804 --> 00:09:20.421
我想要相信未来尚未成型，

00:09:20.421 --> 00:09:22.871
今天我们的决定将能改变未来走向

00:09:22.871 --> 00:09:25.398
也就是我们会从这个缸里
取出怎样的小球。

NOTE Paragraph

00:09:25.799 --> 00:09:29.974
NB：我想如果
我们一直不断发明创造，

00:09:29.974 --> 00:09:32.141
最终我们会取出所有的小球。

00:09:32.812 --> 00:09:36.096
那是一种技术决定论的较弱形式，

00:09:36.096 --> 00:09:37.413
也是挺合理的。

00:09:37.413 --> 00:09:40.149
就好像你不可能遇上一个

00:09:40.149 --> 00:09:42.983
燧石斧和喷射机并存的社会。

00:09:44.067 --> 00:09:48.135
但是你可以把某种技术想象成
一种功能组合。

00:09:48.135 --> 00:09:50.914
也就是说技术能让我们
实现各种各样的事情，

00:09:50.914 --> 00:09:52.766
并在这个世界中
造成各种各样的影响。

00:09:52.766 --> 00:09:55.983
我们怎样利用技术
全凭人类做出怎样的选择。

00:09:55.983 --> 00:09:58.701
但是如果我们想想这三种类型的弱点，

00:09:58.701 --> 00:10:02.187
它们做出了一个关于我们
将会选择如何使用技术的弱势假设。

00:10:02.187 --> 00:10:05.495
比如说 Type-1 弱点，
也就是大规模毁灭性力量，

00:10:05.495 --> 00:10:07.597
思考上百万的人口中，

00:10:07.597 --> 00:10:10.407
会有一些人
可能会选择使用这种力量作恶，

00:10:10.407 --> 00:10:12.259
这是一个相当弱的假设。

NOTE Paragraph

00:10:12.259 --> 00:10:14.769
CA：对于我来说，
其中最令人心烦的论点

00:10:14.769 --> 00:10:19.472
就是我们可能对于
缸里的东西已经有了一定的想法，

00:10:19.472 --> 00:10:22.739
这让我们感觉——
很可能我们要完了。

00:10:22.739 --> 00:10:27.635
换句话说，
如果你相信加速的力量，

00:10:27.635 --> 00:10:30.200
也就是技术固有的发展加速性，

00:10:30.200 --> 00:10:32.520
我们所打造的这些
让我们更强大的工具，

00:10:32.524 --> 00:10:35.330
随后到了某个时刻，
我们会进入

00:10:35.330 --> 00:10:38.168
某个人仅凭一己之力
就能干掉所有人的境地，

00:10:38.168 --> 00:10:40.985
之后这看起来似乎我们都要完了。

00:10:40.985 --> 00:10:43.837
这个论点不是有点令人恐慌？

NOTE Paragraph

00:10:43.837 --> 00:10:45.738
NB：呃，对啊。

NOTE Paragraph

00:10:46.555 --> 00:10:47.973
（笑声）

NOTE Paragraph

00:10:47.973 --> 00:10:49.323
我认为——

00:10:50.845 --> 00:10:53.189
我们获得越来越多的力量，

00:10:53.189 --> 00:10:56.290
这些力量用起来越来越得心应手，

00:10:56.290 --> 00:10:59.825
但是同时我们也可以发明一些技术
来帮我们控制

00:10:59.825 --> 00:11:01.844
人们如何使用这些力量。

NOTE Paragraph

00:11:01.844 --> 00:11:04.745
CA：那我们来谈谈面对这些危机的反应。

00:11:04.745 --> 00:11:07.146
假设想想这些可能性

00:11:07.146 --> 00:11:09.280
现有的这些可能性——

00:11:09.280 --> 00:11:12.983
不单单是合成生物技术，
还是网络战，

00:11:12.983 --> 00:11:16.467
人工智能，等等等等——

00:11:16.467 --> 00:11:20.781
我们的未来可能注定难逃一切。

00:11:20.781 --> 00:11:23.244
那人们可能会有怎样的反应呢？

00:11:23.244 --> 00:11:27.481
你在文章中
也谈过四种可能的反应。

NOTE Paragraph

00:11:27.481 --> 00:11:31.183
NB：限制技术发展看起来不太可能，

00:11:31.183 --> 00:11:34.556
如果我们谈的是技术发展的全面停滞。

00:11:34.556 --> 00:11:35.989
我觉得非但不可行，

00:11:35.989 --> 00:11:38.830
而且哪怕我们有能力这么做，
又有谁会想这么做。

00:11:38.830 --> 00:11:41.360
我想在极少数的领域，

00:11:41.360 --> 00:11:43.882
你可能会想要放慢发展的步伐。

00:11:43.882 --> 00:11:47.250
比如说你不会希望
生化武器得到快速发展，

00:11:47.250 --> 00:11:49.318
又或者说同位素分离，

00:11:49.318 --> 00:11:51.619
那是有助于生产原子弹的东西。

NOTE Paragraph

00:11:52.571 --> 00:11:55.805
CA：换作以前，
我会十分同意你这里的观点。

00:11:55.805 --> 00:11:59.400
但是现在，
我倒是想要三思一下。

00:11:59.400 --> 00:12:00.442
因为首先，

00:12:00.442 --> 00:12:03.750
如果我们回顾
过去几十年的历史，

00:12:03.750 --> 00:12:06.610
这段时期，
我们一直都在全速前进，

00:12:06.610 --> 00:12:08.846
这还好，那是我们唯一的选择。

00:12:08.846 --> 00:12:12.864
但如果你看看
全球化及其的加速发展，

00:12:12.864 --> 00:12:16.316
如果看看那个
“快速行动，破除陈规”的策略

00:12:16.316 --> 00:12:18.434
及其带来的后果，

00:12:18.434 --> 00:12:21.200
再看看合成生物技术的潜力所在，

00:12:21.200 --> 00:12:25.586
我不认为
我们应该快速发展，

00:12:25.586 --> 00:12:27.303
或者不加以任何约束，

00:12:27.303 --> 00:12:29.692
奔向一个人手一台 DNA 打印机，

00:12:29.692 --> 00:12:32.737
DNA 打印机变成高中实验室标配的
世界。

00:12:33.162 --> 00:12:34.729
是有一些的约束，对吗？

NOTE Paragraph

00:12:34.729 --> 00:12:37.415
NB：有可能，这是第一部分，
但是并不可行。

00:12:37.415 --> 00:12:39.516
如果你觉得
阻止这一切是人心所向，

00:12:39.516 --> 00:12:41.316
那么还有可行性问题。

00:12:41.316 --> 00:12:44.258
如果只是一个国家这么做
并没多大用处——

NOTE Paragraph

00:12:44.258 --> 00:12:46.186
CA：不，一个国家不管用，

00:12:46.186 --> 00:12:48.819
但是我们之前有过国际条约。

00:12:48.819 --> 00:12:52.321
这才是我们
真正度过核危机的方法——

00:12:52.321 --> 00:12:53.439
走出国门，

00:12:53.439 --> 00:12:56.422
历经痛苦的斡旋谈判。

00:12:56.422 --> 00:13:01.841
我在想，作为一项全球优先事务，
这其中的逻辑

00:13:01.841 --> 00:13:03.842
不应该是我们走出国门并尝试，

00:13:03.842 --> 00:13:06.242
比如现在，开始协商并制定出
一些非常严格的规定

00:13:06.242 --> 00:13:08.929
来约束合成生物的研究吗？

00:13:08.929 --> 00:13:11.913
这可不是什么
你想要民主化的东西，对吧？

NOTE Paragraph

00:13:11.913 --> 00:13:14.213
NB：我完全赞成——

00:13:15.480 --> 00:13:17.310
举个例子，

00:13:17.310 --> 00:13:21.399
也许拥有 DNA 合成仪器
挺诱人的，

00:13:21.399 --> 00:13:25.109
并非作为每个实验室
都有的那种产品，

00:13:25.109 --> 00:13:26.753
而可能作为一种服务。

00:13:26.753 --> 00:13:29.236
也许世界上能有那么 4 - 5 个地方，

00:13:29.236 --> 00:13:32.772
你可以把自己的电子蓝图发过去，
然后得到自己的 DNA 图谱。

00:13:32.772 --> 00:13:35.560
如果这个技术变成必需的一天
真的来了，

00:13:35.560 --> 00:13:36.906
那你就会获得这种能力，

00:13:36.906 --> 00:13:39.309
我们也会有一组有限的要塞点。

00:13:39.309 --> 00:13:42.810
所以我认为你会想
寻找某些特殊的机会，

00:13:42.810 --> 00:13:44.877
使你有更强的控制。

NOTE Paragraph

00:13:44.877 --> 00:13:46.629
CA：你的观点是，最终，

00:13:46.629 --> 00:13:49.642
仅依靠放慢脚步，
我们是无法成功的。

00:13:49.642 --> 00:13:52.293
某人，在某个地方——
北朝鲜——

00:13:52.293 --> 00:13:55.510
某人会发现这样的知识，

00:13:55.510 --> 00:13:57.144
如果它真的存在的话。

NOTE Paragraph

00:13:57.144 --> 00:13:59.512
NB：在当前的情况来看貌似是合理的。

00:13:59.512 --> 00:14:01.314
也不仅限于合成生物技术。

00:14:01.314 --> 00:14:03.947
我想世界上任何新的前沿的改变，

00:14:03.947 --> 00:14:05.581
都可能是一个黑球。

NOTE Paragraph

00:14:05.581 --> 00:14:07.766
CA：我们再看看另一种可能的反应。

NOTE Paragraph

00:14:07.766 --> 00:14:10.117
NB：我想这种反应的潜能是有限的。

00:14:10.117 --> 00:14:13.702
我们再看看 Type-1 弱点，

00:14:13.702 --> 00:14:16.677
如果能减少那些有动力因素

00:14:16.677 --> 00:14:19.175
去毁灭世界的人数，

00:14:19.175 --> 00:14:21.109
如果有这样的方法和途径，

00:14:21.109 --> 00:14:22.292
那会是件好事。

NOTE Paragraph

00:14:22.292 --> 00:14:24.511
CA：在这个你希望我们想象的图景中，

00:14:24.511 --> 00:14:26.867
你想象着带着面部识别的无人机

00:14:26.867 --> 00:14:27.951
满世界飞。

00:14:27.951 --> 00:14:31.350
当它们发现有人表现出
反社会行为倾向时，

00:14:31.350 --> 00:14:33.421
它们会施以爱的沐浴，并修正他们。

NOTE Paragraph

00:14:33.421 --> 00:14:35.654
NB：我想这会是个混合的图景。

00:14:35.654 --> 00:14:39.572
消除可以表示禁闭或杀害，

00:14:39.572 --> 00:14:42.692
也可以意味着，
劝说人们看到世界更美好的一面。

00:14:42.692 --> 00:14:44.442
但是重点是，

00:14:44.442 --> 00:14:46.594
假设你深谙此道，

00:14:46.594 --> 00:14:49.929
你把害人之马的数目减半了。

00:14:49.929 --> 00:14:52.450
而且假如你想通过劝说来实现，

00:14:52.450 --> 00:14:53.629
那么你就是在和那些

00:14:53.629 --> 00:14:55.964
如政党，宗教，教育体系等

00:14:55.964 --> 00:14:58.330
试图游说人们的进行力量比拼。

00:14:58.330 --> 00:14:59.782
但是假设你
真能把害人之马的数目减半，

00:14:59.782 --> 00:15:01.868
我不认为风险就会相应地
被削弱一半。

00:15:01.868 --> 00:15:03.653
可能只是减少 5% - 10% 。

NOTE Paragraph

00:15:03.653 --> 00:15:08.400
CA：你并不推荐我们把人类的未来
押在第二种反应上。

NOTE Paragraph

00:15:08.400 --> 00:15:11.700
NB：我觉得阻止和劝服人们是好的，

00:15:11.700 --> 00:15:13.990
但是我们不应该将此做为
我们唯一的保护措施。

NOTE Paragraph

00:15:13.990 --> 00:15:15.313
CA：那么第三种呢？

NOTE Paragraph

00:15:15.313 --> 00:15:18.259
NB：我觉得有两种通用的方法，

00:15:18.259 --> 00:15:22.211
我们可以利用它们
来获取稳定世界的能力

00:15:22.211 --> 00:15:25.229
来对抗所有一切可能的弱点。

00:15:25.229 --> 00:15:28.709
我们很可能会同时需要两者。

00:15:28.709 --> 00:15:30.707
一种是能够实施

00:15:30.707 --> 00:15:33.109
极为有效的预防管制的能力。

00:15:33.109 --> 00:15:35.410
如果有人做出危险之事，

00:15:35.410 --> 00:15:37.361
你可以拦截，

00:15:37.361 --> 00:15:40.162
你可以进行实时拦截，
并阻止他们。

00:15:40.162 --> 00:15:42.681
而这需要无孔不入的监管，

00:15:42.681 --> 00:15:45.181
所有人无时无刻都被监视。

NOTE Paragraph

00:15:46.266 --> 00:15:48.750
CA：那某种程度就是
”少数派报告“里的情景了。

NOTE Paragraph

00:15:48.750 --> 00:15:51.561
NB：你可能会使用人工智能算法

00:15:51.561 --> 00:15:55.346
来审查大型自由中心的这些数据等等。

NOTE Paragraph

00:15:56.362 --> 00:16:00.849
CA：你应该知道大众监控
现在不是个很吃香的词吧？

NOTE Paragraph

00:16:00.849 --> 00:16:02.399
（笑声）

NOTE Paragraph

00:16:03.266 --> 00:16:05.231
NB：是的，
所以图中的一个小小设备，

00:16:05.231 --> 00:16:07.826
把它想象成一个
你需要 24 小时佩戴的

00:16:07.826 --> 00:16:10.761
上面有多角度摄像头的项链。

00:16:11.629 --> 00:16:13.479
为了听起来不那么膈应，

00:16:13.479 --> 00:16:16.130
我们就叫它”自由标签“什么的。

NOTE Paragraph

00:16:16.130 --> 00:16:18.810
（笑声）

NOTE Paragraph

00:16:18.810 --> 00:16:19.348
CA：好吧。

00:16:19.348 --> 00:16:21.499
这就是对话呀，朋友们，

00:16:21.499 --> 00:16:25.520
这就是为什么
这是一场令人震撼的对话呀。

NOTE Paragraph

00:16:25.520 --> 00:16:27.218
NB：事实上，就这个主题
已经有很广泛的讨论了，

00:16:27.218 --> 00:16:29.119
很明显，单单针对这个主题本身。

00:16:29.119 --> 00:16:31.347
这背后有非常严重的
问题和风险，对吧？

00:16:31.347 --> 00:16:32.848
我们待会可以再谈谈。

00:16:32.848 --> 00:16:34.206
所以另外一种方法，
也是最后的方法，

00:16:34.206 --> 00:16:36.674
另一种带来普遍稳定性的能力

00:16:36.674 --> 00:16:38.759
大致就是插入另一个管制间隙。

00:16:38.759 --> 00:16:42.937
那么就可以在微观层面进行监管，

00:16:42.937 --> 00:16:46.106
比如说防止任何人做出
严重违法的行为。

00:16:46.106 --> 00:16:48.560
然后有一个对应的

00:16:48.560 --> 00:16:50.441
宏观、全球性层面的监管间隙。

00:16:50.441 --> 00:16:53.926
你需要凭借这种能力，

00:16:53.926 --> 00:16:57.210
可靠地，
来防止最糟糕的全球性协调失灵，

00:16:57.210 --> 00:17:00.962
来避免强权之间的战争，

00:17:00.962 --> 00:17:02.379
军备竞赛，

00:17:03.397 --> 00:17:05.664
灾难性的常见问题，

00:17:07.532 --> 00:17:11.750
以应对 Type-2a 弱点。

NOTE Paragraph

00:17:11.750 --> 00:17:13.672
CA：全球治理这一名词

00:17:13.672 --> 00:17:15.827
现在无疑是最不受待见的，

00:17:15.827 --> 00:17:18.620
但是你能否通过历史，

00:17:18.620 --> 00:17:19.713
人类的历史来说明

00:17:19.713 --> 00:17:25.183
在每一个技术力量上升的阶段，

00:17:25.183 --> 00:17:28.485
人们会重组这种力量并加以集中。

00:17:28.485 --> 00:17:31.798
比如说
当一群四处为非作歹的罪犯

00:17:31.798 --> 00:17:33.670
就能挟持一个社会的时候，

00:17:33.670 --> 00:17:35.815
那么对应的手段是国家，

00:17:35.815 --> 00:17:38.266
集中力量，
警察部队或一支军队，

00:17:38.266 --> 00:17:40.207
站出来说“你不能这么做。”

00:17:40.207 --> 00:17:44.631
这里面的逻辑，
让单个人或单个群体

00:17:44.631 --> 00:17:46.324
拥有保护人类的能力

00:17:46.324 --> 00:17:49.038
意味着在某个时刻
我们将不得不需要走这条路，

00:17:49.038 --> 00:17:50.848
至少在某些形式上，不是吗？

NOTE Paragraph

00:17:50.848 --> 00:17:54.192
NB：在人类的发展历程中
政治组织发展规模之壮大

00:17:54.192 --> 00:17:56.229
是毋庸置疑的。

00:17:56.229 --> 00:17:58.497
以前曾是捕猎者和采集者群体，

00:17:58.497 --> 00:18:01.399
接着是部落、城邦、国家，

00:18:01.399 --> 00:18:05.147
现在有国际组织，诸如此类。

00:18:05.147 --> 00:18:06.863
我想再次确认的一点是

00:18:06.863 --> 00:18:08.647
我有这样的机会去强调

00:18:08.647 --> 00:18:10.581
大众监管和全球治理

00:18:10.581 --> 00:18:13.211
很明显存在的巨大缺点

00:18:13.211 --> 00:18:15.444
以及巨大的风险。

00:18:15.444 --> 00:18:18.790
我刚指出的只是如果我们走运，

00:18:18.790 --> 00:18:20.664
想要躲过黑球的灾难

00:18:20.664 --> 00:18:22.306
也就那么些方法。

NOTE Paragraph

00:18:22.306 --> 00:18:24.722
CA：这个理论的逻辑，

00:18:24.722 --> 00:18:26.201
就我而言，

00:18:26.201 --> 00:18:29.711
我们得承认我们不可能无往不胜。

00:18:29.711 --> 00:18:31.445
也就是，

00:18:33.230 --> 00:18:36.314
我会说，
那种很多人都有的痴心妄想中，

00:18:36.314 --> 00:18:39.616
技术永远是一种向善的力量，

00:18:39.616 --> 00:18:42.534
继续前进、别停下来、全速前进，

00:18:42.534 --> 00:18:44.652
并且不计后果，

00:18:44.652 --> 00:18:46.452
其实根本没有这个选择。

00:18:46.452 --> 00:18:48.703
我们可以全速发展科技。

00:18:48.703 --> 00:18:50.524
但如果我们继续这么发展科技，

00:18:50.524 --> 00:18:51.842
我们就将要必须接受

00:18:51.842 --> 00:18:54.355
随之而来的
一些非常令人不适的不便，

00:18:54.355 --> 00:18:56.121
这有点像和我们自己比赛,

00:18:56.121 --> 00:18:58.837
如果你想拥有力量，
你最好能限制它的使用，

00:18:58.837 --> 00:19:00.923
你最好想办法如何限制它的使用。

NOTE Paragraph

00:19:00.923 --> 00:19:04.324
NB：我想这是一种选择，

00:19:04.324 --> 00:19:07.076
非常诱人的一种选择，
某种程度上也是最简单的选择，

00:19:07.076 --> 00:19:08.443
还可能奏效，

00:19:08.443 --> 00:19:13.279
但这也意味着我们本质上很脆弱，
不能承受取出黑球之重。

00:19:13.279 --> 00:19:15.446
现在我认为，一定的协调能力

00:19:15.446 --> 00:19:18.202
比方说如果真的解决了
宏观管理问题

00:19:18.202 --> 00:19:19.754
以及微观治理问题，

00:19:19.754 --> 00:19:22.106
那么我们可以一次性
从缸里取出所有的小球。

00:19:22.106 --> 00:19:23.817
那么我们将会极其受益。

NOTE Paragraph

00:19:24.469 --> 00:19:27.933
CA：我想，如果我们活在
一个模拟世界中，这又有什么关系？

00:19:27.933 --> 00:19:29.266
我们重启就好了。

NOTE Paragraph

00:19:29.266 --> 00:19:30.518
（笑声）

NOTE Paragraph

00:19:30.518 --> 00:19:32.251
NB：那……我……

NOTE Paragraph

00:19:32.251 --> 00:19:34.686
（笑声）

00:19:34.686 --> 00:19:36.294
我没想到你会这么说。

NOTE Paragraph

00:19:38.025 --> 00:19:39.480
CA：那么你的看法呢？

00:19:39.480 --> 00:19:44.083
综合来看，
我们在劫难逃的几率有多高？

NOTE Paragraph

00:19:44.083 --> 00:19:46.050
（笑声）

NOTE Paragraph

00:19:46.917 --> 00:19:49.280
我喜欢当你问这个问题的时候
大家笑成这样。

NOTE Paragraph

00:19:49.280 --> 00:19:50.731
NB：在个人的层面，

00:19:50.731 --> 00:19:54.450
从时间线上来看
我们终究难逃一劫，

00:19:54.450 --> 00:19:57.235
我们在腐烂，在老化，
诸如此类的，对吧？

NOTE Paragraph

00:19:57.235 --> 00:19:58.819
（笑声）

NOTE Paragraph

00:19:58.819 --> 00:20:00.519
事实上很难说。

00:20:00.519 --> 00:20:02.705
如果你想通过一个设定来附加概率，

00:20:02.705 --> 00:20:04.056
首先要问的是，我们是谁？

00:20:04.056 --> 00:20:06.725
如果你年事已高，
很可能你会自然死亡，

00:20:06.725 --> 00:20:09.575
如果你还很年轻，
你可能能活到 100 岁——

00:20:09.575 --> 00:20:11.876
这个概率的大小
取决于你问的对象是谁。

00:20:11.876 --> 00:20:16.129
接着我们得问，怎样才算是文明毁灭？

00:20:16.129 --> 00:20:21.648
在文章里我不需要存在的灾难

00:20:21.648 --> 00:20:23.266
来计算概率。

00:20:23.266 --> 00:20:24.949
主要看你怎样定义，

00:20:24.949 --> 00:20:26.379
我可以说 10 亿的死亡人数，

00:20:26.379 --> 00:20:28.329
或者 GDP 下降 50% ，

00:20:28.329 --> 00:20:30.596
但是一切取决于
你所设定的起点是什么，

00:20:30.596 --> 00:20:32.664
起点不同，
所得到的概率估算随之不同。

00:20:32.664 --> 00:20:37.185
但是我想你可以把我看做是
一个害怕的乐观主义者吧。

NOTE Paragraph

00:20:37.185 --> 00:20:38.350
（笑声）

NOTE Paragraph

00:20:38.350 --> 00:20:40.187
CA：如果你是一个害怕的乐观主义者，

00:20:40.187 --> 00:20:44.253
那我想你刚刚就催生了一帮
同样害怕的……

00:20:44.253 --> 00:20:45.487
人们。

NOTE Paragraph

00:20:45.487 --> 00:20:46.654
（笑声）

NOTE Paragraph

00:20:46.654 --> 00:20:47.938
NB：在模拟世界里。

NOTE Paragraph

00:20:47.938 --> 00:20:49.086
CA：在一个模拟世界里。

00:20:49.086 --> 00:20:50.854
尼克 · 博斯特罗姆，
你的思维真让我大开眼界，

00:20:50.854 --> 00:20:53.871
非常感谢你今天在光天化日之下
把我们大家都吓得不行。

NOTE Paragraph

00:20:53.871 --> 00:20:56.375
（掌声）