Как цивилизация может разрушить сама себя, и 4 способа это предотвратить

Человечество почти приблизилось к созданию «чёрного шара» — научно-технического открытия, которое, по словам Ника Бострома, специалиста в вопросах философии, уничтожит всех нас. В ходе этого точного и на удивление непринужденного диалога с Крисом Андерсом, главой TED-сообщества, Бостром выделяет проблемы, с которыми нам предстоит столкнуться, когда мы потеряем контроль над нашими изобретениями (если такое вдруг случится), а также предполагает, как нам спастись от самоуничтожения.

Крис Андерсон: Ник Бостром

Вы уже делились
с нами своими безумными идеями.

Пару десятилетий назад, как мне

помнится, вы предположили,
что мы будем жить в симуляции

или мы уже в ней.

А относительно недавно

вы представили самый наглядный пример
того, как может навредить

всеобщий искусственный интеллект.

И уже в этом году

вы собираетесь издавать

книгу с самыми уязвимыми
мировыми гипотезами.

И сегодняшний выпуск должен стать
иллюстрированным руководством к ней.

Давайте начнём.

Что это за гипотезы?

Ник Бостром: Это попытка осмысления
структурных компонентов

текущего состояния человечества.

Вам нравится метафора про урну,

поэтому я использую её.

Представьте большу́ю урну,
наполненную шарами,

которые представляют собой идеи, методы

и всевозможные технологии.
Всю творческую деятельность человечества

можно сравнить с погружением в эту урну
и вытаскиванием оттуда шариков.

И долгие годы мы всегда
получали только пользу от этого, верно?

Мы изъяли слишком много белых шаров,

несколько с оттенками серого,
с неоднозначными последствиями.

Но нам так давно не попадался
чёрный шар — технология,

которая непременно уничтожит
своих создателей.

В книге содержатся версии того,
что́ будет внутри чёрного шара.

КА: То есть, вы определяете этот шар

как причину гибели цивилизации.

НБ: Пока мы не выйдем из своего
стандартного состояния полуанархии,

как я это называю.

КА: В качестве доказательства вы приводите

несколько контрпримеров.

Вы убеждены, что нам везло
на протяжении многих лет.

И возможно мы, сами того не подозревая,

уже вытянули этот шар смерти.

Также вы приводите цитату.
Что она означает?

НБ: Она только показывает,

насколько сложно предусмотреть

все последствия базовых открытий.

У нас нет такой возможности.

Мы хорошо научились
вытаскивать шары из урны,

но не умеем возвращать их обратно.

То есть, мы можем изобретать,
но не наоборот.

В качестве стратегии
у нас есть только надежда на то,

что в урне нет шаров чёрного цвета.

КА: Однажды мы его вытащим
и не сможем вернуть обратно,

и вы считаете нам пока везло.

Прокомментируйте примеры,
где вы упоминаете

несколько типов уязвимости.

НБ: Самый простой тип для понимания —

технология, которая сможет
без особого труда

вызвать много массовых разрушений.

Синтетическая биология может стать
богатым источником

чёрных шаров подобного рода.

Также стоит задуматься
о продуктах геоинженерии.

Мы можем бороться
с глобальным потеплением,

но не нужно облегчать себе задачу.

Не нужно, чтобы случайный человек
и его бабушка

имели возможность радикальным образом
изменить климат на земле.

Или смертоносные беспилотные дроны
размером с комара,

которые массово производят
для уничтожения вредителей

Нанотехнологии,
всеобщий искусственный интеллект.

КА: В книге есть сомнение,

что нам повезло открыть ядерную энергию

для создания атомной бомбы.

Возможно, это тот случай,

когда возможно создать бомбу

с помощью более лёгких ресурсов,
доступных каждому.

НБ: Вернёмся в 30-е годы ХХ века,

когда мы впервые достигли прогресса
в ядерной физике.

Некоторые выдающиеся учёные выяснили,
как создать цепную ядерную реакцию

и потом довели её до бомбы.

Мы провели исследование.

Выяснилось, что для создания
атомной бомбы, содержащей

в огромном количестве уран и плутоний,

которые получить довольно трудно,

нужны ультрацентрифуги, нужны реакторы,

а также большое количество энергии.

Мы предполагаем, что вместо этого

существует более лёгкий способ
высвободить энергию из атома.

А что, если окажется возможным
вызвать ядерный взрыв

из песка в микроволновке

или более простым способом.

Сейчас это невозможно
с точки зрения физики.

Но пока не проведены такие опыты,

как узнать, что из этого выйдет?

КА: Согласитесь, для нормального

развития жизни на Земле необходима

стабильная среда.

И если бы имелся более лёгкий способ
получения крупных ядерных реакций,

то стабильной среды на Земле
бы не существовало,

и нас здесь не было.

НБ: Да, если бы существовало что-то,
созданное специально,

а не само по себе.

Так мы делаем многое.

Мы можем уложить 10 блоков друг на друга,

но в природе такого не встретишь.

КА: А сейчас поговорим о том,

что волнует нас больше всего.

На данный момент, из того,
что мы можем предсказать,

синтетическая биология — кратчайший путь
к самоуничтожению.

НБ: И только представьте,
как это будет выглядеть,

если сказать кому-то,
что он может разнести город,

готовя что-то на кухне.

Трудно представить, как современная
цивилизация в привычном нам виде

сможет пережить подобное.

Потому что среди любого
многомилионного населения

найдутся те, кто по непонятной причине

захотят использовать
эту разрушительную силу.

И если бы этот любитель апокалипсиса

выбрал бы уничтожить город
или, что-то хуже,

то города были бы разрушены.

КА: Есть другой тип уязвимости.

Расскажите о нём, пожалуйста.

НБ: Помимо простых для понимания
чёрных шаров,

которые снесут всё на своем пути,

другие будут создавать людям стимул
для совершения плохих поступков

и причинение вреда.

То есть, если подумать о так называемом
Типе-2а, то это технология,

которая подвигнет великие мировые державы

на использование всей своей военной мощи
для разрушения.

На самом деле, ядерное оружие
очень близко к этому, да?

Что мы сделали: мы потратили более
10 триллионов долларов

на создание 70 тыс. ядерных боеголовок

и держим их в состоянии повышенной
боевой готовности.

Во время Холодной войны мы несколько раз

были на грани взаимоуничтожения.

Не потому, что люди считают
замечательной идеей

спустить 10 миллионов долларов
на самоуничтожение.

Стимулировало то, что мы только ищем себя,

и это могло быть худшим.

Представьте, если бы первый удар
прошёл без особых последствий,

то было бы очень сложно

в кризисной ситуации

воздержаться от запуска
всех ядерных ракет.

Если не иначе, потому что вы боитесь,
что это сделают с другой стороны.

КА: Гарантированное взаимоуничтожение

поддерживало стабильность
в период холодной войны.

Иначе нас бы тут не было.

НБ: Да, это бы сделало её
более нестабильной.

Тут могла бы проявиться
другая сторона технологий.

Было бы труднее достигнуть
соглашений по вооружению,

если бы вместо ядерного оружия

существовал какой-нибудь
мелкий предмет или менее заметный.

КА: Как и плохие мотивы
влиятельных субъектов мира,

вы также переживаете из-за плохих
побуждений каждого из нас в типе 2б.

НБ: Да, тут лучше взять в пример
глобальное потепление.

Каждый из нас пользуется в быту

какими-то современными удобствами,

использование которых не имеет
значительных последствий, так?

Но миллиарды людей делают то же самое,

что вместе имеет разрушительное действие

сейчас проблема глобального
потепления может усугубиться.

Существует параметр влияния на климат.

Он показывает на сколько
усилится потепление

при выхлопе определённого количества
парниковых газов.

Предположим, что при количестве
парниковых газов,

выпускаемых на данный момент,

к 2100 году вместо увеличения температуры

всего на 3–4,5 градуса мы столкнёмся

с увеличением на 15 или даже 20 градусов.

То есть мы можем оказаться
в очень плохом положении.

Предположим, что очень сложно создать
возобновляемый источник энергии

или в земле есть больше
ископаемых видов топлива

КА: Утверждаете ли вы,
что если тот образ жизни,

который мы ведём сегодня

со временем приведёт
к видимой разнице в 10 градусов,

то люди бы уже засуетились
и сделали что-нибудь с этим.

Возможно, мы и глупы, но не настолько.

Но кто знает.

НБ: Я бы не был так уверен.

(Смех)

Подумайте и о других свойствах.

На данный момент переключиться на
возобновляемые энергоносители и подобные

вещи сложно, но возможно.

Возможно с использованием
немного других физических свойств

осуществление этого выйдет намного дороже.

КА: А какое у вас мнение?

Находится ли наша планета,

человечество со всеми своими
техническими возможностями,

в уязвимом положении?

Есть ли шар смерти в нашем будущем?

НБ: Трудно сказать.

Я думаю, что в этой урне
с большой вероятностью будут

разнообразные чёрные шары.

Но также будут и золотые,

которые помогут нам в битве
против чёрных шаров.

Но я не знаю, в каком порядке
они будут появляться.

КА: Ваша идея слегка противоречит

философской мысли о том, что будущее
предопределено и неизбежно,

независимо от цвета очередного шара

и в некоторой степени

мне не хочется верить в такое будущее.

Я хочу верить, что будущее
не предопределено,

что решения, принимаемые нами сегодня,

повлияют на цвет шара, который мы вытащим.

НБ: Я думаю, если мы будем
продолжать изобретать

в конечном итоге мы вытащим все шары.

Есть некая слабая форма
технологического детерминизма,

которая имеет веские основания,

то есть вы вряд ли встретите сообщество,

где пользуются кремниевыми топорами
и реактивными самолетами.

Технологии можно считать
пакетом возможностей.

Технологии позволяют нам
делать различные вещи и достигать

разнообразных результатов в мире.

Как использовать их,
зависит только от нашего выбора.

Но если задуматься об этих
трёх типах уязвимости

они могут пошатнуть представление
об их использовании

Напомню, первый тип уязвимости —
огромная разрушительная сила

и предположение о том,

что среди многомиллионного населения
найдутся те,

кто захотят использовать её
для разрушения, довольно слабое.

КА: Меня больше всего
беспокоит мысль о том,

что мы на данный момент в некотором роде
погрузились в эту урну настолько,

чтобы понять, что мы обречены.

То есть, если вы верите в увеличение мощи,

в развитие технологий,

в создание техники,
которая сделает нас сильнее,

то в какой-то момент вы доходите до мысли,

что отдельно взятый человек
может уничтожить всех нас.

И в таком случае нам всем конец.

Вас это не тревожит?

НБ: Ах, да

(Смех)

Я считаю....

Да, мы становимся всё сильнее,

и применять эту силу становится всё легче,

но мы также можем изобрести технологию,
которая позволит нам контролировать

использование этой силы людьми

КА: Давайте обсудим это.
Поговорим об ответных реакциях.

Предположим,
размышляя о всех возможностях,

которые мы имеем на сегодняшний день, —

это не только синбиотехнологии,
но и вещи вроде кибервойны,

искусственный интеллект и т.д. —

за что, возможно, в будущем
нас ожидает серьёзная расплата.

Какими будут ответные реакции?

Вы упомянули также четыре типа
этих ответных реакций.

НБ: Ограничение в развитии технического
прогресса не вселяет надежды,

если мы все имеем в виду остановку
технического прогресса в целом.

Я думаю, у нас нет

ни желания, ни возможности сделать это.

Или, возможно, только в некоторых областях

вам захочется замедлить
технический прогресс

Я думаю, вы не захотите быстрого развития
биологического оружия

или разделения изотопов,
что поспособствует

более лёгкому созданию ядерного оружия

КА: Я полностью согласен с вами,

но я бы хотел заострить внимание на этом,

во-первых, потому что,

если посмотреть на историю
двух последних десятилетий,

мы продвигаемся вперёд на полной скорости,

хорошо, что это только наш выбор,

но если посмотреть на глобализацию
и её стремительный рост,

на стратегию
«двигайся быстрее и ломай преграды»

и во что это превратилось,

а потом на весь потенциал
синтетической биологии.

Я не уверен, что нам стоит продвигаться
настолько быстро,

без каких-либо ограничений,

в мир, где ДНК-принтер будет
в каждом доме и в лаборатории

старшей школы

Должны быть какие-то ограничения.

НБ: Возможно, первая часть,
не самая подходящая.

Если люди всё же захотят остановить это,

то возникнут проблемы с реализацией.

Ничего на деле не выйдет,
если население одной страны...

КА: Нет, если действует только один народ,

но мы уже заключали
международные соглашения ранее.

Благодаря этому нам удалось
устранить ядерную угрозу

путём встреч

и длительных сложных переговоров.

Интересно, не будет ли нам более логично
не выходить сюда по важному делу

и пытаться обсуждать

строгие правила по вопросам

синтетических биоисследований.

Разве не это вы хотите демократизировать?

НБ: Я полностью согласен.

Хотелось бы, например,

чтобы ДНК-синтезатор был не устройством,

которое будет стоять в каждой лаборатории,

а, быть может, сервисом.

Допустим, в мире будет
всего четыре или пять мест,

куда можно будет отправить электронный
образец ДНК и вам придут результаты.

А потом у вас будет возможность

при необходимости

получить конечное множество
уязвимых мест.

Думаю, вы захотите узнать
об особых ситуациях,

которые можно будет жёстко контролировать.

КА: По сути, ваше мнение в том,

что ничего не выйдет, если мы просто
замедлим прогресс .

Кто-нибудь, где-нибудь,
предположим в Северной Корее,

найдётся тот, кто захочет добыть
именно чёрный шар из урны,

если там такой есть.

НБ: В текущих условиях — вполне вероятно.

И дело не в синтетической биологии.

Чёрным шаром могут оказаться
абсолютно любые

новые серьезные изменения в мире.

КА: Есть ещё вариант развития.
[Ликвидация опасных людей]

НБ: Но вероятность довольно мала.

Касательно первого типа уязвимости.

Если бы можно было уменьшить
количество людей, заинтересованных

в уничтожении мира,

будь у них доступ к оружию и средства,

то было бы прекрасно.

КА: Вы просили показать этот слайд,

с дронами с функцией распознавания лиц,

летающими по всему миру.

И когда обнаружат людей с признаками
асоциального поведения,

они засыпят их любовью,
«починят» так сказать

НБ: Всё не так однозначно.

Под ликвидацией подразумевается также,
например, лишение свободы или уничтожение,

или изменение их взглядов на жизнь
на более правильные.

Смысл в том, что,

допустим, вы справились с задачей,

сократили количество опасных людей вдвое.

Если делать ликвидацию путём убеждения,

то вы столкнётесь с другими
мощными факторами,

влияющими на людей:

партиями, религией, образованием.

Если число опасных людей
сократилось вдвое.

Мне кажется риск снизится не на 50%,

а только на 5 или 10%.

КА: Вы считаете, что мы не рискуем
будущим человечества во втором варианте?

НБ: Думаю нет ничего плохого
в попытке разубедить людей,

но данный метод не сможет
обеспечить безопасность в одиночку.

КА: А третий вариант?

НБ: Существует два основных метода,

пользуясь которыми мы сможем
укрепить наш мир

против целого комплекса
возможных уязвимостей.

Но, возможно, понадобятся оба.

Первый — высоко эффективная
правоохранительная деятельность полиции,

[Способ 3. Тотальная слежка]

возможность перехвата.

Если кто-то захочет пойти на преступление,

то было бы возможно
перехватить и остановить его.

В таком случае потребуется
повсеместный надзор,

каждый из нас
будет находится под наблюдением.

КА: Как в фильме «Особое мнение».

НБ: В наблюдении нам могут помочь

алгоритмы искусственного интеллекта,
огромные центры свободы и т.д.

КА: Вы знаете, термин «тотальная слежка»
сейчас не очень популярен?

(Смех)

НБ: Это будет небольшое устройство

с разнонаправленными камерами,
встроенное в так называемый чокер,

который нужно будет носить постоянно.

Чтобы это не казалось обременяющим,

просто назовём его
чем-то вроде «символа свободы».

(Смех)

КА: Хорошо

Друзья, именно поэтому наша беседа

настолько увлекательная.

НБ: На самом деле об этом можно
долго разговаривать,

что очевидно.

Мы обсуждали риски и проблемы, не так ли?

Можем вернуться к этому.

И четвёртая,
[Глобальное управление]

последняя возможность для стабилизации —

заделать бреши в работе правительства.

Контроль стал бы недостатком
в управлении на микроуровне,

мешая кому-либо совершить
что-то противозаконное.

Конечно, такая же проблема наблюдается

и на макроуровне, на глобальном уровне.

Однозначно, потребуется компетенция
для предотвращения

сбоев в глобальной координации,

чтобы избежать войны
между великими державами,

гонки вооружений,

общих проблем с катаклизмами,

чтобы справится с уязвимостями типа 2а.

КА: Термин «глобальное управление»

сейчас явно не в моде,

но вы можете привести довод, что в ходе

истории человечества

на каждой новой стадии развития
технологическая мощь возрастает.

Люди преобразовали
и сосредоточили эту мощь.

Например, когда бродячая
преступная группировка

может возглавить общество

ответ был, что у вас государство-нация

и вы сосредоточиваете силы —
полицейских или армию

и «Вы не можете так сделать».

Логика, возможно, в том, что если
отдельно взятый человек или группа людей

смогут уничтожить человечество,

когда-то мы встанем
на этот путь, по крайней мере

в некоторых аспектах?

НБ: Однозначно, в ходе развития
истории человечества

масштабы политического аппарата
увеличились.

Сначала была группа охотников-собирателей,

потом глава племени,
города-государства, нации,

сейчас существуют
международные организации и т.д.

Я просто хочу убедиться,

что мне удалось подчеркнуть

большое количество негативных сторон

и риска

как в случае тотальной слежки,
так и в глобальном управлении.

Просто хочу отметить, если нам повезёт,
то мир может

оказаться таким, что всё
вышеперечисленное будет только

спасением от чёрного шара.

КА: Как я понимаю, логика
данной теории в том, что,

надо понимать,

что все произойдёт не сразу.

Это что-то вроде

наивной мечты,
которая есть у многих из нас,

что технологии всегда
используются во благо.

Продолжай, не останавливайся,
поторопись, если возможно,

и не думай о последствиях,

которые могут даже не произойти.

Это может случится.

И если всё же произойдёт,

то нам придётся принять

и другие сопутствующие обстоятельства,

и стать частью гонки вооружений.

Если хотите иметь мощь,
лучше её ограничить,

или выяснить, как её ограничить.

НБ: Думаю, это вариант,

причём очень хороший, в некотором смысле
даже самый лёгкий

и он может сработать.

Но это значит мы очень уязвимы
перед появлением чёрного шара.

Думаю, что добавив немного координации,

если бы мы разрешили все проблемы

на уровне макро- и микроуправления,

то вытащили бы все шары из урны

и извлекли немало выгоды.

КА: Какая разница, если мы
живём в симуляции?

Мы просто перезагружаемся.

(Смех)

НБ: я...

(Смех)

Не думаю, что это настало.

КА: Как вы считаете?

Если сложить всё вместе, какова
вероятность, что мы обречены?

(Смех)

Мне нравится смех людей,
когда звучит этот вопрос.

НБ: На индивидуальном уровне

нам придёт конец в любом случае,
со временем мы стареем,

разлагаемся, и всё в этом духе, да?

(Смех)

На самом деле всй немного сложнее.

Если вы хотите посчитать вероятность
того, что нам конец,

во-первых, кто «мы»?

Если вам много лет, то, возможно,
умрёте своей смертью.

Если вы молоды, то у вас может быть
целых 100 лет.

Вероятность индивидуальна.

Затем порог, то есть ограничить понятие
разрушения цивилизации.

В своей книге я не считаю
экзистенциальную катастрофу

разрушением цивилизации.

Это всё вопрос определения.

Допустим, будет миллиард погибших

или сокращение мирового ВВП на 50%,

но от того, как вы обозначите порог,

вы получите разную степень вероятности.

Думаю, вы назовёте меня
запуганным оптимистом.

(Смех)

КА: Вы запуганный оптимист,

и я думаю, сейчас вы создали немало
себе подобных запуганных

...людей.

(Смех)

НБ: Живущих в симуляции.

КА: Точно.

Ник Бостром, ваши идеи удивляют.

Спасибо, что запугали нас до смерти.

(Аплодисменты)