-
Cím:
Как цивилизация может разрушить сама себя, и 4 способа это предотвратить
-
Leírás:
Человечество почти приблизилось к созданию «чёрного шара» — научно-технического открытия, которое, по словам Ника Бострома, специалиста в вопросах философии, уничтожит всех нас. В ходе этого точного и на удивление непринужденного диалога с Крисом Андерсом, главой TED-сообщества, Бостром выделяет проблемы, с которыми нам предстоит столкнуться, когда мы потеряем контроль над нашими изобретениями (если такое вдруг случится), а также предполагает, как нам спастись от самоуничтожения.
-
Speaker:
Ник Бостром
-
Крис Андерсон: Ник Бостром
-
Вы уже делились
с нами своими безумными идеями.
-
Пару десятилетий назад, как мне
-
помнится, вы предположили,
что мы будем жить в симуляции
-
или мы уже в ней.
-
А относительно недавно
-
вы представили самый наглядный пример
того, как может навредить
-
всеобщий искусственный интеллект.
-
И уже в этом году
-
вы собираетесь издавать
-
книгу с самыми уязвимыми
мировыми гипотезами.
-
И сегодняшний выпуск должен стать
иллюстрированным руководством к ней.
-
Давайте начнём.
-
Что это за гипотезы?
-
Ник Бостром: Это попытка осмысления
структурных компонентов
¶
-
текущего состояния человечества.
-
Вам нравится метафора про урну,
-
поэтому я использую её.
-
Представьте большу́ю урну,
наполненную шарами,
-
которые представляют собой идеи, методы
-
и всевозможные технологии.
Всю творческую деятельность человечества
-
можно сравнить с погружением в эту урну
и вытаскиванием оттуда шариков.
-
И долгие годы мы всегда
получали только пользу от этого, верно?
-
Мы изъяли слишком много белых шаров,
-
несколько с оттенками серого,
с неоднозначными последствиями.
-
Но нам так давно не попадался
чёрный шар — технология,
-
которая непременно уничтожит
своих создателей.
-
В книге содержатся версии того,
что́ будет внутри чёрного шара.
-
КА: То есть, вы определяете этот шар
¶
-
как причину гибели цивилизации.
-
НБ: Пока мы не выйдем из своего
стандартного состояния полуанархии,
¶
-
как я это называю.
-
КА: В качестве доказательства вы приводите
¶
-
несколько контрпримеров.
-
Вы убеждены, что нам везло
на протяжении многих лет.
-
И возможно мы, сами того не подозревая,
-
уже вытянули этот шар смерти.
-
Также вы приводите цитату.
Что она означает?
-
НБ: Она только показывает,
¶
-
насколько сложно предусмотреть
-
все последствия базовых открытий.
-
У нас нет такой возможности.
-
Мы хорошо научились
вытаскивать шары из урны,
-
но не умеем возвращать их обратно.
-
То есть, мы можем изобретать,
но не наоборот.
-
В качестве стратегии
у нас есть только надежда на то,
-
что в урне нет шаров чёрного цвета.
-
КА: Однажды мы его вытащим
и не сможем вернуть обратно,
¶
-
и вы считаете нам пока везло.
-
Прокомментируйте примеры,
где вы упоминаете
-
несколько типов уязвимости.
-
НБ: Самый простой тип для понимания —
¶
-
технология, которая сможет
без особого труда
-
вызвать много массовых разрушений.
-
Синтетическая биология может стать
богатым источником
-
чёрных шаров подобного рода.
-
Также стоит задуматься
о продуктах геоинженерии.
-
Мы можем бороться
с глобальным потеплением,
-
но не нужно облегчать себе задачу.
-
Не нужно, чтобы случайный человек
и его бабушка
-
имели возможность радикальным образом
изменить климат на земле.
-
Или смертоносные беспилотные дроны
размером с комара,
-
которые массово производят
для уничтожения вредителей
-
Нанотехнологии,
всеобщий искусственный интеллект.
-
КА: В книге есть сомнение,
¶
-
что нам повезло открыть ядерную энергию
-
для создания атомной бомбы.
-
Возможно, это тот случай,
-
когда возможно создать бомбу
-
с помощью более лёгких ресурсов,
доступных каждому.
-
НБ: Вернёмся в 30-е годы ХХ века,
¶
-
когда мы впервые достигли прогресса
в ядерной физике.
-
Некоторые выдающиеся учёные выяснили,
как создать цепную ядерную реакцию
-
и потом довели её до бомбы.
-
Мы провели исследование.
-
Выяснилось, что для создания
атомной бомбы, содержащей
-
в огромном количестве уран и плутоний,
-
которые получить довольно трудно,
-
нужны ультрацентрифуги, нужны реакторы,
-
а также большое количество энергии.
-
Мы предполагаем, что вместо этого
-
существует более лёгкий способ
высвободить энергию из атома.
-
А что, если окажется возможным
вызвать ядерный взрыв
-
из песка в микроволновке
-
или более простым способом.
-
Сейчас это невозможно
с точки зрения физики.
-
Но пока не проведены такие опыты,
-
как узнать, что из этого выйдет?
-
КА: Согласитесь, для нормального
¶
-
развития жизни на Земле необходима
-
стабильная среда.
-
И если бы имелся более лёгкий способ
получения крупных ядерных реакций,
-
то стабильной среды на Земле
бы не существовало,
-
и нас здесь не было.
-
НБ: Да, если бы существовало что-то,
созданное специально,
¶
-
а не само по себе.
-
Так мы делаем многое.
-
Мы можем уложить 10 блоков друг на друга,
-
но в природе такого не встретишь.
-
КА: А сейчас поговорим о том,
¶
-
что волнует нас больше всего.
-
На данный момент, из того,
что мы можем предсказать,
-
синтетическая биология — кратчайший путь
к самоуничтожению.
-
НБ: И только представьте,
как это будет выглядеть,
¶
-
если сказать кому-то,
что он может разнести город,
-
готовя что-то на кухне.
-
Трудно представить, как современная
цивилизация в привычном нам виде
-
сможет пережить подобное.
-
Потому что среди любого
многомилионного населения
-
найдутся те, кто по непонятной причине
-
захотят использовать
эту разрушительную силу.
-
И если бы этот любитель апокалипсиса
-
выбрал бы уничтожить город
или, что-то хуже,
-
то города были бы разрушены.
-
КА: Есть другой тип уязвимости.
¶
-
Расскажите о нём, пожалуйста.
-
НБ: Помимо простых для понимания
чёрных шаров,
¶
-
которые снесут всё на своем пути,
-
другие будут создавать людям стимул
для совершения плохих поступков
-
и причинение вреда.
-
То есть, если подумать о так называемом
Типе-2а, то это технология,
-
которая подвигнет великие мировые державы
-
на использование всей своей военной мощи
для разрушения.
-
На самом деле, ядерное оружие
очень близко к этому, да?
-
Что мы сделали: мы потратили более
10 триллионов долларов
-
на создание 70 тыс. ядерных боеголовок
-
и держим их в состоянии повышенной
боевой готовности.
-
Во время Холодной войны мы несколько раз
-
были на грани взаимоуничтожения.
-
Не потому, что люди считают
замечательной идеей
-
спустить 10 миллионов долларов
на самоуничтожение.
-
Стимулировало то, что мы только ищем себя,
-
и это могло быть худшим.
-
Представьте, если бы первый удар
прошёл без особых последствий,
-
то было бы очень сложно
-
в кризисной ситуации
-
воздержаться от запуска
всех ядерных ракет.
-
Если не иначе, потому что вы боитесь,
что это сделают с другой стороны.
-
КА: Гарантированное взаимоуничтожение
¶
-
поддерживало стабильность
в период холодной войны.
-
Иначе нас бы тут не было.
-
НБ: Да, это бы сделало её
более нестабильной.
¶
-
Тут могла бы проявиться
другая сторона технологий.
-
Было бы труднее достигнуть
соглашений по вооружению,
-
если бы вместо ядерного оружия
-
существовал какой-нибудь
мелкий предмет или менее заметный.
-
КА: Как и плохие мотивы
влиятельных субъектов мира,
¶
-
вы также переживаете из-за плохих
побуждений каждого из нас в типе 2б.
-
НБ: Да, тут лучше взять в пример
глобальное потепление.
¶
-
Каждый из нас пользуется в быту
-
какими-то современными удобствами,
-
использование которых не имеет
значительных последствий, так?
-
Но миллиарды людей делают то же самое,
-
что вместе имеет разрушительное действие
-
сейчас проблема глобального
потепления может усугубиться.
-
Существует параметр влияния на климат.
-
Он показывает на сколько
усилится потепление
-
при выхлопе определённого количества
парниковых газов.
-
Предположим, что при количестве
парниковых газов,
-
выпускаемых на данный момент,
-
к 2100 году вместо увеличения температуры
-
всего на 3–4,5 градуса мы столкнёмся
-
с увеличением на 15 или даже 20 градусов.
-
То есть мы можем оказаться
в очень плохом положении.
-
Предположим, что очень сложно создать
возобновляемый источник энергии
-
или в земле есть больше
ископаемых видов топлива
-
КА: Утверждаете ли вы,
что если тот образ жизни,
¶
-
который мы ведём сегодня
-
со временем приведёт
к видимой разнице в 10 градусов,
-
то люди бы уже засуетились
и сделали что-нибудь с этим.
-
Возможно, мы и глупы, но не настолько.
-
Но кто знает.
-
НБ: Я бы не был так уверен.
¶
-
-
Подумайте и о других свойствах.
¶
-
На данный момент переключиться на
возобновляемые энергоносители и подобные
-
вещи сложно, но возможно.
-
Возможно с использованием
немного других физических свойств
-
осуществление этого выйдет намного дороже.
-
КА: А какое у вас мнение?
¶
-
Находится ли наша планета,
-
человечество со всеми своими
техническими возможностями,
-
в уязвимом положении?
-
Есть ли шар смерти в нашем будущем?
-
-
Я думаю, что в этой урне
с большой вероятностью будут
-
разнообразные чёрные шары.
-
Но также будут и золотые,
-
которые помогут нам в битве
против чёрных шаров.
-
Но я не знаю, в каком порядке
они будут появляться.
-
КА: Ваша идея слегка противоречит
¶
-
философской мысли о том, что будущее
предопределено и неизбежно,
-
независимо от цвета очередного шара
-
и в некоторой степени
-
мне не хочется верить в такое будущее.
-
Я хочу верить, что будущее
не предопределено,
-
что решения, принимаемые нами сегодня,
-
повлияют на цвет шара, который мы вытащим.
-
НБ: Я думаю, если мы будем
продолжать изобретать
¶
-
в конечном итоге мы вытащим все шары.
-
Есть некая слабая форма
технологического детерминизма,
-
которая имеет веские основания,
-
то есть вы вряд ли встретите сообщество,
-
где пользуются кремниевыми топорами
и реактивными самолетами.
-
Технологии можно считать
пакетом возможностей.
-
Технологии позволяют нам
делать различные вещи и достигать
-
разнообразных результатов в мире.
-
Как использовать их,
зависит только от нашего выбора.
-
Но если задуматься об этих
трёх типах уязвимости
-
они могут пошатнуть представление
об их использовании
-
Напомню, первый тип уязвимости —
огромная разрушительная сила
-
и предположение о том,
-
что среди многомиллионного населения
найдутся те,
-
кто захотят использовать её
для разрушения, довольно слабое.
-
КА: Меня больше всего
беспокоит мысль о том,
¶
-
что мы на данный момент в некотором роде
погрузились в эту урну настолько,
-
чтобы понять, что мы обречены.
-
То есть, если вы верите в увеличение мощи,
-
в развитие технологий,
-
в создание техники,
которая сделает нас сильнее,
-
то в какой-то момент вы доходите до мысли,
-
что отдельно взятый человек
может уничтожить всех нас.
-
И в таком случае нам всем конец.
-
Вас это не тревожит?
-
-
-
-
Да, мы становимся всё сильнее,
-
и применять эту силу становится всё легче,
-
но мы также можем изобрести технологию,
которая позволит нам контролировать
-
использование этой силы людьми
-
КА: Давайте обсудим это.
Поговорим об ответных реакциях.
¶
-
Предположим,
размышляя о всех возможностях,
-
которые мы имеем на сегодняшний день, —
-
это не только синбиотехнологии,
но и вещи вроде кибервойны,
-
искусственный интеллект и т.д. —
-
за что, возможно, в будущем
нас ожидает серьёзная расплата.
-
Какими будут ответные реакции?
-
Вы упомянули также четыре типа
этих ответных реакций.
-
НБ: Ограничение в развитии технического
прогресса не вселяет надежды,
¶
-
если мы все имеем в виду остановку
технического прогресса в целом.
-
Я думаю, у нас нет
-
ни желания, ни возможности сделать это.
-
Или, возможно, только в некоторых областях
-
вам захочется замедлить
технический прогресс
-
Я думаю, вы не захотите быстрого развития
биологического оружия
-
или разделения изотопов,
что поспособствует
-
более лёгкому созданию ядерного оружия
-
КА: Я полностью согласен с вами,
¶
-
но я бы хотел заострить внимание на этом,
-
во-первых, потому что,
-
если посмотреть на историю
двух последних десятилетий,
-
мы продвигаемся вперёд на полной скорости,
-
хорошо, что это только наш выбор,
-
но если посмотреть на глобализацию
и её стремительный рост,
-
на стратегию
«двигайся быстрее и ломай преграды»
-
и во что это превратилось,
-
а потом на весь потенциал
синтетической биологии.
-
Я не уверен, что нам стоит продвигаться
настолько быстро,
-
без каких-либо ограничений,
-
в мир, где ДНК-принтер будет
в каждом доме и в лаборатории
-
старшей школы
-
Должны быть какие-то ограничения.
-
НБ: Возможно, первая часть,
не самая подходящая.
¶
-
Если люди всё же захотят остановить это,
-
то возникнут проблемы с реализацией.
-
Ничего на деле не выйдет,
если население одной страны...
-
КА: Нет, если действует только один народ,
¶
-
но мы уже заключали
международные соглашения ранее.
-
Благодаря этому нам удалось
устранить ядерную угрозу
-
путём встреч
-
и длительных сложных переговоров.
-
Интересно, не будет ли нам более логично
не выходить сюда по важному делу
-
и пытаться обсуждать
-
строгие правила по вопросам
-
синтетических биоисследований.
-
Разве не это вы хотите демократизировать?
-
НБ: Я полностью согласен.
¶
-
Хотелось бы, например,
-
чтобы ДНК-синтезатор был не устройством,
-
которое будет стоять в каждой лаборатории,
-
а, быть может, сервисом.
-
Допустим, в мире будет
всего четыре или пять мест,
-
куда можно будет отправить электронный
образец ДНК и вам придут результаты.
-
А потом у вас будет возможность
-
при необходимости
-
получить конечное множество
уязвимых мест.
-
Думаю, вы захотите узнать
об особых ситуациях,
-
которые можно будет жёстко контролировать.
-
КА: По сути, ваше мнение в том,
¶
-
что ничего не выйдет, если мы просто
замедлим прогресс .
-
Кто-нибудь, где-нибудь,
предположим в Северной Корее,
-
найдётся тот, кто захочет добыть
именно чёрный шар из урны,
-
если там такой есть.
-
НБ: В текущих условиях — вполне вероятно.
¶
-
И дело не в синтетической биологии.
-
Чёрным шаром могут оказаться
абсолютно любые
-
новые серьезные изменения в мире.
-
КА: Есть ещё вариант развития.
[Ликвидация опасных людей]
¶
-
НБ: Но вероятность довольно мала.
¶
-
Касательно первого типа уязвимости.
-
Если бы можно было уменьшить
количество людей, заинтересованных
-
в уничтожении мира,
-
будь у них доступ к оружию и средства,
-
то было бы прекрасно.
-
КА: Вы просили показать этот слайд,
¶
-
с дронами с функцией распознавания лиц,
-
летающими по всему миру.
-
И когда обнаружат людей с признаками
асоциального поведения,
-
они засыпят их любовью,
«починят» так сказать
-
НБ: Всё не так однозначно.
¶
-
Под ликвидацией подразумевается также,
например, лишение свободы или уничтожение,
-
или изменение их взглядов на жизнь
на более правильные.
-
Смысл в том, что,
-
допустим, вы справились с задачей,
-
сократили количество опасных людей вдвое.
-
Если делать ликвидацию путём убеждения,
-
то вы столкнётесь с другими
мощными факторами,
-
влияющими на людей:
-
партиями, религией, образованием.
-
Если число опасных людей
сократилось вдвое.
-
Мне кажется риск снизится не на 50%,
-
а только на 5 или 10%.
-
КА: Вы считаете, что мы не рискуем
будущим человечества во втором варианте?
¶
-
НБ: Думаю нет ничего плохого
в попытке разубедить людей,
¶
-
но данный метод не сможет
обеспечить безопасность в одиночку.
-
-
НБ: Существует два основных метода,
¶
-
пользуясь которыми мы сможем
укрепить наш мир
-
против целого комплекса
возможных уязвимостей.
-
Но, возможно, понадобятся оба.
-
Первый — высоко эффективная
правоохранительная деятельность полиции,
-
[Способ 3. Тотальная слежка]
-
возможность перехвата.
-
Если кто-то захочет пойти на преступление,
-
то было бы возможно
перехватить и остановить его.
-
В таком случае потребуется
повсеместный надзор,
-
каждый из нас
будет находится под наблюдением.
-
КА: Как в фильме «Особое мнение».
¶
-
НБ: В наблюдении нам могут помочь
¶
-
алгоритмы искусственного интеллекта,
огромные центры свободы и т.д.
-
КА: Вы знаете, термин «тотальная слежка»
сейчас не очень популярен?
¶
-
-
НБ: Это будет небольшое устройство
¶
-
с разнонаправленными камерами,
встроенное в так называемый чокер,
-
который нужно будет носить постоянно.
-
Чтобы это не казалось обременяющим,
-
просто назовём его
чем-то вроде «символа свободы».
-
-
-
Друзья, именно поэтому наша беседа
-
настолько увлекательная.
-
НБ: На самом деле об этом можно
долго разговаривать,
¶
-
что очевидно.
-
Мы обсуждали риски и проблемы, не так ли?
-
Можем вернуться к этому.
-
И четвёртая,
[Глобальное управление]
-
последняя возможность для стабилизации —
-
заделать бреши в работе правительства.
-
Контроль стал бы недостатком
в управлении на микроуровне,
-
мешая кому-либо совершить
что-то противозаконное.
-
Конечно, такая же проблема наблюдается
-
и на макроуровне, на глобальном уровне.
-
Однозначно, потребуется компетенция
для предотвращения
-
сбоев в глобальной координации,
-
чтобы избежать войны
между великими державами,
-
гонки вооружений,
-
общих проблем с катаклизмами,
-
чтобы справится с уязвимостями типа 2а.
-
КА: Термин «глобальное управление»
¶
-
сейчас явно не в моде,
-
но вы можете привести довод, что в ходе
-
истории человечества
-
на каждой новой стадии развития
технологическая мощь возрастает.
-
Люди преобразовали
и сосредоточили эту мощь.
-
Например, когда бродячая
преступная группировка
-
может возглавить общество
-
ответ был, что у вас государство-нация
-
и вы сосредоточиваете силы —
полицейских или армию
-
и «Вы не можете так сделать».
-
Логика, возможно, в том, что если
отдельно взятый человек или группа людей
-
смогут уничтожить человечество,
-
когда-то мы встанем
на этот путь, по крайней мере
-
в некоторых аспектах?
-
НБ: Однозначно, в ходе развития
истории человечества
¶
-
масштабы политического аппарата
увеличились.
-
Сначала была группа охотников-собирателей,
-
потом глава племени,
города-государства, нации,
-
сейчас существуют
международные организации и т.д.
-
Я просто хочу убедиться,
-
что мне удалось подчеркнуть
-
большое количество негативных сторон
-
и риска
-
как в случае тотальной слежки,
так и в глобальном управлении.
-
Просто хочу отметить, если нам повезёт,
то мир может
-
оказаться таким, что всё
вышеперечисленное будет только
-
спасением от чёрного шара.
-
КА: Как я понимаю, логика
данной теории в том, что,
¶
-
надо понимать,
-
что все произойдёт не сразу.
-
Это что-то вроде
-
наивной мечты,
которая есть у многих из нас,
-
что технологии всегда
используются во благо.
-
Продолжай, не останавливайся,
поторопись, если возможно,
-
и не думай о последствиях,
-
которые могут даже не произойти.
-
Это может случится.
-
И если всё же произойдёт,
-
то нам придётся принять
-
и другие сопутствующие обстоятельства,
-
и стать частью гонки вооружений.
-
Если хотите иметь мощь,
лучше её ограничить,
-
или выяснить, как её ограничить.
-
НБ: Думаю, это вариант,
¶
-
причём очень хороший, в некотором смысле
даже самый лёгкий
-
и он может сработать.
-
Но это значит мы очень уязвимы
перед появлением чёрного шара.
-
Думаю, что добавив немного координации,
-
если бы мы разрешили все проблемы
-
на уровне макро- и микроуправления,
-
то вытащили бы все шары из урны
-
и извлекли немало выгоды.
-
КА: Какая разница, если мы
живём в симуляции?
¶
-
Мы просто перезагружаемся.
-
-
-
-
Не думаю, что это настало.
-
-
Если сложить всё вместе, какова
вероятность, что мы обречены?
-
-
Мне нравится смех людей,
когда звучит этот вопрос.
¶
-
НБ: На индивидуальном уровне
¶
-
нам придёт конец в любом случае,
со временем мы стареем,
-
разлагаемся, и всё в этом духе, да?
-
-
На самом деле всй немного сложнее.
¶
-
Если вы хотите посчитать вероятность
того, что нам конец,
-
во-первых, кто «мы»?
-
Если вам много лет, то, возможно,
умрёте своей смертью.
-
Если вы молоды, то у вас может быть
целых 100 лет.
-
Вероятность индивидуальна.
-
Затем порог, то есть ограничить понятие
разрушения цивилизации.
-
В своей книге я не считаю
экзистенциальную катастрофу
-
разрушением цивилизации.
-
Это всё вопрос определения.
-
Допустим, будет миллиард погибших
-
или сокращение мирового ВВП на 50%,
-
но от того, как вы обозначите порог,
-
вы получите разную степень вероятности.
-
Думаю, вы назовёте меня
запуганным оптимистом.
-
-
КА: Вы запуганный оптимист,
¶
-
и я думаю, сейчас вы создали немало
себе подобных запуганных
-
...людей.
-
-
НБ: Живущих в симуляции.
¶
-
-
Ник Бостром, ваши идеи удивляют.
-
Спасибо, что запугали нас до смерти.
-