Кріс Андерсон: Нік Бостром.

Ви вже встигли подати нам 
безліч божевільних ідей.

Десь два десятки років тому

ви обстоювали думку, що ми всі
живемо в симуляції,

чи то радше жили.

А нещодавно

ви в дуже яскравих прикладах
зобразили, до якого лиха може привести

загальний штучний інтелект.

Цього ж року ви збираєтеся 
видати статтю,

в якій представлено 
таку собі гіпотезу вразливого світу.

І сьогодні ми маємо на меті презентувати
ілюстрований посібник з цього питання.

Отже, почнімо.

Що це за гіпотеза?

Нік Бостром: Це спроба уявити таку собі

структурну властивість 
теперішнього стану людства.

Вам подобається метафора урни,

тож її я й використаю для пояснення.

Уявіть собі велику урну, 
наповнену кульками —

ідеями, методами, 
можливими технологіями.

Історію людської творчості 
можна показати як:

ви запускаєте руку в цю урну
та виймаєте з неї одну кульку за іншою.

Досі це приносило нам користь, так?

Ми витягнули багато білих кульок,

декілька сірих — це сумнівні переваги.

Але ми ще не витягнули
чорної кульки —

технологію, що неодмінно знищить
цивілізацію, яка її винайде.

Отже, в статті я розмірковую про те,
чим саме може виявитись така чорна кулька.

К.А.: Отже, цю кульку ви визначаєте

як таку, що неодмінно
призведе до руйнації цивілізації.

Н.Б.: Якщо тільки ми не вийдемо
з усталеного напіванархічного стану.

Але, так би мовити, 
за загальним принципом.

К.А.: Отже, ви переконуєте,

демонструючи щось 
на кшталт контрприкладів,

і вважаєте, що досі нам просто щастило,

ми могли б витягнути кульку смерті,

навіть не здогадуючись про це.

"Постійний прогрес механіки небесних тіл

створить водневу бомбу",
Ісаак Ньютон (ні) Нік Бостром.

Ця цитата — що вона означає?

Н.Б.: Думаю, вона просто ілюструє,

як складно передбачити,

до чого призведуть головні відкриття.

Ми просто не здатні на це.

Бо ми непогано навчилися витягати кульки,

але таки не вміємо покласти кульку
назад до урни.

Можемо винаходити, але не "розвинаходити".

Отже, наша стратегія,
яка б вона не була —

це сподіватися, що в урні 
немає чорної кульки.

К.А.: Тобто, якщо її витягнено, 
то вже витягнено, і назад не повернеш,

і на вашу думку, нам таланить.

Поясніть декілька з цих прикладів.

Ви говорите про різні типи вразливості.

Н.Б.: Цей тип найлегший
для розуміння:

технологія, яка значно полегшує

руйнування у величезних масштабах.

[Вразливість типу 1:
Демократизація масового знищення]

Синтетична біологія може бути 
гарним ґрунтом для такої чорної кульки,

але можна згадати багато інших речей...

подумайте про геоінженерію — 
чудова річ, вірно?

Можна боротися з глобальним потеплінням.

Але й не слід робити її занадто доступною,

адже тоді будь-хто, навіть чиясь бабуся,

матиме можливість радикально
змінювати клімат Землі.

Або, скажімо, летальні автономні дрони,

убивчі, комашиного розміру рої, 
що виробляються масово.

Нанотехнології, 
загальний штучний інтелект.

К.А.: Ви стверджуєте в статті,

що нам просто поталанило,
адже коли ми з'ясували,

що ядерна енегрія дозволяє створити бомбу,

а могло б так статися,

що створення бомби

вимагало би значно простіших,
доступних ресурсів.

Р.Б.: Так, згадаймо 1930-ті,

коли ми зробили перші прориви
в ядерній фізиці.

От, якийсь геній зрозуміє, як можна
створити ядерну ланцюгову реакцію,

а потім усвідомлює, що це може
призвести до появи бомби.

Ми працюємо ще трохи,

і виявляється, що створення бомби

вимагає збагаченого урану чи плутонію,

а ці матеріали дістати дуже складно.

Потрібні ультрацентрифуги,

потрібні реактори 
та велетенські об'єми енергії.

Але уявімо собі, що натомість

знайшовся би значно легший спосіб 
вивільнити енергію атома.

Наприклад, випікаючи пісок 
в мікрохвильовій печі,

чи щось подібне,

можна було б викликати ядерний вибух.

Зрозуміло, що це фізично неможливо.

Та хіба можна таке передбачити,

перш ніж дослідиш 
усі потрібні фізичні закони?

К.А.: Та чи не можна сказати,

що життя на Землі може розвиватися

тільки за певних стабільних умов,

і якби викликати потужну ядерну реакцію
було відносно легко,

Земля ніколи б не була стабільною,

і ми ніколи б не з'явились.

Н.Б.: Так, якщо тільки не йдеться 
про щось, що легко робиться навмисно,

але випадково не трапляється.

Наприклад, можна легко

скласти у стос 10 цеглин,

але в природі стоси з 10-ти цеглин 
не зустрічаються.

К.А.: Отже, мабуть, саме це

турбує нас найбільше.

Тож, синтетична біологія
обіцяє в найближчому майбутньому,

ймовірно, стати найшвидшим шляхом 
до такого результату.

Н.Б.: Так, уявіть собі, як би то було,

якщо будь-хто, скажімо,
за день роботи на власній кухні,

міг би зруйнувати місто.

Важко уявити, як сучасна
цивілізація в її сьогоднішньому вигляді

могла б таке пережити.

Адже на будь-яке 
мільйонне населення

завжди знайдеться хтось,
хто матиме свої причини

скористатися такою руйнівною силою.

Отже, якщо цей апокаліптичний радикал

вирішив би зруйнувати місто,

то його було б зруйновано.

К.А.: Є й інший тип вразливості.

Розкажіть про нього.

Н.Б.: Так, якщо ці
очевидні типи чорних кульок

просто дозволяють багато чого винищити,

то інші стимулюватимуть людей

до згубних учинків.

[Вразливість типу 2-А:
Погані стимули для могутніх гравців]

Цей інший тип, назвімо його тип 2-А,

це певна технологія, 
що спонукає великі держави

використовувати свою велетенську 
потужність для знищення.

Наприклад, ядерна зброя 
майже з цим впоралась, так?

Ми витратили більше 10 трильйонів доларів

на побудову 70 000 ядерних боєголовок

та тримаємо їх у підвищеній готовності.

Кілька разів протягом холодної війни

ми майже знищили одне одного.

І не тому, що багатьом подобалась ідея

витратити 10 трильйонів 
на самознищення,

але ситуація склалась така,
що ми опинилися...

все могло скінчитися гірше.

Уявіть, що перший удар
не мав би великих наслідків.

Тоді в кризовій ситуації

було б дуже важко

утриматися від запуску
усіх наявних ядерних ракет.

Хоча б через страх, що супротивник
встигне першим.

К.А.: Так, гарантоване взаємне знищення

дещо стабілізувало холодну війну —

без цього нас могло б уже й не бути.

Н.Б.: Рівновага могла би 
виявитися хиткішою.

Та й технологія могла б мати 
інші властивості.

Укласти угоду про контроль над озброєнням

було б складніше,

якби замість ядерної була б менша 
за розміром чи менш помітна зброя.

К.А.: Крім поганих стимулів
для потужних гравців

вас також непокоять погані стимули
для нас усіх, як-от у типі 2-Б.

Н.Б.: Так, візьмемо, наприклад,
проблему глобального потепління.

Існує безліч маленьких зручностей,

які змушують нас робити маленькі справи,

які самі по собі нічого не змінюють, так?

Але коли так роблять мільйони людей,

сукупно це призводить до шкоди.

Втім глобальне потепління
могло б бути значно гіршим.

Маємо параметр кліматичної чутливості.

Він описує, наскільки теплішає,

якщо викидати певний об'єм
парникових газів.

[Вразливість типу 2-Б:
Погані стимули для населення]

Але уявімо,

що за такого ж об'єму парникових викидів

температура зростала б

не, скажімо, на 4,5 градуси до 2100 року,

а на 15 чи 20 градусів.

Тоді б ми опинилися 
в дуже неприємному становищі.

Або припустімо, що відновлювану енегрію 
було б складніше добути,

або резерв корисних копалин
був би більший.

К.А.: Чи не можна в такому разі сказати,

що якби наші сьогоднішні дії

призвели б до підвищення в 10 градусів
за осяжний період часу,

людство таки відірвало б сідниці 
від дивана і щось зробило.

Ми, звісно, дурні, але, може,
все ж таки не настільки.

А може, і настільки.

Н.Б.: Я б на це не сподівався.

(Сміх)

Можна уявити й інші особливості.

Зараз, наприклад, важко
перейти на відновлювану енегретику,

але це можливо.

Але якби фізика процесів 
дещо різнилася,

цей перехід міг би бути значно дорожчим.

К.А.: То як ви це бачите, Нік?

Якщо скласти докупи всі ці можливості:

нашу землю, людство —
чи можна вважати

цей світ вразливим?

Чи в майбутньому на нас чекає 
чорна кулька?

Н.Б.: Важко сказати.

Я вважаю, що в урні можуть опинитися
кілька чорних кульок —

скидається на те.

Там можуть бути і кілька золотих кульок,

що допоможуть захиститися від чорних.

В якому порядку їх витягнуть — невідомо.

К.А.: Одне з можливих критичних 
заперечень цієї ідеї полягає в тому,

що вона натякає 
на визначеність майбутнього.

Що кулька або є, або її немає.

У певному сенсі

не в таке майбутнє мені б хотілося вірити.

Я б хотів вірити, що майбутнє невизначене,

що його визначають наші рішення,

те, які саме кульки 
ми витягнемо з тієї урни.

Н.Б.: Якщо ми й далі 
робитимемо винаходи,

зрештою ми витягнемо всі кульки.

Я б сказав, що існує певна
слабка форма технологічного детермінізму,

яка є цілком слушною.

Наприклад, навряд чи 
ви знайдете суспільство,

яке водночас використовує 
крем'яні сокири та реактивні літаки.

Технологію можна уявити 
набором дозволеностей.

Тобто технологія — це те, що дає 
можливість робити певні речі

та досягати у світі певних результатів.

Як її зрештою використовувати,
люди, звісно, обирають самі.

Але якщо подумати про ці 
три види вразливостей,

дуже важко уявити, як саме
ми їх вирішимо використати.

У випадку вразливості типу один, 
цієї потужної нищівної сили,

припущення, що серед мільйонів
людей знайдуться такі,

що захочуть використати її для знищення,
не є переконливим.

К.А.: Мене найбільше непокоїть аргумент,

згідно якого ми таки маємо
певну можливість зазирнути в урну,

і схоже на те, що ми таки приречені.

Наприклад, якщо вірити 
у прискорення потужності,

що технологія, по суті, прискорюється,

і ми створюємо засоби,
які роблять нас могутнішими,

тоді в певний момент 
ми опинимося на етапі,

коли один окремий індивідуум
зможе нас усіх знищити,

і в такому разі нам кінець.

Надзвичайно бентежний аргумент, правда?

Н.Б.: О, так.

(Сміх)

Я думаю...

Так, ми стаємо могутнішими,

і використовувати нашу могутність
з часом стає все простіше,

але ми також можемо винаходити
технології, що допоможуть контролювати,

як саме люди використовують цю силу.

К.А.: Поговорімо про цю реакцію.

Припустімо, що враховуючи
всі ті можливості,

які є на сьогодні —

не тільки синтетична біологія,
це також кібервійна,

штучний інтелект і таке інше —

на нас у майбутньому може чекати
дійсно похмура доля.

Що ми можемо вдіяти?

[Реакція 1: Обмежити розвиток технології]

Ви говорили також
і про чотири можливі реакції.

Н.Б.: Обмеження технологічного розвитку
не видається перспективним,

якщо ми говоримо про загальну зупинку
технологічного прогресу.

Не вважаю це ані можливим,

ані бажаним, навіть якби
то було нам під силу.

Небагато знайдеться сфер діяльності,

де б захотілося сповільнити 
технологічний прогрес.

Не хотілося б, певно,
пришвидшувати розвиток біологічної зброї

або, скажімо, ділення ізотопів,

яке може спростити створення 
ядерної зброї.

К.А.: Раніше я б цілком з цим погодився.

Але спробую все ж таки 
трохи посперечатися.

Оскільки, по-перше,

якщо розглянути історію 
останніх двох десятиріч,

курс завжди був такий: 
повний вперед, все гаразд,

іншого шляху все одно немає.

Але якщо поглянути на глобалізацію
та її стрімке пришвидшення,

якщо поглянути на стратегію
"роби швидко, ламай речі"

та її результатів,

а потім подивитися на потеніцал
синтетичної біології,

то в мене з'являються сумніви в тому,
чи потрібно так летіти вперед

без жодних обмежень

у світ, де ДНК-принтер
може опинитися в кожному домі

та шкільній лабораторії.

Адже є ж якісь обмеження, правда?

Н.Б.: Можливо, в тій частині,
що стосується "не можливо".

Якщо ви вважаєте необхідним це зупинити,

лишається проблема здійсненності.

Користі буде небагато, 
якщо якась одна нація...

К.А.: Ні, якщо одна нація, це не допоможе,

але ж ми й раніше підписували угоди.

Адже саме так ми пережили ядерну загрозу:

ми зібралися і пройшли

весь важкий шлях переговорів.

Я тільки думаю, чи не слід нам,
керуючись глобальними пріоритетами,

зібратися і спробувати вже зараз

почати перемовини 
про насправді жорсткі обмеження

проведення біологічних дослідів,

адже якраз саме це 
не слід було б демократизувати.

Н.Б.: З цим я цілком згоден...

Було б, наприклад, бажано

перетворити синтез ДНК на сервіс,

адже зараз кожна лабораторія

має свій апарат.

Зробити чотири-п'ять 
таких місць на цілий світ,

куди можна надіслати свій цифровий проєкт,
а назад отримати ДНК, вірно?

Тоді була б можливість...

якщо колись з'явилася б така необхідність,

ми б мали обмежену кількість
стратегічних точок.

Отже, думаю, слід шукати
певних особливих умов,

за яких можна було б підсилити констроль.

К.А.: Тобто, по суті, ви вважаєте,

що самого стримування 
нам буде недостатньо.

Хтось десь, якась, скажімо, 
Північна Корея,

зрештою здобуде ці знання,

якщо вони десь чекають.

Н.Б.: За теперішніх умов
це здається ймовірним.

Йдеться не лише
про синтетичну біологію.

Адже будь-яка глибока 
нова зміна у світі

може виявитися чорною кулькою.

К.А.: Розгляньмо ще одну можливу реакцію.

Н.Б.: Ця також, думаю,
має обмежені можливості.

Повернімося до вразливості першого типу:
наприклад, якщо би можна було

зменшити кількість людей,

[Реакція 2: Усунути правопорушників]

що можуть бажати знищити світ,

якби вони мали для цього необхідні засоби,

то було б непогано.

К.А.: На цьому зображенні, 
яке ви попросили нас зробити,

бачимо дронів, що літають світом

і розпізнають обличчя.

Помічаючи когось з ознаками 
соціопатичної поведінки,

вони заливають його любов'ю
і лагодять його.

Н.Б.: Тут, мабуть, ідеться 
про гібридну картину.

"Усувати" може значити 
як ув'язнити чи вбити,

так і схилити до кращого бачення світу.

Але справа ось у чому:

скажімо, цей сценарій є успішним,

нам вдається зменшити кількість 
таких людей наполовину.

Якщо ми обираємо шлях переконання,

то маємо змагатися проти
усіх інших могутніх сил,

що намагаються переконувати людей:

партії, релігія, система освіти.

Але нехай вдалося-таки скоротити вдвічі.

Не думаю, що і ризик 
буде скорочено вдвічі.

Можливо, на відсотків 5 чи 10.

К.А.: Отже, ви не радите ставити 
майбутнє людства на другий спосіб.

Н.Б.: Думаю, стримувати й переконувати —
справа корисна,

та не варто покладатися лише на це.

К.А.: Як щодо третього?

Н.Б.: Думаю, є два основних способи,

які можна використовувати,
аби стабілізувати світ

[Реакція 3: Масове стеження]

проти цілого спектру можливих загроз.

Нам, певно, знадобляться обидва.

Отже, перший є надзвичайно ефективним

для запобігання злочинам.

Йдеться про можливість втручання.

Якщо хтось почне робити щось небезпечне,

то їх можна буде зупинити 
у реальному часі.

Це б вимагало повсюдного стеження,

коли кожен постійно знаходиться 
під контролем.

К.А.: Це вже майже як у фільмі 
"Особлива думка".

Н.Б.: Тут мав би бути залучений
штучний інтелект,

діяли б великі центри 
спостереження і таке інше.

К.А.: Знаєте, сьогодні "масове стеження"
не найпопулярніші слова.

(Сміх)

Н.Б.: Так, оцей маленький пристрій,

таке собі намисто, яке потрібно
мати на собі постійно,

з різнонаправленими камерами.

Аби він краще сприймався,

назвіть його, скажімо, "емблемою свободи".

(Сміх)

К.А.: Добре.

Отака в нас розмова, друзі,

саме тому вона така захоплююча.

Н.Б.: Насправді, про це можна 
говорити і говорити,

це очевидно.

Та й проблем і ризиків тут повно, правда?

Ми ще до цього, може, повернемось.

Отже, остання можливість 
загальної стабілізації —

[Реакція 4: Глобальне управління]

це виправлення управлінських похибок.

Отже, нагляд стосувався б, скажімо,
управлінських похибок на мікрорівні,

як-от не допустити дійсно 
протизаконних учинків.

І є відповідна управлінська похибка

на макрорівні, на світовому рівні.

Потрібна надійна можливість запобігти

найгіршим координаційним помилкам 
на світовому рівні,

уникнути воєн між могутніми країнами,

гонки озброєнь,

катастрофічних спільних трагедій,

аби впоратися з загрозами типу 2-А.

К.А.: Термін "глобальне управління"

зараз точно не на піку популярності,

але чи не можна стверджувати,

що за всю історію людства

на кожному етапі зростання 
технологічної потужності

люди реорганізовувалися
і, так би мовити, централізували владу.

Наприклад, коли з'являлася загроза,
що владу може захопити

якесь мандрівне угрупування,

у відповідь лунало: "Ні, цього не можна,

адже є держава і централізована влада,

поліція чи армія."

Загроза того, що одна людина 
чи група людей

зможуть знищити людство, означає,

що колись нам, можливо, 
доведеться хоч певною мірою

піти цим шляхом, хіба ні?

Н.Б.: Рівень політичної організації, 
звісно, зріс протягом історії людства,

це правда.

Спочатку були групи мисливців-збирачів,

потім племена, поліси, нації,

а тепер міжнародні організації і так далі.

Але я хотів би знову наголосити,

безумовно існують

великі недоліки і величезні ризики

як у випадку масового нагляду,

так і у випадку глобального управління.

Хочу відмітити, якщо нам пощастить,
і світ буде таким,

що тільки цими способами 
ми й зможемо захиститися

від чорної кульки.

К.А.: Логіка цієї теорії,

здається мені,

полягає в нашому визнанні
неможливості отримати все.

Це, можна сказати, така наївна мрія,

яку багато з нас плекали,

що технологія завжди буде силою добра,

і треба йти вперед, не зупинятися,
якнайшвидше,

не звертаючи уваги на певні наслідки.

Та це насправді так не працює.

Так не вийде.

Якщо робити так,

то нам заодно доведеться прийняти

деякі інші неприємні речі,

почати таку собі гонку озброєння
з самими собою:

хочеш силу — навчись її обмежувати,

знайди спосіб, як це зробити.

Н.Б.: Думаю, це варіант,

і то дуже спокусливий,
можна сказати, найпростіший,

і він може спрацювати,

але він означає, що ми, по суті, ризикуємо
витягнути чорну кульку.

Думаю, за умови деякої координації,

якщо ми вирішимо проблеми

макро- та мікроуправління,

то зможемо витягнути з урни всі кульки

та отримати від цього велику користь.

К.А.: Але якщо ми живемо в симуляції,
то хіба це має значення?

Ми лише перезавантажимось і все.

(Сміх)

Н.Б.: Тоді... я...

(Сміх)

Цього я не чекав.

К.А.: То як ви вважаєте?

Якщо скласти все докупи, чи велика 
вірогідність того, що ми приречені?

(Сміх)

Люблю, як люди сміються,
коли питаєш про таке.

Н.Б.: На індивідуальному рівні

ми за будь-яких обставин приречені,
тільки за певним графіком.

Ми ж усі чахнемо і старіємо, правда?

(Сміх)

Насправді, це дещо складно.

Якщо говорити про ймовірність,
то спочатку треба визначитися,

хто є "ми".

Якщо ви дуже старий, то помрете,
мабуть, природною смертю,

якщо молодий,
то можете мати 100 років...

все залежить від того, кого ви спитаєте.

Далі, межі. Що вважати
руйнуванням цивілізації?

В статті я говорю не лише 
про екзистенційну катастрофу.

Тут справа у визначенні.

Я кажу: мільярд мертвих

чи зниження світового ВВП на 50%,

але оцінка вірогідності залежатиме

від визначеної вами межі.

Гадаю, мене можна віднести 
до наляканих оптимістів.

(Сміх)

К.А.: Ви наляканий оптиміст,

який щойно, думаю, створив
багато інших наляканих...

людей.

(Сміх)

Н.Б.: В симуляції.

К.А.: В симуляції.

Нік Бостром, ваш розум мене вражає.

Красно дякую, що нажахали нас усіх.

(Оплески)