0:00:00.000,0:00:02.809
Кріс Андерсон: Нік Бостром.

0:00:02.809,0:00:06.809
Ви вже встигли подати нам [br]безліч божевільних ідей.

0:00:06.809,0:00:08.559
Десь два десятки років тому

0:00:08.559,0:00:11.518
ви обстоювали думку, що ми всі[br]живемо в симуляції,

0:00:11.518,0:00:13.351
чи то радше жили.

0:00:13.351,0:00:14.726
А нещодавно

0:00:14.726,0:00:19.351
ви в дуже яскравих прикладах[br]зобразили, до якого лиха може привести

0:00:19.351,0:00:21.750
загальний штучний інтелект.

0:00:21.750,0:00:25.393
Цього ж року ви збираєтеся [br]видати статтю,

0:00:25.393,0:00:29.351
в якій представлено [br]таку собі гіпотезу вразливого світу.

0:00:29.351,0:00:33.958
І сьогодні ми маємо на меті презентувати[br]ілюстрований посібник з цього питання.

0:00:33.958,0:00:36.833
Отже, почнімо.

0:00:36.833,0:00:40.000
Що це за гіпотеза?

0:00:40.000,0:00:42.434
Нік Бостром: Це спроба уявити таку собі

0:00:42.434,0:00:45.972
структурну властивість [br]теперішнього стану людства.

0:00:46.895,0:00:49.246
Вам подобається метафора урни,

0:00:49.246,0:00:51.393
тож її я й використаю для пояснення.

0:00:51.393,0:00:56.178
Уявіть собі велику урну, [br]наповнену кульками —

0:00:56.178,0:00:59.750
ідеями, методами, [br]можливими технологіями.

0:00:59.750,0:01:04.559
Історію людської творчості [br]можна показати як:

0:01:04.559,0:01:08.393
ви запускаєте руку в цю урну[br]та виймаєте з неї одну кульку за іншою.

0:01:08.393,0:01:11.643
Досі це приносило нам користь, так?

0:01:11.643,0:01:14.393
Ми витягнули багато білих кульок,

0:01:14.393,0:01:17.292
декілька сірих — це сумнівні переваги.

0:01:17.292,0:01:21.000
Але ми ще не витягнули[br]чорної кульки —

0:01:21.000,0:01:26.958
технологію, що неодмінно знищить[br]цивілізацію, яка її винайде.

0:01:26.958,0:01:31.059
Отже, в статті я розмірковую про те,[br]чим саме може виявитись така чорна кулька.

0:01:31.059,0:01:32.893
К.А.: Отже, цю кульку ви визначаєте

0:01:32.893,0:01:36.601
як таку, що неодмінно[br]призведе до руйнації цивілізації.

0:01:36.601,0:01:41.934
Н.Б.: Якщо тільки ми не вийдемо[br]з усталеного напіванархічного стану.

0:01:41.934,0:01:44.188
Але, так би мовити, [br]за загальним принципом.

0:01:44.188,0:01:47.761
К.А.: Отже, ви переконуєте,

0:01:47.761,0:01:49.917
демонструючи щось [br]на кшталт контрприкладів,

0:01:49.917,0:01:52.851
і вважаєте, що досі нам просто щастило,

0:01:52.851,0:01:54.536
ми могли б витягнути кульку смерті,

0:01:54.536,0:01:56.019
навіть не здогадуючись про це.

0:01:56.019,0:01:58.009
"Постійний прогрес механіки небесних тіл

0:01:58.009,0:02:00.489
створить водневу бомбу",[br]Ісаак Ньютон (ні) Нік Бостром.

0:02:00.489,0:02:01.845
Ця цитата — що вона означає?

0:02:01.845,0:02:03.419
Н.Б.: Думаю, вона просто ілюструє,

0:02:03.419,0:02:05.434
як складно передбачити,

0:02:05.434,0:02:08.143
до чого призведуть головні відкриття.

0:02:08.143,0:02:11.226
Ми просто не здатні на це.

0:02:11.226,0:02:14.601
Бо ми непогано навчилися витягати кульки,

0:02:14.601,0:02:18.351
але таки не вміємо покласти кульку[br]назад до урни.

0:02:18.351,0:02:20.542
Можемо винаходити, але не "розвинаходити".

0:02:21.583,0:02:24.375
Отже, наша стратегія,[br]яка б вона не була —

0:02:24.375,0:02:26.809
це сподіватися, що в урні [br]немає чорної кульки.

0:02:26.809,0:02:30.893
К.А.: Тобто, якщо її витягнено, [br]то вже витягнено, і назад не повернеш,

0:02:30.893,0:02:32.434
і на вашу думку, нам таланить.

0:02:32.434,0:02:34.684
Поясніть декілька з цих прикладів.

0:02:34.684,0:02:37.809
Ви говорите про різні типи вразливості.

0:02:37.809,0:02:40.268
Н.Б.: Цей тип найлегший[br]для розуміння:

0:02:40.268,0:02:42.004
технологія, яка значно полегшує

0:02:42.004,0:02:43.963
руйнування у величезних масштабах.

0:02:43.963,0:02:47.209
[Вразливість типу 1:[br]Демократизація масового знищення]

0:02:47.209,0:02:50.917
Синтетична біологія може бути [br]гарним ґрунтом для такої чорної кульки,

0:02:50.917,0:02:53.601
але можна згадати багато інших речей...

0:02:53.601,0:02:56.143
подумайте про геоінженерію — [br]чудова річ, вірно?

0:02:56.143,0:02:58.393
Можна боротися з глобальним потеплінням.

0:02:58.393,0:03:00.559
Але й не слід робити її занадто доступною,

0:03:00.559,0:03:03.059
адже тоді будь-хто, навіть чиясь бабуся,

0:03:03.059,0:03:06.143
матиме можливість радикально[br]змінювати клімат Землі.

0:03:06.143,0:03:09.726
Або, скажімо, летальні автономні дрони,

0:03:09.726,0:03:13.083
убивчі, комашиного розміру рої, [br]що виробляються масово.

0:03:14.500,0:03:17.226
Нанотехнології, [br]загальний штучний інтелект.

0:03:17.226,0:03:18.679
К.А.: Ви стверджуєте в статті,

0:03:18.679,0:03:21.476
що нам просто поталанило,[br]адже коли ми з'ясували,

0:03:21.476,0:03:24.934
що ядерна енегрія дозволяє створити бомбу,

0:03:24.934,0:03:26.351
а могло б так статися,

0:03:26.351,0:03:28.226
що створення бомби

0:03:28.226,0:03:31.809
вимагало би значно простіших,[br]доступних ресурсів.

0:03:31.809,0:03:35.393
Р.Б.: Так, згадаймо 1930-ті,

0:03:35.393,0:03:40.018
коли ми зробили перші прориви[br]в ядерній фізиці.

0:03:40.018,0:03:43.726
От, якийсь геній зрозуміє, як можна[br]створити ядерну ланцюгову реакцію,

0:03:43.726,0:03:46.934
а потім усвідомлює, що це може[br]призвести до появи бомби.

0:03:46.934,0:03:48.851
Ми працюємо ще трохи,

0:03:48.851,0:03:51.601
і виявляється, що створення бомби

0:03:51.601,0:03:54.018
вимагає збагаченого урану чи плутонію,

0:03:54.018,0:03:56.059
а ці матеріали дістати дуже складно.

0:03:56.059,0:03:58.351
Потрібні ультрацентрифуги,

0:03:58.351,0:04:02.143
потрібні реактори [br]та велетенські об'єми енергії.

0:04:02.143,0:04:03.976
Але уявімо собі, що натомість

0:04:03.976,0:04:07.976
знайшовся би значно легший спосіб [br]вивільнити енергію атома.

0:04:07.976,0:04:10.768
Наприклад, випікаючи пісок [br]в мікрохвильовій печі,

0:04:10.768,0:04:12.083
чи щось подібне,

0:04:12.083,0:04:14.208
можна було б викликати ядерний вибух.

0:04:14.208,0:04:16.351
Зрозуміло, що це фізично неможливо.

0:04:16.351,0:04:18.268
Та хіба можна таке передбачити,

0:04:18.268,0:04:20.756
перш ніж дослідиш [br]усі потрібні фізичні закони?

0:04:20.756,0:04:22.209
К.А.: Та чи не можна сказати,

0:04:22.209,0:04:24.018
що життя на Землі може розвиватися

0:04:24.018,0:04:27.309
тільки за певних стабільних умов,

0:04:27.309,0:04:31.518
і якби викликати потужну ядерну реакцію[br]було відносно легко,

0:04:31.518,0:04:33.400
Земля ніколи б не була стабільною,

0:04:33.400,0:04:34.952
і ми ніколи б не з'явились.

0:04:34.952,0:04:38.393
Н.Б.: Так, якщо тільки не йдеться [br]про щось, що легко робиться навмисно,

0:04:38.393,0:04:41.268
але випадково не трапляється.

0:04:41.268,0:04:42.871
Наприклад, можна легко

0:04:42.871,0:04:45.006
скласти у стос 10 цеглин,

0:04:45.006,0:04:48.228
але в природі стоси з 10-ти цеглин [br]не зустрічаються.

0:04:48.228,0:04:49.926
К.А.: Отже, мабуть, саме це

0:04:49.926,0:04:51.893
турбує нас найбільше.

0:04:51.893,0:04:55.410
Тож, синтетична біологія[br]обіцяє в найближчому майбутньому,

0:04:55.410,0:04:58.476
ймовірно, стати найшвидшим шляхом [br]до такого результату.

0:04:58.476,0:05:01.434
Н.Б.: Так, уявіть собі, як би то було,

0:05:01.434,0:05:05.101
якщо будь-хто, скажімо,[br]за день роботи на власній кухні,

0:05:05.101,0:05:06.518
міг би зруйнувати місто.

0:05:06.518,0:05:10.101
Важко уявити, як сучасна[br]цивілізація в її сьогоднішньому вигляді

0:05:10.101,0:05:11.583
могла б таке пережити.

0:05:11.583,0:05:14.125
Адже на будь-яке [br]мільйонне населення

0:05:14.125,0:05:16.809
завжди знайдеться хтось,[br]хто матиме свої причини

0:05:16.809,0:05:18.917
скористатися такою руйнівною силою.

0:05:18.917,0:05:22.893
Отже, якщо цей апокаліптичний радикал

0:05:22.893,0:05:24.893
вирішив би зруйнувати місто,

0:05:24.893,0:05:26.476
то його було б зруйновано.

0:05:26.476,0:05:28.851
К.А.: Є й інший тип вразливості.

0:05:28.851,0:05:30.518
Розкажіть про нього.

0:05:30.518,0:05:34.518
Н.Б.: Так, якщо ці[br]очевидні типи чорних кульок

0:05:34.518,0:05:37.352
просто дозволяють багато чого винищити,

0:05:37.352,0:05:39.169
то інші стимулюватимуть людей

0:05:39.169,0:05:40.779
до згубних учинків.

0:05:40.779,0:05:43.991
[Вразливість типу 2-А:[br]Погані стимули для могутніх гравців]

0:05:43.991,0:05:48.184
Цей інший тип, назвімо його тип 2-А,

0:05:48.184,0:05:52.726
це певна технологія, [br]що спонукає великі держави

0:05:52.726,0:05:57.226
використовувати свою велетенську [br]потужність для знищення.

0:05:57.226,0:06:00.083
Наприклад, ядерна зброя [br]майже з цим впоралась, так?

0:06:02.083,0:06:05.143
Ми витратили більше 10 трильйонів доларів

0:06:05.143,0:06:07.684
на побудову 70 000 ядерних боєголовок

0:06:07.684,0:06:10.143
та тримаємо їх у підвищеній готовності.

0:06:10.143,0:06:12.434
Кілька разів протягом холодної війни

0:06:12.434,0:06:13.893
ми майже знищили одне одного.

0:06:13.893,0:06:17.018
І не тому, що багатьом подобалась ідея

0:06:17.018,0:06:19.726
витратити 10 трильйонів [br]на самознищення,

0:06:19.726,0:06:22.684
але ситуація склалась така,[br]що ми опинилися...

0:06:22.684,0:06:24.018
все могло скінчитися гірше.

0:06:24.018,0:06:26.476
Уявіть, що перший удар[br]не мав би великих наслідків.

0:06:26.476,0:06:28.809
Тоді в кризовій ситуації

0:06:28.809,0:06:30.125
було б дуже важко

0:06:30.125,0:06:32.602
утриматися від запуску[br]усіх наявних ядерних ракет.

0:06:32.602,0:06:36.018
Хоча б через страх, що супротивник[br]встигне першим.

0:06:36.018,0:06:37.921
К.А.: Так, гарантоване взаємне знищення

0:06:37.921,0:06:40.601
дещо стабілізувало холодну війну —

0:06:40.601,0:06:42.559
без цього нас могло б уже й не бути.

0:06:42.559,0:06:44.893
Н.Б.: Рівновага могла би [br]виявитися хиткішою.

0:06:44.893,0:06:47.268
Та й технологія могла б мати [br]інші властивості.

0:06:47.268,0:06:49.601
Укласти угоду про контроль над озброєнням

0:06:49.601,0:06:51.016
було б складніше,

0:06:51.016,0:06:54.268
якби замість ядерної була б менша [br]за розміром чи менш помітна зброя.

0:06:54.268,0:06:56.851
К.А.: Крім поганих стимулів[br]для потужних гравців

0:06:56.851,0:07:00.393
вас також непокоять погані стимули[br]для нас усіх, як-от у типі 2-Б.

0:07:00.393,0:07:04.667
Н.Б.: Так, візьмемо, наприклад,[br]проблему глобального потепління.

0:07:06.958,0:07:08.851
Існує безліч маленьких зручностей,

0:07:08.851,0:07:11.059
які змушують нас робити маленькі справи,

0:07:11.059,0:07:13.934
які самі по собі нічого не змінюють, так?

0:07:13.934,0:07:15.934
Але коли так роблять мільйони людей,

0:07:15.934,0:07:18.018
сукупно це призводить до шкоди.

0:07:18.018,0:07:20.851
Втім глобальне потепління[br]могло б бути значно гіршим.

0:07:20.851,0:07:23.571
Маємо параметр кліматичної чутливості.

0:07:23.571,0:07:25.518
Він описує, наскільки теплішає,

0:07:25.518,0:07:27.656
якщо викидати певний об'єм[br]парникових газів.

0:07:27.656,0:07:30.213
[Вразливість типу 2-Б:[br]Погані стимули для населення]

0:07:30.213,0:07:32.643
Але уявімо,

0:07:32.643,0:07:35.184
що за такого ж об'єму парникових викидів

0:07:35.184,0:07:37.268
температура зростала б

0:07:37.268,0:07:41.018
не, скажімо, на 4,5 градуси до 2100 року,

0:07:41.018,0:07:43.542
а на 15 чи 20 градусів.

0:07:44.375,0:07:46.934
Тоді б ми опинилися [br]в дуже неприємному становищі.

0:07:46.934,0:07:50.101
Або припустімо, що відновлювану енегрію [br]було б складніше добути,

0:07:50.101,0:07:52.768
або резерв корисних копалин[br]був би більший.

0:07:52.768,0:07:55.434
К.А.: Чи не можна в такому разі сказати,

0:07:55.434,0:07:57.184
що якби наші сьогоднішні дії

0:07:57.184,0:08:01.768
призвели б до підвищення в 10 градусів[br]за осяжний період часу,

0:08:01.768,0:08:05.476
людство таки відірвало б сідниці [br]від дивана і щось зробило.

0:08:05.476,0:08:08.309
Ми, звісно, дурні, але, може,[br]все ж таки не настільки.

0:08:08.309,0:08:09.601
А може, і настільки.

0:08:09.601,0:08:11.197
Н.Б.: Я б на це не сподівався.

0:08:11.197,0:08:13.101
(Сміх)

0:08:13.101,0:08:14.809
Можна уявити й інші особливості.

0:08:14.809,0:08:20.351
Зараз, наприклад, важко[br]перейти на відновлювану енегретику,

0:08:20.351,0:08:21.643
але це можливо.

0:08:21.643,0:08:24.643
Але якби фізика процесів [br]дещо різнилася,

0:08:24.643,0:08:27.458
цей перехід міг би бути значно дорожчим.

0:08:28.375,0:08:29.893
К.А.: То як ви це бачите, Нік?

0:08:29.893,0:08:32.351
Якщо скласти докупи всі ці можливості:

0:08:32.351,0:08:36.643
нашу землю, людство —[br]чи можна вважати

0:08:36.643,0:08:38.250
цей світ вразливим?

0:08:38.250,0:08:40.667
Чи в майбутньому на нас чекає [br]чорна кулька?

0:08:43.958,0:08:45.250
Н.Б.: Важко сказати.

0:08:45.250,0:08:50.309
Я вважаю, що в урні можуть опинитися[br]кілька чорних кульок —

0:08:50.309,0:08:51.643
скидається на те.

0:08:51.643,0:08:54.059
Там можуть бути і кілька золотих кульок,

0:08:54.059,0:08:57.559
що допоможуть захиститися від чорних.

0:08:57.559,0:09:00.559
В якому порядку їх витягнуть — невідомо.

0:09:00.559,0:09:04.434
К.А.: Одне з можливих критичних [br]заперечень цієї ідеї полягає в тому,

0:09:04.434,0:09:10.101
що вона натякає [br]на визначеність майбутнього.

0:09:10.101,0:09:12.601
Що кулька або є, або її немає.

0:09:12.601,0:09:15.643
У певному сенсі

0:09:15.643,0:09:18.268
не в таке майбутнє мені б хотілося вірити.

0:09:18.268,0:09:20.643
Я б хотів вірити, що майбутнє невизначене,

0:09:20.643,0:09:22.601
що його визначають наші рішення,

0:09:22.601,0:09:24.833
те, які саме кульки [br]ми витягнемо з тієї урни.

0:09:24.833,0:09:29.684
Н.Б.: Якщо ми й далі [br]робитимемо винаходи,

0:09:29.684,0:09:32.042
зрештою ми витягнемо всі кульки.

0:09:32.042,0:09:36.268
Я б сказав, що існує певна[br]слабка форма технологічного детермінізму,

0:09:36.268,0:09:37.559
яка є цілком слушною.

0:09:37.559,0:09:40.226
Наприклад, навряд чи [br]ви знайдете суспільство,

0:09:40.226,0:09:43.973
яке водночас використовує [br]крем'яні сокири та реактивні літаки.

0:09:43.973,0:09:48.268
Технологію можна уявити [br]набором дозволеностей.

0:09:48.268,0:09:51.309
Тобто технологія — це те, що дає [br]можливість робити певні речі

0:09:51.309,0:09:53.309
та досягати у світі певних результатів.

0:09:53.309,0:09:56.143
Як її зрештою використовувати,[br]люди, звісно, обирають самі.

0:09:56.143,0:09:58.851
Але якщо подумати про ці [br]три види вразливостей,

0:09:58.851,0:10:02.268
дуже важко уявити, як саме[br]ми їх вирішимо використати.

0:10:02.268,0:10:05.684
У випадку вразливості типу один, [br]цієї потужної нищівної сили,

0:10:05.684,0:10:09.559
припущення, що серед мільйонів[br]людей знайдуться такі,

0:10:09.559,0:10:12.518
що захочуть використати її для знищення,[br]не є переконливим.

0:10:12.518,0:10:14.976
К.А.: Мене найбільше непокоїть аргумент,

0:10:14.976,0:10:19.559
згідно якого ми таки маємо[br]певну можливість зазирнути в урну,

0:10:19.559,0:10:23.101
і схоже на те, що ми таки приречені.

0:10:23.101,0:10:27.768
Наприклад, якщо вірити [br]у прискорення потужності,

0:10:27.768,0:10:30.059
що технологія, по суті, прискорюється,

0:10:30.059,0:10:32.518
і ми створюємо засоби,[br]які роблять нас могутнішими,

0:10:32.518,0:10:35.184
тоді в певний момент [br]ми опинимося на етапі,

0:10:35.184,0:10:38.268
коли один окремий індивідуум[br]зможе нас усіх знищити,

0:10:38.268,0:10:41.119
і в такому разі нам кінець.

0:10:41.119,0:10:44.101
Надзвичайно бентежний аргумент, правда?

0:10:44.101,0:10:45.875
Н.Б.: О, так.

0:10:45.875,0:10:48.000
(Сміх)

0:10:48.000,0:10:49.333
Я думаю...

0:10:50.875,0:10:52.476
Так, ми стаємо могутнішими,

0:10:52.476,0:10:56.434
і використовувати нашу могутність[br]з часом стає все простіше,

0:10:56.434,0:11:00.018
але ми також можемо винаходити[br]технології, що допоможуть контролювати,

0:11:00.018,0:11:02.059
як саме люди використовують цю силу.

0:11:02.059,0:11:04.934
К.А.: Поговорімо про цю реакцію.

0:11:04.934,0:11:07.268
Припустімо, що враховуючи[br]всі ті можливості,

0:11:07.268,0:11:09.393
які є на сьогодні —

0:11:09.393,0:11:13.143
не тільки синтетична біологія,[br]це також кібервійна,

0:11:13.143,0:11:16.518
штучний інтелект і таке інше —

0:11:16.518,0:11:21.059
на нас у майбутньому може чекати[br]дійсно похмура доля.

0:11:21.059,0:11:22.684
Що ми можемо вдіяти?

0:11:22.684,0:11:25.326
[Реакція 1: Обмежити розвиток технології]

0:11:25.326,0:11:27.625
Ви говорили також[br]і про чотири можливі реакції.

0:11:27.625,0:11:31.268
Н.Б.: Обмеження технологічного розвитку[br]не видається перспективним,

0:11:31.268,0:11:34.518
якщо ми говоримо про загальну зупинку[br]технологічного прогресу.

0:11:34.518,0:11:35.833
Не вважаю це ані можливим,

0:11:35.833,0:11:38.143
ані бажаним, навіть якби[br]то було нам під силу.

0:11:38.143,0:11:41.184
Небагато знайдеться сфер діяльності,

0:11:41.184,0:11:43.934
де б захотілося сповільнити [br]технологічний прогрес.

0:11:43.934,0:11:47.351
Не хотілося б, певно,[br]пришвидшувати розвиток біологічної зброї

0:11:47.351,0:11:49.434
або, скажімо, ділення ізотопів,

0:11:49.434,0:11:51.708
яке може спростити створення [br]ядерної зброї.

0:11:51.708,0:11:55.893
К.А.: Раніше я б цілком з цим погодився.

0:11:55.893,0:11:59.184
Але спробую все ж таки [br]трохи посперечатися.

0:11:59.184,0:12:00.542
Оскільки, по-перше,

0:12:00.542,0:12:03.226
якщо розглянути історію [br]останніх двох десятиріч,

0:12:03.226,0:12:06.809
курс завжди був такий: [br]повний вперед, все гаразд,

0:12:06.809,0:12:08.708
іншого шляху все одно немає.

0:12:08.708,0:12:12.976
Але якщо поглянути на глобалізацію[br]та її стрімке пришвидшення,

0:12:12.976,0:12:16.434
якщо поглянути на стратегію[br]"роби швидко, ламай речі"

0:12:16.434,0:12:18.518
та її результатів,

0:12:18.518,0:12:21.309
а потім подивитися на потеніцал[br]синтетичної біології,

0:12:21.309,0:12:25.768
то в мене з'являються сумніви в тому,[br]чи потрібно так летіти вперед

0:12:25.768,0:12:27.458
без жодних обмежень

0:12:27.458,0:12:30.768
у світ, де ДНК-принтер[br]може опинитися в кожному домі

0:12:30.768,0:12:32.125
та шкільній лабораторії.

0:12:33.167,0:12:34.851
Адже є ж якісь обмеження, правда?

0:12:34.851,0:12:37.518
Н.Б.: Можливо, в тій частині,[br]що стосується "не можливо".

0:12:37.518,0:12:39.726
Якщо ви вважаєте необхідним це зупинити,

0:12:39.726,0:12:41.500
лишається проблема здійсненності.

0:12:41.500,0:12:44.309
Користі буде небагато, [br]якщо якась одна нація...

0:12:44.309,0:12:46.351
К.А.: Ні, якщо одна нація, це не допоможе,

0:12:46.351,0:12:49.309
але ж ми й раніше підписували угоди.

0:12:49.309,0:12:52.684
Адже саме так ми пережили ядерну загрозу:

0:12:52.684,0:12:54.000
ми зібралися і пройшли

0:12:54.000,0:12:56.542
весь важкий шлях переговорів.

0:12:56.542,0:13:01.976
Я тільки думаю, чи не слід нам,[br]керуючись глобальними пріоритетами,

0:13:01.976,0:13:03.708
зібратися і спробувати вже зараз

0:13:03.708,0:13:06.393
почати перемовини [br]про насправді жорсткі обмеження

0:13:06.393,0:13:09.101
проведення біологічних дослідів,

0:13:09.101,0:13:11.976
адже якраз саме це [br]не слід було б демократизувати.

0:13:11.976,0:13:13.809
Н.Б.: З цим я цілком згоден...

0:13:13.809,0:13:18.059
Було б, наприклад, бажано

0:13:18.059,0:13:21.684
перетворити синтез ДНК на сервіс,

0:13:21.684,0:13:25.268
адже зараз кожна лабораторія

0:13:25.268,0:13:26.768
має свій апарат.

0:13:26.768,0:13:29.309
Зробити чотири-п'ять [br]таких місць на цілий світ,

0:13:29.309,0:13:32.851
куди можна надіслати свій цифровий проєкт,[br]а назад отримати ДНК, вірно?

0:13:32.851,0:13:34.643
Тоді була б можливість...

0:13:34.643,0:13:37.059
якщо колись з'явилася б така необхідність,

0:13:37.059,0:13:39.434
ми б мали обмежену кількість[br]стратегічних точок.

0:13:39.434,0:13:42.976
Отже, думаю, слід шукати[br]певних особливих умов,

0:13:42.976,0:13:45.059
за яких можна було б підсилити констроль.

0:13:45.059,0:13:46.750
К.А.: Тобто, по суті, ви вважаєте,

0:13:46.750,0:13:49.643
що самого стримування [br]нам буде недостатньо.

0:13:49.643,0:13:52.393
Хтось десь, якась, скажімо, [br]Північна Корея,

0:13:52.393,0:13:55.934
зрештою здобуде ці знання,

0:13:55.934,0:13:57.226
якщо вони десь чекають.

0:13:57.226,0:13:59.601
Н.Б.: За теперішніх умов[br]це здається ймовірним.

0:13:59.601,0:14:01.559
Йдеться не лише[br]про синтетичну біологію.

0:14:01.559,0:14:04.101
Адже будь-яка глибока [br]нова зміна у світі

0:14:04.101,0:14:05.727
може виявитися чорною кулькою.

0:14:05.727,0:14:07.823
К.А.: Розгляньмо ще одну можливу реакцію.

0:14:07.823,0:14:10.226
Н.Б.: Ця також, думаю,[br]має обмежені можливості.

0:14:10.226,0:14:13.549
Повернімося до вразливості першого типу:[br]наприклад, якщо би можна було

0:14:13.549,0:14:15.095
зменшити кількість людей,

0:14:15.095,0:14:17.330
[Реакція 2: Усунути правопорушників]

0:14:17.330,0:14:19.476
що можуть бажати знищити світ,

0:14:19.476,0:14:21.559
якби вони мали для цього необхідні засоби,

0:14:21.559,0:14:22.875
то було б непогано.

0:14:22.875,0:14:25.605
К.А.: На цьому зображенні, [br]яке ви попросили нас зробити,

0:14:25.605,0:14:27.434
бачимо дронів, що літають світом

0:14:27.434,0:14:28.726
і розпізнають обличчя.

0:14:28.726,0:14:31.619
Помічаючи когось з ознаками [br]соціопатичної поведінки,

0:14:31.619,0:14:33.851
вони заливають його любов'ю[br]і лагодять його.

0:14:33.851,0:14:36.263
Н.Б.: Тут, мабуть, ідеться [br]про гібридну картину.

0:14:36.263,0:14:39.809
"Усувати" може значити [br]як ув'язнити чи вбити,

0:14:39.809,0:14:42.851
так і схилити до кращого бачення світу.

0:14:42.851,0:14:44.601
Але справа ось у чому:

0:14:44.601,0:14:46.768
скажімо, цей сценарій є успішним,

0:14:46.768,0:14:50.101
нам вдається зменшити кількість [br]таких людей наполовину.

0:14:50.101,0:14:52.018
Якщо ми обираємо шлях переконання,

0:14:52.018,0:14:54.410
то маємо змагатися проти[br]усіх інших могутніх сил,

0:14:54.410,0:14:56.143
що намагаються переконувати людей:

0:14:56.143,0:14:57.934
партії, релігія, система освіти.

0:14:57.934,0:14:59.863
Але нехай вдалося-таки скоротити вдвічі.

0:14:59.863,0:15:02.143
Не думаю, що і ризик [br]буде скорочено вдвічі.

0:15:02.143,0:15:03.726
Можливо, на відсотків 5 чи 10.

0:15:03.726,0:15:08.101
К.А.: Отже, ви не радите ставити [br]майбутнє людства на другий спосіб.

0:15:08.101,0:15:11.143
Н.Б.: Думаю, стримувати й переконувати —[br]справа корисна,

0:15:11.143,0:15:14.143
та не варто покладатися лише на це.

0:15:14.143,0:15:15.458
К.А.: Як щодо третього?

0:15:15.458,0:15:17.781
Н.Б.: Думаю, є два основних способи,

0:15:17.781,0:15:20.181
які можна використовувати,[br]аби стабілізувати світ

0:15:20.181,0:15:22.128
[Реакція 3: Масове стеження]

0:15:22.128,0:15:25.351
проти цілого спектру можливих загроз.

0:15:25.351,0:15:26.934
Нам, певно, знадобляться обидва.

0:15:26.934,0:15:31.106
Отже, перший є надзвичайно ефективним

0:15:31.106,0:15:32.822
для запобігання злочинам.

0:15:32.822,0:15:34.816
Йдеться про можливість втручання.

0:15:34.816,0:15:37.601
Якщо хтось почне робити щось небезпечне,

0:15:37.601,0:15:40.309
то їх можна буде зупинити [br]у реальному часі.

0:15:40.309,0:15:42.809
Це б вимагало повсюдного стеження,

0:15:42.809,0:15:45.208
коли кожен постійно знаходиться [br]під контролем.

0:15:46.333,0:15:48.893
К.А.: Це вже майже як у фільмі [br]"Особлива думка".

0:15:48.893,0:15:51.261
Н.Б.: Тут мав би бути залучений[br]штучний інтелект,

0:15:51.261,0:15:55.292
діяли б великі центри [br]спостереження і таке інше.

0:15:56.583,0:16:00.976
К.А.: Знаєте, сьогодні "масове стеження"[br]не найпопулярніші слова.

0:16:00.976,0:16:02.250
(Сміх)

0:16:03.458,0:16:05.268
Н.Б.: Так, оцей маленький пристрій,

0:16:05.268,0:16:08.893
таке собі намисто, яке потрібно[br]мати на собі постійно,

0:16:08.893,0:16:10.917
з різнонаправленими камерами.

0:16:10.917,0:16:13.601
Аби він краще сприймався,

0:16:13.601,0:16:16.149
назвіть його, скажімо, "емблемою свободи".

0:16:16.149,0:16:18.184
(Сміх)

0:16:18.184,0:16:19.500
К.А.: Добре.

0:16:19.500,0:16:21.601
Отака в нас розмова, друзі,

0:16:21.601,0:16:25.184
саме тому вона така захоплююча.

0:16:25.184,0:16:27.809
Н.Б.: Насправді, про це можна [br]говорити і говорити,

0:16:27.809,0:16:29.143
це очевидно.

0:16:29.143,0:16:31.363
Та й проблем і ризиків тут повно, правда?

0:16:31.363,0:16:33.058
Ми ще до цього, може, повернемось.

0:16:33.058,0:16:35.531
Отже, остання можливість [br]загальної стабілізації —

0:16:35.531,0:16:37.113
[Реакція 4: Глобальне управління]

0:16:37.113,0:16:38.893
це виправлення управлінських похибок.

0:16:38.893,0:16:43.101
Отже, нагляд стосувався б, скажімо,[br]управлінських похибок на мікрорівні,

0:16:43.101,0:16:46.226
як-от не допустити дійсно [br]протизаконних учинків.

0:16:46.226,0:16:48.559
І є відповідна управлінська похибка

0:16:48.559,0:16:50.518
на макрорівні, на світовому рівні.

0:16:50.518,0:16:54.476
Потрібна надійна можливість запобігти

0:16:54.476,0:16:57.309
найгіршим координаційним помилкам [br]на світовому рівні,

0:16:57.309,0:17:01.101
уникнути воєн між могутніми країнами,

0:17:01.101,0:17:02.458
гонки озброєнь,

0:17:02.458,0:17:05.708
катастрофічних спільних трагедій,

0:17:07.667,0:17:11.851
аби впоратися з загрозами типу 2-А.

0:17:11.851,0:17:13.809
К.А.: Термін "глобальне управління"

0:17:13.809,0:17:16.059
зараз точно не на піку популярності,

0:17:16.059,0:17:18.601
але чи не можна стверджувати,

0:17:18.601,0:17:19.893
що за всю історію людства

0:17:19.893,0:17:25.351
на кожному етапі зростання [br]технологічної потужності

0:17:25.351,0:17:28.601
люди реорганізовувалися[br]і, так би мовити, централізували владу.

0:17:28.601,0:17:32.059
Наприклад, коли з'являлася загроза,[br]що владу може захопити

0:17:32.059,0:17:33.792
якесь мандрівне угрупування,

0:17:33.792,0:17:36.031
у відповідь лунало: "Ні, цього не можна,

0:17:36.031,0:17:38.489
адже є держава і централізована влада,

0:17:38.489,0:17:40.143
поліція чи армія."

0:17:40.143,0:17:44.726
Загроза того, що одна людина [br]чи група людей

0:17:44.726,0:17:46.393
зможуть знищити людство, означає,

0:17:46.393,0:17:49.143
що колись нам, можливо, [br]доведеться хоч певною мірою

0:17:49.143,0:17:50.625
піти цим шляхом, хіба ні?

0:17:50.625,0:17:54.309
Н.Б.: Рівень політичної організації, [br]звісно, зріс протягом історії людства,

0:17:54.309,0:17:56.476
це правда.

0:17:56.476,0:17:58.518
Спочатку були групи мисливців-збирачів,

0:17:58.518,0:18:01.476
потім племена, поліси, нації,

0:18:01.476,0:18:05.126
а тепер міжнародні організації і так далі.

0:18:05.126,0:18:07.018
Але я хотів би знову наголосити,

0:18:07.018,0:18:08.684
безумовно існують

0:18:08.684,0:18:10.684
великі недоліки і величезні ризики

0:18:10.684,0:18:12.226
як у випадку масового нагляду,

0:18:12.226,0:18:15.601
так і у випадку глобального управління.

0:18:15.601,0:18:18.184
Хочу відмітити, якщо нам пощастить,[br]і світ буде таким,

0:18:18.184,0:18:20.893
що тільки цими способами [br]ми й зможемо захиститися

0:18:20.893,0:18:22.434
від чорної кульки.

0:18:22.434,0:18:24.976
К.А.: Логіка цієї теорії,

0:18:24.976,0:18:26.268
здається мені,

0:18:26.268,0:18:29.893
полягає в нашому визнанні[br]неможливості отримати все.

0:18:29.893,0:18:32.830
Це, можна сказати, така наївна мрія,

0:18:32.830,0:18:36.476
яку багато з нас плекали,

0:18:36.476,0:18:39.851
що технологія завжди буде силою добра,

0:18:39.851,0:18:42.851
і треба йти вперед, не зупинятися,[br]якнайшвидше,

0:18:42.851,0:18:45.226
не звертаючи уваги на певні наслідки.

0:18:45.226,0:18:46.934
Та це насправді так не працює.

0:18:46.934,0:18:48.893
Так не вийде.

0:18:48.893,0:18:50.184
Якщо робити так,

0:18:50.184,0:18:52.043
то нам заодно доведеться прийняти

0:18:52.043,0:18:54.226
деякі інші неприємні речі,

0:18:54.226,0:18:56.800
почати таку собі гонку озброєння[br]з самими собою:

0:18:56.800,0:18:58.768
хочеш силу — навчись її обмежувати,

0:18:58.768,0:19:00.934
знайди спосіб, як це зробити.

0:19:00.934,0:19:04.434
Н.Б.: Думаю, це варіант,

0:19:04.434,0:19:07.226
і то дуже спокусливий,[br]можна сказати, найпростіший,

0:19:07.226,0:19:08.518
і він може спрацювати,

0:19:08.518,0:19:13.351
але він означає, що ми, по суті, ризикуємо[br]витягнути чорну кульку.

0:19:13.351,0:19:15.518
Думаю, за умови деякої координації,

0:19:15.518,0:19:18.268
якщо ми вирішимо проблеми

0:19:18.268,0:19:19.893
макро- та мікроуправління,

0:19:19.893,0:19:22.226
то зможемо витягнути з урни всі кульки

0:19:22.226,0:19:24.518
та отримати від цього велику користь.

0:19:24.518,0:19:27.976
К.А.: Але якщо ми живемо в симуляції,[br]то хіба це має значення?

0:19:27.976,0:19:29.533
Ми лише перезавантажимось і все.

0:19:29.533,0:19:30.601
(Сміх)

0:19:30.601,0:19:32.268
Н.Б.: Тоді... я...

0:19:32.268,0:19:34.768
(Сміх)

0:19:34.768,0:19:36.208
Цього я не чекав.

0:19:38.125,0:19:39.393
К.А.: То як ви вважаєте?

0:19:39.393,0:19:44.226
Якщо скласти все докупи, чи велика [br]вірогідність того, що ми приречені?

0:19:44.226,0:19:46.208
(Сміх)

0:19:46.208,0:19:49.434
Люблю, як люди сміються,[br]коли питаєш про таке.

0:19:49.434,0:19:51.023
Н.Б.: На індивідуальному рівні

0:19:51.023,0:19:54.684
ми за будь-яких обставин приречені,[br]тільки за певним графіком.

0:19:54.684,0:19:57.309
Ми ж усі чахнемо і старіємо, правда?

0:19:57.309,0:19:58.958
(Сміх)

0:19:58.958,0:20:00.583
Насправді, це дещо складно.

0:20:00.583,0:20:03.434
Якщо говорити про ймовірність,[br]то спочатку треба визначитися,

0:20:03.434,0:20:04.750
хто є "ми".

0:20:04.750,0:20:07.476
Якщо ви дуже старий, то помрете,[br]мабуть, природною смертю,

0:20:07.476,0:20:09.851
якщо молодий,[br]то можете мати 100 років...

0:20:09.851,0:20:12.042
все залежить від того, кого ви спитаєте.

0:20:12.042,0:20:16.268
Далі, межі. Що вважати[br]руйнуванням цивілізації?

0:20:16.268,0:20:23.393
В статті я говорю не лише [br]про екзистенційну катастрофу.

0:20:23.393,0:20:25.101
Тут справа у визначенні.

0:20:25.101,0:20:26.434
Я кажу: мільярд мертвих

0:20:26.434,0:20:28.518
чи зниження світового ВВП на 50%,

0:20:28.518,0:20:30.768
але оцінка вірогідності залежатиме

0:20:30.768,0:20:32.768
від визначеної вами межі.

0:20:32.768,0:20:37.309
Гадаю, мене можна віднести [br]до наляканих оптимістів.

0:20:37.309,0:20:38.458
(Сміх)

0:20:38.458,0:20:40.101
К.А.: Ви наляканий оптиміст,

0:20:40.101,0:20:44.393
який щойно, думаю, створив[br]багато інших наляканих...

0:20:44.393,0:20:45.708
людей.

0:20:45.708,0:20:46.792
(Сміх)

0:20:46.792,0:20:48.079
Н.Б.: В симуляції.

0:20:48.079,0:20:49.375
К.А.: В симуляції.

0:20:49.375,0:20:51.059
Нік Бостром, ваш розум мене вражає.

0:20:51.059,0:20:54.000
Красно дякую, що нажахали нас усіх.

0:20:54.000,0:20:56.375
(Оплески)