WEBVTT

00:00:00.000 --> 00:00:02.809
Кріс Андерсон: Нік Бостром.

00:00:02.809 --> 00:00:06.809
Ви вже встигли подати нам 
безліч божевільних ідей.

00:00:06.809 --> 00:00:08.559
Десь два десятки років тому

00:00:08.559 --> 00:00:11.518
ви обстоювали думку, що ми всі
живемо в симуляції,

00:00:11.518 --> 00:00:13.351
чи то радше жили.

00:00:13.351 --> 00:00:14.726
А нещодавно

00:00:14.726 --> 00:00:19.351
ви в дуже яскравих прикладах
зобразили, до якого лиха може привести

00:00:19.351 --> 00:00:21.750
загальний штучний інтелект.

00:00:21.750 --> 00:00:25.393
Цього ж року ви збираєтеся 
видати статтю,

00:00:25.393 --> 00:00:29.351
в якій представлено 
таку собі гіпотезу вразливого світу.

00:00:29.351 --> 00:00:33.958
І сьогодні ми маємо на меті презентувати
ілюстрований посібник з цього питання.

00:00:33.958 --> 00:00:36.833
Отже, почнімо.

00:00:36.833 --> 00:00:40.000
Що це за гіпотеза?

NOTE Paragraph

00:00:40.000 --> 00:00:42.434
Нік Бостром: Це спроба уявити таку собі

00:00:42.434 --> 00:00:45.972
структурну властивість 
теперішнього стану людства.

00:00:46.895 --> 00:00:49.246
Вам подобається метафора урни,

00:00:49.246 --> 00:00:51.393
тож її я й використаю для пояснення.

00:00:51.393 --> 00:00:56.178
Уявіть собі велику урну, 
наповнену кульками —

00:00:56.178 --> 00:00:59.750
ідеями, методами, 
можливими технологіями.

00:00:59.750 --> 00:01:04.559
Історію людської творчості 
можна показати як:

00:01:04.559 --> 00:01:08.393
ви запускаєте руку в цю урну
та виймаєте з неї одну кульку за іншою.

00:01:08.393 --> 00:01:11.643
Досі це приносило нам користь, так?

00:01:11.643 --> 00:01:14.393
Ми витягнули багато білих кульок,

00:01:14.393 --> 00:01:17.292
декілька сірих — це сумнівні переваги.

00:01:17.292 --> 00:01:21.000
Але ми ще не витягнули
чорної кульки —

00:01:21.000 --> 00:01:26.958
технологію, що неодмінно знищить
цивілізацію, яка її винайде.

00:01:26.958 --> 00:01:31.059
Отже, в статті я розмірковую про те,
чим саме може виявитись така чорна кулька.

NOTE Paragraph

00:01:31.059 --> 00:01:32.893
К.А.: Отже, цю кульку ви визначаєте

00:01:32.893 --> 00:01:36.601
як таку, що неодмінно
призведе до руйнації цивілізації.

NOTE Paragraph

00:01:36.601 --> 00:01:41.934
Н.Б.: Якщо тільки ми не вийдемо
з усталеного напіванархічного стану.

00:01:41.934 --> 00:01:44.188
Але, так би мовити, 
за загальним принципом.

NOTE Paragraph

00:01:44.188 --> 00:01:47.761
К.А.: Отже, ви переконуєте,

00:01:47.761 --> 00:01:49.917
демонструючи щось 
на кшталт контрприкладів,

00:01:49.917 --> 00:01:52.851
і вважаєте, що досі нам просто щастило,

00:01:52.851 --> 00:01:54.536
ми могли б витягнути кульку смерті,

00:01:54.536 --> 00:01:56.019
навіть не здогадуючись про це.

00:01:56.019 --> 00:01:58.009
"Постійний прогрес механіки небесних тіл

00:01:58.009 --> 00:02:00.489
створить водневу бомбу",
Ісаак Ньютон (ні) Нік Бостром.

00:02:00.489 --> 00:02:01.845
Ця цитата — що вона означає?

NOTE Paragraph

00:02:01.845 --> 00:02:03.419
Н.Б.: Думаю, вона просто ілюструє,

00:02:03.419 --> 00:02:05.434
як складно передбачити,

00:02:05.434 --> 00:02:08.143
до чого призведуть головні відкриття.

00:02:08.143 --> 00:02:11.226
Ми просто не здатні на це.

00:02:11.226 --> 00:02:14.601
Бо ми непогано навчилися витягати кульки,

00:02:14.601 --> 00:02:18.351
але таки не вміємо покласти кульку
назад до урни.

00:02:18.351 --> 00:02:20.542
Можемо винаходити, але не "розвинаходити".

00:02:21.583 --> 00:02:24.375
Отже, наша стратегія,
яка б вона не була —

00:02:24.375 --> 00:02:26.809
це сподіватися, що в урні 
немає чорної кульки.

NOTE Paragraph

00:02:26.809 --> 00:02:30.893
К.А.: Тобто, якщо її витягнено, 
то вже витягнено, і назад не повернеш,

00:02:30.893 --> 00:02:32.434
і на вашу думку, нам таланить.

00:02:32.434 --> 00:02:34.684
Поясніть декілька з цих прикладів.

00:02:34.684 --> 00:02:37.809
Ви говорите про різні типи вразливості.

NOTE Paragraph

00:02:37.809 --> 00:02:40.268
Н.Б.: Цей тип найлегший
для розуміння:

00:02:40.268 --> 00:02:42.004
технологія, яка значно полегшує

00:02:42.004 --> 00:02:43.963
руйнування у величезних масштабах.

00:02:43.963 --> 00:02:47.209
[Вразливість типу 1:
Демократизація масового знищення]

00:02:47.209 --> 00:02:50.917
Синтетична біологія може бути 
гарним ґрунтом для такої чорної кульки,

00:02:50.917 --> 00:02:53.601
але можна згадати багато інших речей...

00:02:53.601 --> 00:02:56.143
подумайте про геоінженерію — 
чудова річ, вірно?

00:02:56.143 --> 00:02:58.393
Можна боротися з глобальним потеплінням.

00:02:58.393 --> 00:03:00.559
Але й не слід робити її занадто доступною,

00:03:00.559 --> 00:03:03.059
адже тоді будь-хто, навіть чиясь бабуся,

00:03:03.059 --> 00:03:06.143
матиме можливість радикально
змінювати клімат Землі.

00:03:06.143 --> 00:03:09.726
Або, скажімо, летальні автономні дрони,

00:03:09.726 --> 00:03:13.083
убивчі, комашиного розміру рої, 
що виробляються масово.

00:03:14.500 --> 00:03:17.226
Нанотехнології, 
загальний штучний інтелект.

NOTE Paragraph

00:03:17.226 --> 00:03:18.679
К.А.: Ви стверджуєте в статті,

00:03:18.679 --> 00:03:21.476
що нам просто поталанило,
адже коли ми з'ясували,

00:03:21.476 --> 00:03:24.934
що ядерна енегрія дозволяє створити бомбу,

00:03:24.934 --> 00:03:26.351
а могло б так статися,

00:03:26.351 --> 00:03:28.226
що створення бомби

00:03:28.226 --> 00:03:31.809
вимагало би значно простіших,
доступних ресурсів.

NOTE Paragraph

00:03:31.809 --> 00:03:35.393
Р.Б.: Так, згадаймо 1930-ті,

00:03:35.393 --> 00:03:40.018
коли ми зробили перші прориви
в ядерній фізиці.

00:03:40.018 --> 00:03:43.726
От, якийсь геній зрозуміє, як можна
створити ядерну ланцюгову реакцію,

00:03:43.726 --> 00:03:46.934
а потім усвідомлює, що це може
призвести до появи бомби.

00:03:46.934 --> 00:03:48.851
Ми працюємо ще трохи,

00:03:48.851 --> 00:03:51.601
і виявляється, що створення бомби

00:03:51.601 --> 00:03:54.018
вимагає збагаченого урану чи плутонію,

00:03:54.018 --> 00:03:56.059
а ці матеріали дістати дуже складно.

00:03:56.059 --> 00:03:58.351
Потрібні ультрацентрифуги,

00:03:58.351 --> 00:04:02.143
потрібні реактори 
та велетенські об'єми енергії.

00:04:02.143 --> 00:04:03.976
Але уявімо собі, що натомість

00:04:03.976 --> 00:04:07.976
знайшовся би значно легший спосіб 
вивільнити енергію атома.

00:04:07.976 --> 00:04:10.768
Наприклад, випікаючи пісок 
в мікрохвильовій печі,

00:04:10.768 --> 00:04:12.083
чи щось подібне,

00:04:12.083 --> 00:04:14.208
можна було б викликати ядерний вибух.

00:04:14.208 --> 00:04:16.351
Зрозуміло, що це фізично неможливо.

00:04:16.351 --> 00:04:18.268
Та хіба можна таке передбачити,

00:04:18.268 --> 00:04:20.756
перш ніж дослідиш 
усі потрібні фізичні закони?

NOTE Paragraph

00:04:20.756 --> 00:04:22.209
К.А.: Та чи не можна сказати,

00:04:22.209 --> 00:04:24.018
що життя на Землі може розвиватися

00:04:24.018 --> 00:04:27.309
тільки за певних стабільних умов,

00:04:27.309 --> 00:04:31.518
і якби викликати потужну ядерну реакцію
було відносно легко,

00:04:31.518 --> 00:04:33.400
Земля ніколи б не була стабільною,

00:04:33.400 --> 00:04:34.952
і ми ніколи б не з'явились.

NOTE Paragraph

00:04:34.952 --> 00:04:38.393
Н.Б.: Так, якщо тільки не йдеться 
про щось, що легко робиться навмисно,

00:04:38.393 --> 00:04:41.268
але випадково не трапляється.

00:04:41.268 --> 00:04:42.871
Наприклад, можна легко

00:04:42.871 --> 00:04:45.006
скласти у стос 10 цеглин,

00:04:45.006 --> 00:04:48.228
але в природі стоси з 10-ти цеглин 
не зустрічаються.

NOTE Paragraph

00:04:48.228 --> 00:04:49.926
К.А.: Отже, мабуть, саме це

00:04:49.926 --> 00:04:51.893
турбує нас найбільше.

00:04:51.893 --> 00:04:55.410
Тож, синтетична біологія
обіцяє в найближчому майбутньому,

00:04:55.410 --> 00:04:58.476
ймовірно, стати найшвидшим шляхом 
до такого результату.

NOTE Paragraph

00:04:58.476 --> 00:05:01.434
Н.Б.: Так, уявіть собі, як би то було,

00:05:01.434 --> 00:05:05.101
якщо будь-хто, скажімо,
за день роботи на власній кухні,

00:05:05.101 --> 00:05:06.518
міг би зруйнувати місто.

00:05:06.518 --> 00:05:10.101
Важко уявити, як сучасна
цивілізація в її сьогоднішньому вигляді

00:05:10.101 --> 00:05:11.583
могла б таке пережити.

00:05:11.583 --> 00:05:14.125
Адже на будь-яке 
мільйонне населення

00:05:14.125 --> 00:05:16.809
завжди знайдеться хтось,
хто матиме свої причини

00:05:16.809 --> 00:05:18.917
скористатися такою руйнівною силою.

00:05:18.917 --> 00:05:22.893
Отже, якщо цей апокаліптичний радикал

00:05:22.893 --> 00:05:24.893
вирішив би зруйнувати місто,

00:05:24.893 --> 00:05:26.476
то його було б зруйновано.

NOTE Paragraph

00:05:26.476 --> 00:05:28.851
К.А.: Є й інший тип вразливості.

00:05:28.851 --> 00:05:30.518
Розкажіть про нього.

NOTE Paragraph

00:05:30.518 --> 00:05:34.518
Н.Б.: Так, якщо ці
очевидні типи чорних кульок

00:05:34.518 --> 00:05:37.352
просто дозволяють багато чого винищити,

00:05:37.352 --> 00:05:39.169
то інші стимулюватимуть людей

00:05:39.169 --> 00:05:40.779
до згубних учинків.

00:05:40.779 --> 00:05:43.991
[Вразливість типу 2-А:
Погані стимули для могутніх гравців]

00:05:43.991 --> 00:05:48.184
Цей інший тип, назвімо його тип 2-А,

00:05:48.184 --> 00:05:52.726
це певна технологія, 
що спонукає великі держави

00:05:52.726 --> 00:05:57.226
використовувати свою велетенську 
потужність для знищення.

00:05:57.226 --> 00:06:00.083
Наприклад, ядерна зброя 
майже з цим впоралась, так?

00:06:02.083 --> 00:06:05.143
Ми витратили більше 10 трильйонів доларів

00:06:05.143 --> 00:06:07.684
на побудову 70 000 ядерних боєголовок

00:06:07.684 --> 00:06:10.143
та тримаємо їх у підвищеній готовності.

00:06:10.143 --> 00:06:12.434
Кілька разів протягом холодної війни

00:06:12.434 --> 00:06:13.893
ми майже знищили одне одного.

00:06:13.893 --> 00:06:17.018
І не тому, що багатьом подобалась ідея

00:06:17.018 --> 00:06:19.726
витратити 10 трильйонів 
на самознищення,

00:06:19.726 --> 00:06:22.684
але ситуація склалась така,
що ми опинилися...

00:06:22.684 --> 00:06:24.018
все могло скінчитися гірше.

00:06:24.018 --> 00:06:26.476
Уявіть, що перший удар
не мав би великих наслідків.

00:06:26.476 --> 00:06:28.809
Тоді в кризовій ситуації

00:06:28.809 --> 00:06:30.125
було б дуже важко

00:06:30.125 --> 00:06:32.602
утриматися від запуску
усіх наявних ядерних ракет.

00:06:32.602 --> 00:06:36.018
Хоча б через страх, що супротивник
встигне першим.

NOTE Paragraph

00:06:36.018 --> 00:06:37.921
К.А.: Так, гарантоване взаємне знищення

00:06:37.921 --> 00:06:40.601
дещо стабілізувало холодну війну —

00:06:40.601 --> 00:06:42.559
без цього нас могло б уже й не бути.

NOTE Paragraph

00:06:42.559 --> 00:06:44.893
Н.Б.: Рівновага могла би 
виявитися хиткішою.

00:06:44.893 --> 00:06:47.268
Та й технологія могла б мати 
інші властивості.

00:06:47.268 --> 00:06:49.601
Укласти угоду про контроль над озброєнням

00:06:49.601 --> 00:06:51.016
було б складніше,

00:06:51.016 --> 00:06:54.268
якби замість ядерної була б менша 
за розміром чи менш помітна зброя.

NOTE Paragraph

00:06:54.268 --> 00:06:56.851
К.А.: Крім поганих стимулів
для потужних гравців

00:06:56.851 --> 00:07:00.393
вас також непокоять погані стимули
для нас усіх, як-от у типі 2-Б.

NOTE Paragraph

00:07:00.393 --> 00:07:04.667
Н.Б.: Так, візьмемо, наприклад,
проблему глобального потепління.

00:07:06.958 --> 00:07:08.851
Існує безліч маленьких зручностей,

00:07:08.851 --> 00:07:11.059
які змушують нас робити маленькі справи,

00:07:11.059 --> 00:07:13.934
які самі по собі нічого не змінюють, так?

00:07:13.934 --> 00:07:15.934
Але коли так роблять мільйони людей,

00:07:15.934 --> 00:07:18.018
сукупно це призводить до шкоди.

00:07:18.018 --> 00:07:20.851
Втім глобальне потепління
могло б бути значно гіршим.

00:07:20.851 --> 00:07:23.571
Маємо параметр кліматичної чутливості.

00:07:23.571 --> 00:07:25.518
Він описує, наскільки теплішає,

00:07:25.518 --> 00:07:27.656
якщо викидати певний об'єм
парникових газів.

00:07:27.656 --> 00:07:30.213
[Вразливість типу 2-Б:
Погані стимули для населення]

00:07:30.213 --> 00:07:32.643
Але уявімо,

00:07:32.643 --> 00:07:35.184
що за такого ж об'єму парникових викидів

00:07:35.184 --> 00:07:37.268
температура зростала б

00:07:37.268 --> 00:07:41.018
не, скажімо, на 4,5 градуси до 2100 року,

00:07:41.018 --> 00:07:43.542
а на 15 чи 20 градусів.

00:07:44.375 --> 00:07:46.934
Тоді б ми опинилися 
в дуже неприємному становищі.

00:07:46.934 --> 00:07:50.101
Або припустімо, що відновлювану енегрію 
було б складніше добути,

00:07:50.101 --> 00:07:52.768
або резерв корисних копалин
був би більший.

NOTE Paragraph

00:07:52.768 --> 00:07:55.434
К.А.: Чи не можна в такому разі сказати,

00:07:55.434 --> 00:07:57.184
що якби наші сьогоднішні дії

00:07:57.184 --> 00:08:01.768
призвели б до підвищення в 10 градусів
за осяжний період часу,

00:08:01.768 --> 00:08:05.476
людство таки відірвало б сідниці 
від дивана і щось зробило.

00:08:05.476 --> 00:08:08.309
Ми, звісно, дурні, але, може,
все ж таки не настільки.

00:08:08.309 --> 00:08:09.601
А може, і настільки.

NOTE Paragraph

00:08:09.601 --> 00:08:11.197
Н.Б.: Я б на це не сподівався.

NOTE Paragraph

00:08:11.197 --> 00:08:13.101
(Сміх)

NOTE Paragraph

00:08:13.101 --> 00:08:14.809
Можна уявити й інші особливості.

00:08:14.809 --> 00:08:20.351
Зараз, наприклад, важко
перейти на відновлювану енегретику,

00:08:20.351 --> 00:08:21.643
але це можливо.

00:08:21.643 --> 00:08:24.643
Але якби фізика процесів 
дещо різнилася,

00:08:24.643 --> 00:08:27.458
цей перехід міг би бути значно дорожчим.

NOTE Paragraph

00:08:28.375 --> 00:08:29.893
К.А.: То як ви це бачите, Нік?

00:08:29.893 --> 00:08:32.351
Якщо скласти докупи всі ці можливості:

00:08:32.351 --> 00:08:36.643
нашу землю, людство —
чи можна вважати

00:08:36.643 --> 00:08:38.250
цей світ вразливим?

00:08:38.250 --> 00:08:40.667
Чи в майбутньому на нас чекає 
чорна кулька?

NOTE Paragraph

00:08:43.958 --> 00:08:45.250
Н.Б.: Важко сказати.

00:08:45.250 --> 00:08:50.309
Я вважаю, що в урні можуть опинитися
кілька чорних кульок —

00:08:50.309 --> 00:08:51.643
скидається на те.

00:08:51.643 --> 00:08:54.059
Там можуть бути і кілька золотих кульок,

00:08:54.059 --> 00:08:57.559
що допоможуть захиститися від чорних.

00:08:57.559 --> 00:09:00.559
В якому порядку їх витягнуть — невідомо.

NOTE Paragraph

00:09:00.559 --> 00:09:04.434
К.А.: Одне з можливих критичних 
заперечень цієї ідеї полягає в тому,

00:09:04.434 --> 00:09:10.101
що вона натякає 
на визначеність майбутнього.

00:09:10.101 --> 00:09:12.601
Що кулька або є, або її немає.

00:09:12.601 --> 00:09:15.643
У певному сенсі

00:09:15.643 --> 00:09:18.268
не в таке майбутнє мені б хотілося вірити.

00:09:18.268 --> 00:09:20.643
Я б хотів вірити, що майбутнє невизначене,

00:09:20.643 --> 00:09:22.601
що його визначають наші рішення,

00:09:22.601 --> 00:09:24.833
те, які саме кульки 
ми витягнемо з тієї урни.

NOTE Paragraph

00:09:24.833 --> 00:09:29.684
Н.Б.: Якщо ми й далі 
робитимемо винаходи,

00:09:29.684 --> 00:09:32.042
зрештою ми витягнемо всі кульки.

00:09:32.042 --> 00:09:36.268
Я б сказав, що існує певна
слабка форма технологічного детермінізму,

00:09:36.268 --> 00:09:37.559
яка є цілком слушною.

00:09:37.559 --> 00:09:40.226
Наприклад, навряд чи 
ви знайдете суспільство,

00:09:40.226 --> 00:09:43.973
яке водночас використовує 
крем'яні сокири та реактивні літаки.

00:09:43.973 --> 00:09:48.268
Технологію можна уявити 
набором дозволеностей.

00:09:48.268 --> 00:09:51.309
Тобто технологія — це те, що дає 
можливість робити певні речі

00:09:51.309 --> 00:09:53.309
та досягати у світі певних результатів.

00:09:53.309 --> 00:09:56.143
Як її зрештою використовувати,
люди, звісно, обирають самі.

00:09:56.143 --> 00:09:58.851
Але якщо подумати про ці 
три види вразливостей,

00:09:58.851 --> 00:10:02.268
дуже важко уявити, як саме
ми їх вирішимо використати.

00:10:02.268 --> 00:10:05.684
У випадку вразливості типу один, 
цієї потужної нищівної сили,

00:10:05.684 --> 00:10:09.559
припущення, що серед мільйонів
людей знайдуться такі,

00:10:09.559 --> 00:10:12.518
що захочуть використати її для знищення,
не є переконливим.

NOTE Paragraph

00:10:12.518 --> 00:10:14.976
К.А.: Мене найбільше непокоїть аргумент,

00:10:14.976 --> 00:10:19.559
згідно якого ми таки маємо
певну можливість зазирнути в урну,

00:10:19.559 --> 00:10:23.101
і схоже на те, що ми таки приречені.

00:10:23.101 --> 00:10:27.768
Наприклад, якщо вірити 
у прискорення потужності,

00:10:27.768 --> 00:10:30.059
що технологія, по суті, прискорюється,

00:10:30.059 --> 00:10:32.518
і ми створюємо засоби,
які роблять нас могутнішими,

00:10:32.518 --> 00:10:35.184
тоді в певний момент 
ми опинимося на етапі,

00:10:35.184 --> 00:10:38.268
коли один окремий індивідуум
зможе нас усіх знищити,

00:10:38.268 --> 00:10:41.119
і в такому разі нам кінець.

00:10:41.119 --> 00:10:44.101
Надзвичайно бентежний аргумент, правда?

NOTE Paragraph

00:10:44.101 --> 00:10:45.875
Н.Б.: О, так.

NOTE Paragraph

00:10:45.875 --> 00:10:48.000
(Сміх)

NOTE Paragraph

00:10:48.000 --> 00:10:49.333
Я думаю...

00:10:50.875 --> 00:10:52.476
Так, ми стаємо могутнішими,

00:10:52.476 --> 00:10:56.434
і використовувати нашу могутність
з часом стає все простіше,

00:10:56.434 --> 00:11:00.018
але ми також можемо винаходити
технології, що допоможуть контролювати,

00:11:00.018 --> 00:11:02.059
як саме люди використовують цю силу.

NOTE Paragraph

00:11:02.059 --> 00:11:04.934
К.А.: Поговорімо про цю реакцію.

00:11:04.934 --> 00:11:07.268
Припустімо, що враховуючи
всі ті можливості,

00:11:07.268 --> 00:11:09.393
які є на сьогодні —

00:11:09.393 --> 00:11:13.143
не тільки синтетична біологія,
це також кібервійна,

00:11:13.143 --> 00:11:16.518
штучний інтелект і таке інше —

00:11:16.518 --> 00:11:21.059
на нас у майбутньому може чекати
дійсно похмура доля.

00:11:21.059 --> 00:11:22.684
Що ми можемо вдіяти?

00:11:22.684 --> 00:11:25.326
[Реакція 1: Обмежити розвиток технології]

00:11:25.326 --> 00:11:27.625
Ви говорили також
і про чотири можливі реакції.

NOTE Paragraph

00:11:27.625 --> 00:11:31.268
Н.Б.: Обмеження технологічного розвитку
не видається перспективним,

00:11:31.268 --> 00:11:34.518
якщо ми говоримо про загальну зупинку
технологічного прогресу.

00:11:34.518 --> 00:11:35.833
Не вважаю це ані можливим,

00:11:35.833 --> 00:11:38.143
ані бажаним, навіть якби
то було нам під силу.

00:11:38.143 --> 00:11:41.184
Небагато знайдеться сфер діяльності,

00:11:41.184 --> 00:11:43.934
де б захотілося сповільнити 
технологічний прогрес.

00:11:43.934 --> 00:11:47.351
Не хотілося б, певно,
пришвидшувати розвиток біологічної зброї

00:11:47.351 --> 00:11:49.434
або, скажімо, ділення ізотопів,

00:11:49.434 --> 00:11:51.708
яке може спростити створення 
ядерної зброї.

NOTE Paragraph

00:11:51.708 --> 00:11:55.893
К.А.: Раніше я б цілком з цим погодився.

00:11:55.893 --> 00:11:59.184
Але спробую все ж таки 
трохи посперечатися.

00:11:59.184 --> 00:12:00.542
Оскільки, по-перше,

00:12:00.542 --> 00:12:03.226
якщо розглянути історію 
останніх двох десятиріч,

00:12:03.226 --> 00:12:06.809
курс завжди був такий: 
повний вперед, все гаразд,

00:12:06.809 --> 00:12:08.708
іншого шляху все одно немає.

00:12:08.708 --> 00:12:12.976
Але якщо поглянути на глобалізацію
та її стрімке пришвидшення,

00:12:12.976 --> 00:12:16.434
якщо поглянути на стратегію
"роби швидко, ламай речі"

00:12:16.434 --> 00:12:18.518
та її результатів,

00:12:18.518 --> 00:12:21.309
а потім подивитися на потеніцал
синтетичної біології,

00:12:21.309 --> 00:12:25.768
то в мене з'являються сумніви в тому,
чи потрібно так летіти вперед

00:12:25.768 --> 00:12:27.458
без жодних обмежень

00:12:27.458 --> 00:12:30.768
у світ, де ДНК-принтер
може опинитися в кожному домі

00:12:30.768 --> 00:12:32.125
та шкільній лабораторії.

00:12:33.167 --> 00:12:34.851
Адже є ж якісь обмеження, правда?

NOTE Paragraph

00:12:34.851 --> 00:12:37.518
Н.Б.: Можливо, в тій частині,
що стосується "не можливо".

00:12:37.518 --> 00:12:39.726
Якщо ви вважаєте необхідним це зупинити,

00:12:39.726 --> 00:12:41.500
лишається проблема здійсненності.

00:12:41.500 --> 00:12:44.309
Користі буде небагато, 
якщо якась одна нація...

NOTE Paragraph

00:12:44.309 --> 00:12:46.351
К.А.: Ні, якщо одна нація, це не допоможе,

00:12:46.351 --> 00:12:49.309
але ж ми й раніше підписували угоди.

00:12:49.309 --> 00:12:52.684
Адже саме так ми пережили ядерну загрозу:

00:12:52.684 --> 00:12:54.000
ми зібралися і пройшли

00:12:54.000 --> 00:12:56.542
весь важкий шлях переговорів.

00:12:56.542 --> 00:13:01.976
Я тільки думаю, чи не слід нам,
керуючись глобальними пріоритетами,

00:13:01.976 --> 00:13:03.708
зібратися і спробувати вже зараз

00:13:03.708 --> 00:13:06.393
почати перемовини 
про насправді жорсткі обмеження

00:13:06.393 --> 00:13:09.101
проведення біологічних дослідів,

00:13:09.101 --> 00:13:11.976
адже якраз саме це 
не слід було б демократизувати.

NOTE Paragraph

00:13:11.976 --> 00:13:13.809
Н.Б.: З цим я цілком згоден...

00:13:13.809 --> 00:13:18.059
Було б, наприклад, бажано

00:13:18.059 --> 00:13:21.684
перетворити синтез ДНК на сервіс,

00:13:21.684 --> 00:13:25.268
адже зараз кожна лабораторія

00:13:25.268 --> 00:13:26.768
має свій апарат.

00:13:26.768 --> 00:13:29.309
Зробити чотири-п'ять 
таких місць на цілий світ,

00:13:29.309 --> 00:13:32.851
куди можна надіслати свій цифровий проєкт,
а назад отримати ДНК, вірно?

00:13:32.851 --> 00:13:34.643
Тоді була б можливість...

00:13:34.643 --> 00:13:37.059
якщо колись з'явилася б така необхідність,

00:13:37.059 --> 00:13:39.434
ми б мали обмежену кількість
стратегічних точок.

00:13:39.434 --> 00:13:42.976
Отже, думаю, слід шукати
певних особливих умов,

00:13:42.976 --> 00:13:45.059
за яких можна було б підсилити констроль.

NOTE Paragraph

00:13:45.059 --> 00:13:46.750
К.А.: Тобто, по суті, ви вважаєте,

00:13:46.750 --> 00:13:49.643
що самого стримування 
нам буде недостатньо.

00:13:49.643 --> 00:13:52.393
Хтось десь, якась, скажімо, 
Північна Корея,

00:13:52.393 --> 00:13:55.934
зрештою здобуде ці знання,

00:13:55.934 --> 00:13:57.226
якщо вони десь чекають.

NOTE Paragraph

00:13:57.226 --> 00:13:59.601
Н.Б.: За теперішніх умов
це здається ймовірним.

00:13:59.601 --> 00:14:01.559
Йдеться не лише
про синтетичну біологію.

00:14:01.559 --> 00:14:04.101
Адже будь-яка глибока 
нова зміна у світі

00:14:04.101 --> 00:14:05.727
може виявитися чорною кулькою.

NOTE Paragraph

00:14:05.727 --> 00:14:07.823
К.А.: Розгляньмо ще одну можливу реакцію.

NOTE Paragraph

00:14:07.823 --> 00:14:10.226
Н.Б.: Ця також, думаю,
має обмежені можливості.

00:14:10.226 --> 00:14:13.549
Повернімося до вразливості першого типу:
наприклад, якщо би можна було

00:14:13.549 --> 00:14:15.095
зменшити кількість людей,

00:14:15.095 --> 00:14:17.330
[Реакція 2: Усунути правопорушників]

00:14:17.330 --> 00:14:19.476
що можуть бажати знищити світ,

00:14:19.476 --> 00:14:21.559
якби вони мали для цього необхідні засоби,

00:14:21.559 --> 00:14:22.875
то було б непогано.

NOTE Paragraph

00:14:22.875 --> 00:14:25.605
К.А.: На цьому зображенні, 
яке ви попросили нас зробити,

00:14:25.605 --> 00:14:27.434
бачимо дронів, що літають світом

00:14:27.434 --> 00:14:28.726
і розпізнають обличчя.

00:14:28.726 --> 00:14:31.619
Помічаючи когось з ознаками 
соціопатичної поведінки,

00:14:31.619 --> 00:14:33.851
вони заливають його любов'ю
і лагодять його.

NOTE Paragraph

00:14:33.851 --> 00:14:36.263
Н.Б.: Тут, мабуть, ідеться 
про гібридну картину.

00:14:36.263 --> 00:14:39.809
"Усувати" може значити 
як ув'язнити чи вбити,

00:14:39.809 --> 00:14:42.851
так і схилити до кращого бачення світу.

00:14:42.851 --> 00:14:44.601
Але справа ось у чому:

00:14:44.601 --> 00:14:46.768
скажімо, цей сценарій є успішним,

00:14:46.768 --> 00:14:50.101
нам вдається зменшити кількість 
таких людей наполовину.

00:14:50.101 --> 00:14:52.018
Якщо ми обираємо шлях переконання,

00:14:52.018 --> 00:14:54.410
то маємо змагатися проти
усіх інших могутніх сил,

00:14:54.410 --> 00:14:56.143
що намагаються переконувати людей:

00:14:56.143 --> 00:14:57.934
партії, релігія, система освіти.

00:14:57.934 --> 00:14:59.863
Але нехай вдалося-таки скоротити вдвічі.

00:14:59.863 --> 00:15:02.143
Не думаю, що і ризик 
буде скорочено вдвічі.

00:15:02.143 --> 00:15:03.726
Можливо, на відсотків 5 чи 10.

NOTE Paragraph

00:15:03.726 --> 00:15:08.101
К.А.: Отже, ви не радите ставити 
майбутнє людства на другий спосіб.

NOTE Paragraph

00:15:08.101 --> 00:15:11.143
Н.Б.: Думаю, стримувати й переконувати —
справа корисна,

00:15:11.143 --> 00:15:14.143
та не варто покладатися лише на це.

NOTE Paragraph

00:15:14.143 --> 00:15:15.458
К.А.: Як щодо третього?

NOTE Paragraph

00:15:15.458 --> 00:15:17.781
Н.Б.: Думаю, є два основних способи,

00:15:17.781 --> 00:15:20.181
які можна використовувати,
аби стабілізувати світ

00:15:20.181 --> 00:15:22.128
[Реакція 3: Масове стеження]

00:15:22.128 --> 00:15:25.351
проти цілого спектру можливих загроз.

00:15:25.351 --> 00:15:26.934
Нам, певно, знадобляться обидва.

00:15:26.934 --> 00:15:31.106
Отже, перший є надзвичайно ефективним

00:15:31.106 --> 00:15:32.822
для запобігання злочинам.

00:15:32.822 --> 00:15:34.816
Йдеться про можливість втручання.

00:15:34.816 --> 00:15:37.601
Якщо хтось почне робити щось небезпечне,

00:15:37.601 --> 00:15:40.309
то їх можна буде зупинити 
у реальному часі.

00:15:40.309 --> 00:15:42.809
Це б вимагало повсюдного стеження,

00:15:42.809 --> 00:15:45.208
коли кожен постійно знаходиться 
під контролем.

NOTE Paragraph

00:15:46.333 --> 00:15:48.893
К.А.: Це вже майже як у фільмі 
"Особлива думка".

NOTE Paragraph

00:15:48.893 --> 00:15:51.261
Н.Б.: Тут мав би бути залучений
штучний інтелект,

00:15:51.261 --> 00:15:55.292
діяли б великі центри 
спостереження і таке інше.

NOTE Paragraph

00:15:56.583 --> 00:16:00.976
К.А.: Знаєте, сьогодні "масове стеження"
не найпопулярніші слова.

NOTE Paragraph

00:16:00.976 --> 00:16:02.250
(Сміх)

NOTE Paragraph

00:16:03.458 --> 00:16:05.268
Н.Б.: Так, оцей маленький пристрій,

00:16:05.268 --> 00:16:08.893
таке собі намисто, яке потрібно
мати на собі постійно,

00:16:08.893 --> 00:16:10.917
з різнонаправленими камерами.

00:16:10.917 --> 00:16:13.601
Аби він краще сприймався,

00:16:13.601 --> 00:16:16.149
назвіть його, скажімо, "емблемою свободи".

NOTE Paragraph

00:16:16.149 --> 00:16:18.184
(Сміх)

NOTE Paragraph

00:16:18.184 --> 00:16:19.500
К.А.: Добре.

00:16:19.500 --> 00:16:21.601
Отака в нас розмова, друзі,

00:16:21.601 --> 00:16:25.184
саме тому вона така захоплююча.

NOTE Paragraph

00:16:25.184 --> 00:16:27.809
Н.Б.: Насправді, про це можна 
говорити і говорити,

00:16:27.809 --> 00:16:29.143
це очевидно.

00:16:29.143 --> 00:16:31.363
Та й проблем і ризиків тут повно, правда?

00:16:31.363 --> 00:16:33.058
Ми ще до цього, може, повернемось.

00:16:33.058 --> 00:16:35.531
Отже, остання можливість 
загальної стабілізації —

00:16:35.531 --> 00:16:37.113
[Реакція 4: Глобальне управління]

00:16:37.113 --> 00:16:38.893
це виправлення управлінських похибок.

00:16:38.893 --> 00:16:43.101
Отже, нагляд стосувався б, скажімо,
управлінських похибок на мікрорівні,

00:16:43.101 --> 00:16:46.226
як-от не допустити дійсно 
протизаконних учинків.

00:16:46.226 --> 00:16:48.559
І є відповідна управлінська похибка

00:16:48.559 --> 00:16:50.518
на макрорівні, на світовому рівні.

00:16:50.518 --> 00:16:54.476
Потрібна надійна можливість запобігти

00:16:54.476 --> 00:16:57.309
найгіршим координаційним помилкам 
на світовому рівні,

00:16:57.309 --> 00:17:01.101
уникнути воєн між могутніми країнами,

00:17:01.101 --> 00:17:02.458
гонки озброєнь,

00:17:02.458 --> 00:17:05.708
катастрофічних спільних трагедій,

00:17:07.667 --> 00:17:11.851
аби впоратися з загрозами типу 2-А.

NOTE Paragraph

00:17:11.851 --> 00:17:13.809
К.А.: Термін "глобальне управління"

00:17:13.809 --> 00:17:16.059
зараз точно не на піку популярності,

00:17:16.059 --> 00:17:18.601
але чи не можна стверджувати,

00:17:18.601 --> 00:17:19.893
що за всю історію людства

00:17:19.893 --> 00:17:25.351
на кожному етапі зростання 
технологічної потужності

00:17:25.351 --> 00:17:28.601
люди реорганізовувалися
і, так би мовити, централізували владу.

00:17:28.601 --> 00:17:32.059
Наприклад, коли з'являлася загроза,
що владу може захопити

00:17:32.059 --> 00:17:33.792
якесь мандрівне угрупування,

00:17:33.792 --> 00:17:36.031
у відповідь лунало: "Ні, цього не можна,

00:17:36.031 --> 00:17:38.489
адже є держава і централізована влада,

00:17:38.489 --> 00:17:40.143
поліція чи армія."

00:17:40.143 --> 00:17:44.726
Загроза того, що одна людина 
чи група людей

00:17:44.726 --> 00:17:46.393
зможуть знищити людство, означає,

00:17:46.393 --> 00:17:49.143
що колись нам, можливо, 
доведеться хоч певною мірою

00:17:49.143 --> 00:17:50.625
піти цим шляхом, хіба ні?

NOTE Paragraph

00:17:50.625 --> 00:17:54.309
Н.Б.: Рівень політичної організації, 
звісно, зріс протягом історії людства,

00:17:54.309 --> 00:17:56.476
це правда.

00:17:56.476 --> 00:17:58.518
Спочатку були групи мисливців-збирачів,

00:17:58.518 --> 00:18:01.476
потім племена, поліси, нації,

00:18:01.476 --> 00:18:05.126
а тепер міжнародні організації і так далі.

00:18:05.126 --> 00:18:07.018
Але я хотів би знову наголосити,

00:18:07.018 --> 00:18:08.684
безумовно існують

00:18:08.684 --> 00:18:10.684
великі недоліки і величезні ризики

00:18:10.684 --> 00:18:12.226
як у випадку масового нагляду,

00:18:12.226 --> 00:18:15.601
так і у випадку глобального управління.

00:18:15.601 --> 00:18:18.184
Хочу відмітити, якщо нам пощастить,
і світ буде таким,

00:18:18.184 --> 00:18:20.893
що тільки цими способами 
ми й зможемо захиститися

00:18:20.893 --> 00:18:22.434
від чорної кульки.

NOTE Paragraph

00:18:22.434 --> 00:18:24.976
К.А.: Логіка цієї теорії,

00:18:24.976 --> 00:18:26.268
здається мені,

00:18:26.268 --> 00:18:29.893
полягає в нашому визнанні
неможливості отримати все.

00:18:29.893 --> 00:18:32.830
Це, можна сказати, така наївна мрія,

00:18:32.830 --> 00:18:36.476
яку багато з нас плекали,

00:18:36.476 --> 00:18:39.851
що технологія завжди буде силою добра,

00:18:39.851 --> 00:18:42.851
і треба йти вперед, не зупинятися,
якнайшвидше,

00:18:42.851 --> 00:18:45.226
не звертаючи уваги на певні наслідки.

00:18:45.226 --> 00:18:46.934
Та це насправді так не працює.

00:18:46.934 --> 00:18:48.893
Так не вийде.

00:18:48.893 --> 00:18:50.184
Якщо робити так,

00:18:50.184 --> 00:18:52.043
то нам заодно доведеться прийняти

00:18:52.043 --> 00:18:54.226
деякі інші неприємні речі,

00:18:54.226 --> 00:18:56.800
почати таку собі гонку озброєння
з самими собою:

00:18:56.800 --> 00:18:58.768
хочеш силу — навчись її обмежувати,

00:18:58.768 --> 00:19:00.934
знайди спосіб, як це зробити.

NOTE Paragraph

00:19:00.934 --> 00:19:04.434
Н.Б.: Думаю, це варіант,

00:19:04.434 --> 00:19:07.226
і то дуже спокусливий,
можна сказати, найпростіший,

00:19:07.226 --> 00:19:08.518
і він може спрацювати,

00:19:08.518 --> 00:19:13.351
але він означає, що ми, по суті, ризикуємо
витягнути чорну кульку.

00:19:13.351 --> 00:19:15.518
Думаю, за умови деякої координації,

00:19:15.518 --> 00:19:18.268
якщо ми вирішимо проблеми

00:19:18.268 --> 00:19:19.893
макро- та мікроуправління,

00:19:19.893 --> 00:19:22.226
то зможемо витягнути з урни всі кульки

00:19:22.226 --> 00:19:24.518
та отримати від цього велику користь.

NOTE Paragraph

00:19:24.518 --> 00:19:27.976
К.А.: Але якщо ми живемо в симуляції,
то хіба це має значення?

00:19:27.976 --> 00:19:29.533
Ми лише перезавантажимось і все.

NOTE Paragraph

00:19:29.533 --> 00:19:30.601
(Сміх)

NOTE Paragraph

00:19:30.601 --> 00:19:32.268
Н.Б.: Тоді... я...

NOTE Paragraph

00:19:32.268 --> 00:19:34.768
(Сміх)

00:19:34.768 --> 00:19:36.208
Цього я не чекав.

NOTE Paragraph

00:19:38.125 --> 00:19:39.393
К.А.: То як ви вважаєте?

00:19:39.393 --> 00:19:44.226
Якщо скласти все докупи, чи велика 
вірогідність того, що ми приречені?

NOTE Paragraph

00:19:44.226 --> 00:19:46.208
(Сміх)

NOTE Paragraph

00:19:46.208 --> 00:19:49.434
Люблю, як люди сміються,
коли питаєш про таке.

NOTE Paragraph

00:19:49.434 --> 00:19:51.023
Н.Б.: На індивідуальному рівні

00:19:51.023 --> 00:19:54.684
ми за будь-яких обставин приречені,
тільки за певним графіком.

00:19:54.684 --> 00:19:57.309
Ми ж усі чахнемо і старіємо, правда?

NOTE Paragraph

00:19:57.309 --> 00:19:58.958
(Сміх)

NOTE Paragraph

00:19:58.958 --> 00:20:00.583
Насправді, це дещо складно.

00:20:00.583 --> 00:20:03.434
Якщо говорити про ймовірність,
то спочатку треба визначитися,

00:20:03.434 --> 00:20:04.750
хто є "ми".

00:20:04.750 --> 00:20:07.476
Якщо ви дуже старий, то помрете,
мабуть, природною смертю,

00:20:07.476 --> 00:20:09.851
якщо молодий,
то можете мати 100 років...

00:20:09.851 --> 00:20:12.042
все залежить від того, кого ви спитаєте.

00:20:12.042 --> 00:20:16.268
Далі, межі. Що вважати
руйнуванням цивілізації?

00:20:16.268 --> 00:20:23.393
В статті я говорю не лише 
про екзистенційну катастрофу.

00:20:23.393 --> 00:20:25.101
Тут справа у визначенні.

00:20:25.101 --> 00:20:26.434
Я кажу: мільярд мертвих

00:20:26.434 --> 00:20:28.518
чи зниження світового ВВП на 50%,

00:20:28.518 --> 00:20:30.768
але оцінка вірогідності залежатиме

00:20:30.768 --> 00:20:32.768
від визначеної вами межі.

00:20:32.768 --> 00:20:37.309
Гадаю, мене можна віднести 
до наляканих оптимістів.

NOTE Paragraph

00:20:37.309 --> 00:20:38.458
(Сміх)

NOTE Paragraph

00:20:38.458 --> 00:20:40.101
К.А.: Ви наляканий оптиміст,

00:20:40.101 --> 00:20:44.393
який щойно, думаю, створив
багато інших наляканих...

00:20:44.393 --> 00:20:45.708
людей.

NOTE Paragraph

00:20:45.708 --> 00:20:46.792
(Сміх)

NOTE Paragraph

00:20:46.792 --> 00:20:48.079
Н.Б.: В симуляції.

NOTE Paragraph

00:20:48.079 --> 00:20:49.375
К.А.: В симуляції.

00:20:49.375 --> 00:20:51.059
Нік Бостром, ваш розум мене вражає.

00:20:51.059 --> 00:20:54.000
Красно дякую, що нажахали нас усіх.

NOTE Paragraph

00:20:54.000 --> 00:20:56.375
(Оплески)