Роботи не повинні виносити смертний вирок

Письменник Деніел Суарес любить вигадувати похмурі історії про майбутнє. Проте на сцену TEDGlobal він вийшов, щоб поговорити про реальний розвиток подій, про те, що нам не завадило б знати: збільшення використання автономної роботизованої зброї. Він вважає, що сучасні моделі дронів, автоматизована зброя та розвідувальні системи, оснащені системами штучного інтелекту, зможуть ухвалювати рішення про початок війни без участі людини.

Я пишу науково-фантастичні трилери,

тож коли я кажу “роботи-вбивці”,

ви мабуть уявляєте щось таке.

Та я тут не для того, щоб говорити про фантастику.

Я тут, щоб розповісти вам про справжніх роботів-убивць,

автономних бойових дронів.

Я не маю на увазі безпілотних літаків типу Predator [Хижак] чи Reaper [Жатка],

де наведення на ціль здійснює людина.

Я веду мову про повністю автономну роботизовану зброю,

яка ухвалює смертоносні рішення щодо життя людей

самостійно.

Насправді, для цього є навіть технічне поняття: смертельна автономність.

Смертельно-автономні роботи-вбивці

можуть літати, їздити

або ж просто сидіти в засідці.

І вони, насправді, дуже швидко стають реальністю.

Перед вами дві автоматичні снайперські установки,

розташовані в демілітаризованій зоні між Північною та Південною Кореєю.

Обидві ці машини здатні автоматично

ідентифікувати людину як мішень і відкривати по ній вогонь.

Радіус дії машини зліва становить понад кілометр.

Проте діями обох машин все ще керує людина,

яка й приймає смертоносне рішення,

хоча це й не технічна вимога. Це вибір.

І саме на цьому виборі я хочу зосередити вашу увагу,

адже коли ми передамо прийняття смертоносних рішень

від людини до комп’ютерної програми,

ми ризикуємо не тільки вивести людину з війни,

але й повністю змінити соціальну картину світу,

того світу, що знаходиться далеко від поля бою.

Адже саме способи вирішення конфліктів людьми

формують соціальну картину світу.

І так в історії було завжди.

Наприклад, ось так виглядали найпередовіші види зброї

в 1400 році нашої ери.

Треба було багато грошей, щоб їх побудувати, а потім утримувати,

проте з їх допомогою можна було легко управляти народом,

і це підтверджує розподіл політичної сили в феодальному суспільстві.

Влада зосереджувалась на самій верхівці.

Що ж змінилось? З’явились технологічні інновації.

Порох, гармати.

І вже дуже скоро обладунки та замки вийшли з ужитку,

і те, кого ти привів на поле бою, стало менш важливим

проти того, скільки людей прийшло на поле бою.

Коли чисельність армії зросла, з’явилось поняття нація-держава

як складова політичного та тилового захисту.

Лідери були змушені щораз більше покладатись на свій народ

і тому стали ділитись владою.

Так почала формуватись представницька влада.

Тож, як бачите, способи вирішення конфліктів

формують соціальну картину світу.

Автономна роботизована зброя є одним із таких способів,

проте використовуючи його, не потрібно багато військових,

тож є ризик, що влада зосередиться в руках кількох людей,

а це може змінити п’ятсотлітній напрям руху до демократії.

Я думаю, що знаючи це,

ми можемо здійснити рішучі кроки для збереження наших інститутів демократії

і зробити те, що у людей виходить найкраще – адаптуватися.

Проте у нас не так багато часу.

70 країн нині розробляють власних

дистанційно-пілотованих бойових дронів.

І, як ви розумієте, дистанційно-пілотовані бойові дрони

стануть попередниками автономної роботизованої зброї.

І тому, як тільки ви застосували дистанційно-пілотовані дрони,

з’являється три вагомі причини передати ухвалення рішення

від людини збройній платформі.

Першою з них є потік відеозображення, який надають безпілотні літаки.

Для прикладу, в 2004 році весь американський флот дронів зібрав

в загальному підсумку 71 годину відеоспостереження для аналізу.

До 2011 року це число зросло до 300 000 годин,

хоча опрацювати таку кількість людині не під силу.

Проте і це число різко зросте найближчим часом.

Такі програми Пентагону як Gorgon Stare [Погляд Горгони] та Argus [Арґус]

мають на меті встановити 65 незалежно працюючих камер

на кожній платформі для дронів.

Опрацювати таку кількість відеоінформації людині точно не вдасться.

А це означає, що знадобиться програмне забезпечення відеорозвідки,

яке б відстежувало потрібну інформацію.

Тож, вже дуже скоро

саме дрони вказуватимуть людині, на що дивитись,

а не навпаки.

Проте є і друга серйозна причина,

яка спонукає передати прийняття рішення від людини машині,

і це електромагнітні перешкоди,

що розривають зв’язок між дроном

та його оператором.

Ми бачили приклад цього в 2011 році,

коли американський безпілотний літак RQ -170 Sentinel [Вартовий]

трохи збився з курсу над Іраном через підміну хакерами даних GPS.

Кожен дистанційно-пілотований дрон є вразливим до такого типу атаки,

тож, це означає,

що дрони мусять взяти на себе більше відповідальності за прийняття рішень.

Знаючи свою місію,

вони зможуть діяти відповідно до нових обставин без людського втручання.

Вони ігноруватимуть зовнішні радіосигнали

і надсилатимуть дуже мало своїх.

Саме це підвело нас до третьої

найвагомішої причини передачі прийняття рішення

від людини до машини:

вагоме заперечення.

Ми живемо в умовах глобальної економіки.

Високотехнологічне виробництво здійснюється на більшості континентів.

За допомогою кібершпигунства

кудись зникають найновіші розробки,

а в таких умовах украй імовірно,

що вдалий дизайн дрона, зробленого на підпільній фабриці,

швидко заполонить чорний ринок.

У такій ситуації, розбираючи завали

після атаки дрона-самогубця, буде важко з’ясувати,

хто його відправив.

А це підвищує цілком реальну можливість

анонімної війни.

Це може повністю змінити геополітичний баланс,

оскільки стане неможливим відкрити вогонь

по агресору, що змістить пріорітети

в 21 столітті від захисту до нападу.

Таким чином, військові дії стануть цілком доступними

не тільки для малих народів,

а й для кримінальних та приватних організацій

чи навіть для впливових людей.

А це, своєю чергою, тільки сприятиме конкуруючим воєначальникам,

підриваючи верховенство закону і громадянського суспільства.

Відповідальність та прозорість

є двома наріжними каменями представницької влади,

проте автономна роботизована зброя може підірвати обидва з них.

Ви, мабуть, думаєте,

що жителі з технологічно розвинутих країн

будуть мати перевагу в роботизованій війні,

що жителі цих країн будуть менш вразливими

порівняно з жителями країн, що розвиваються.

Та на мою думку, все буде якраз навпаки.

Я вважаю, що жителі технологічно розвинутих країн

є вразливішими до роботизованої зброї

і причину можна підсумувати одним словом: інформація.

Інформація – це рушій технологічно розвинутих країн.

Мобільна служба геолокації, метадані операторів зв’язку,

соціальні мережі, електронна пошта, текстові повідомлення, дані про фінансові операції

та перевезення – це надзвичайно великі обсяги інформації

про переміщення та взаємодію людей в реальному часі.

Іншими словами, сьогодні машини стежать за нами так,

як ніколи раніше за всю історію людства,

що чудово відповідає потребам прицілювання автономної зброї.

Те, що ви зараз тут бачите -

це графічний аналіз зв’язків соціальної групи людей.

Лінії позначають соціальний зв’язок між людьми.

Подібні графіки можна автоматично побудувати

на основі інформаційного сліду, що його залишають сучасні люди.

Зазвичай вони використовуються для продажу товарів та послуг

цільовому населенню, проте ця технологія має подвійне призначення,

оскільки її можна використовувати і для інших цілей.

Зверніть увагу, що деякі особи виділяються.

Ці люди – центри уваги в соціальних мережах.

Це організатори, творці громадської думки, лідери.

Усіх їх можна автоматично ідентифікувати

за їхньою манерою спілкування.

Тож, якщо ви маркетолог, ви можете орієнтуватись на них,

виготовляючи зразки своєї продукції, а також поширювати свою марку

через їхню соціальну групу.

Проте якщо ви репресивний уряд,

що розшукує політичного ворога, ви навпаки захочете їх усунути,

позбутись, підірвати засади їхньої соціальної групи,

і ті, хто залишиться за її межами втратять соціальну єдність

та організацію.

У світі, де швидко поширюється дешева роботизована зброя,

кордони не стануть на захист

критиків віддалених урядів

і транснаціональних кримінальних організацій.

Народні рухи, що агітуватимуть за зміни,

виявлять ще на ранніх стадіях, а їхніх лідерів усунуть

ще до того, як їхні ідеї досягнуть критичної маси.

Проте саме ідеї, які досягли критичної маси,

становлять основу політичного руху в демократичному суспільстві.

Анонімна смертоносна зброя може перехилити шальки терезів

на користь смертоносних дій для різних конкуруючих угрупувань

Це також заморозить свободу слова

та громадську політичну діяльність, тобто саме серце демократії.

Саме тому необхідно створити міжнародний договір

щодо використання роботизованої зброї, а також глобальної заборони на

створення та поширення роботів-вбивць.

Зараз ми вже маємо міжнародні договори

щодо використання ядерної та біологічної зброї, і хоч вони не є досконалі,

та все ж в основному вони працюють.

Роботизована зброя може бути така ж небезпечна,

тому що її точно використовуватимуть,

а також вона може стати руйнівною для наших інститутів демократії.

У листопаді 2012 року Міністерство оборони США

видало директиву, яка вимагає

присутності людини при ухваленні всіх смертоносних рішень.

Ця директива також тимчасово забороняє використання автономної зброї збройними силами США,

проте це розпорядження має стати постійним.

Також це може послужити поштовхом для міжнародних дій.

Адже ми потребуємо встановлення міжнародних правових рамок

щодо використання роботизованої зброї.

І ми потребуємо цього тепер, поки на нас не напали,

або ж не стався терористичний акт, який би змусив держави у всьому світі

поспішно використовувати цю зброю,

не задумуючись про наслідки.

Автономна роботизована зброя дає можливість концентрувати занадто багато сили

в руках кількох людей, а це загрожує демократії.

Проте не зрозумійте мене неправильно - на мою думку, є сотні

віріантів використання цивільних неозброєних дронів:

моніторинг довкілля, пошуково-рятувальні роботи, логістика.

Маючи міжнародній договір щодо використання роботизованої зброї,

як ми зможемо користуватись перевагами автономних дронів

та машин і водночас захищати себе

від нелегальної роботизованої зброї?

Я думаю, що тут нам допомогла б політика прозорості.

Робот не повинен мати право на анонімність

в громадському місці.

(Оплески)

Кожен робот та безпілотний літак мусить мати

криптографічне маркування, поставлене ще на заводі,

яке можна було б використовувати, щоб відстежити його рух громадськими місцями.

Номерні знаки мають машини та літаки.

Тут теж не повинно бути винятків.

Кожен житель мусить мати змогу завантажити додаток,

який би показував йому рух всіх дронів та автономних машин

громадськими місцями

в реальному часі та в минулому.

Громадські діячі повинні розмістити сенсорні датчики і мати в своєму розпорядженні цивільні дрони

для виявлення ворожих дронів,

проте замість того, щоб відправляти дронів-вбивць для їх знешкодження,

попереджати людей про їхню присутність.

І тільки в зонах підвищеної безпеки

допускається, щоб цивільні дрони виловлювали їх

і відвозили на звалище для знешкодження.

Проте зверніть увагу, що це більше схоже на імунну систему,

ніж на збройну систему.

Це дозволить нам отримувати певну користь

від автономних машин та дронів

і водночас зберегти наше громадянське суспільство відкритим.

Нам варто заборонити виробництво та розвиток

роботів-вбивць.

Не піддаваймося спокусі зробити війну автоматизованою.

Без сумніву, диктаторські уряди та кримінальні організації

піддадуться, проте не приєднуймося до них.

Автономна роботизована зброя

сконцентрує занадто багато сили

у кількох невидимих руках,

а це матиме руйнівний вплив на представницьку владу.

Постараймося, щоб хоча б у демократичному суспільстві

роботи-вбивці залишались вигадкою.

Дякую.

(Оплески)

Дякую. (Оплески)