Смертный приговор не должен выноситься роботами

Как писатель, Дэниэл Суарес любит сочинять мрачные истории о будущем. Но на сцену TEDGlobal он вышел, чтобы поговорить о том, что происходит в реальной жизни, и о чём всем нам не мешает больше знать: увеличение использования автономного роботизированного оружия. По его мнению, современные модели беспилотных боевых самолётов, автоматическое оружие и разведывательные системы, оснащённые элементами искусственного интеллекта, могут принимать решения о начале военных действий самостоятельно, без участия людей.

Я пишу научно-фантастические триллеры,

поэтому когда я говорю
о «роботах-убийцах»,

вам, вероятно, представляется
что-то вот в таком роде.

Но сегодня речь пойдёт не о фантастике.

Я хочу рассказать
о вполне реальных роботах-убийцах:

беспилотных боевых самолётах.

Не о дронах
типа «Predator» или «Reaper»,

где наведение на цель
контролируется человеком,

а о полностью автономном
роботизированном оружии,

самостоятельно принимающем
смертоносные решения

в отношении людей.

Для этого даже есть специальный термин:
смертельная автономия.

Смертельно автономные роботы-убийцы

могут управлять самолётами,
водить автомобили

или просто сидеть в засаде.

Они стремительно входят
в нашу действительность.

Перед вами две автоматические
снайперские установки,

установленные в демилитаризованной зоне
между Северной и Южной Кореей.

Обе эти машины способны
автоматически определять

человеческую цель
и открывать по ней огонь.

Радиус действия левой установки
составляет более километра.

Здесь в обоих случаях
всё ещё задействован человек,

принимающий решение
о стрельбе на поражение,

но это не часть технической спецификации.
Это выбор.

И я хочу сегодня
поговорить об этом выборе,

потому что чем чаще
мы передаём принятие

смертоносных решений
от человека к компьютерной программе,

тем больше мы рискуем не только
лишить войну человеческого лица,

но и полностью изменить
социальную картину мира.

Того мира, что находится
вдали от поля боя.

Потому что методы разрешения конфликтов

формируют социальную картину мира.

И так было в истории всегда.

Например, вот так выглядели
самые совершенные

виды оружия в 1400 году нашей эры.

Они были очень дорогостоящи
в производстве и обслуживании,

но с их помощью
было легко управлять массами,

и расклад политических сил в феодальном обществе —
лучшее тому доказательство.

Власть была сосредоточена
у самой верхушки.

Что же изменилось?
Появились новые технологии.

Порох, пушки.

Доспехи и замки быстро устарели,

и стало уже не так важно, кто пришёл
сражаться на твоей стороне,

а важно, сколько человек
вышло на поле сражения.

Численность армий росла,
и возникло понятие государства-нации,

как необходимой политической
и тыловой оборонной составляющей.

И поскольку главам государств
всё больше приходилось

полагаться на свой народ,
они стали делиться властью.

Появилось понятие
представительного правления.

Таким образом,
методы разрешения конфликтов

формируют социальную картину нашего мира.

Автономное роботизированное оружие —
один из таких методов.

Но есть одно «но». Для его использования
не нужно много военных,

а значит есть риск снова сосредоточить
власть в руках немногих,

повернув тем самым вспять
пять веков движения к демократии.

Если мы отдадим себе в этом отчёт,
мы сможем предпринять

решительные действия по защите
наших демократических ценностей

и адаптироваться, что у людей
всегда получалось очень хорошо.

Но у нас не так много времени.

Сегодня 70 государств
занимаются разработкой собственных

дистанционно-пилотируемых боевых дронов.

Такие дистанционно-пилотируемые
боевые дроны —

предвестники автономного
роботизированного оружия.

Как только эти дроны вступают в строй,

появляется три серьёзных основания
передать принятие решений

от человека непосредственно
на оружейную платформу.

Во-первых, поток видеоинформации,
производимой дронами.

В 2004 году, например,
весь парк американских дронов собрал

в общей сложности
71 час видеонаблюдений для анализа.

К 2011 году это число
выросло до 300 000 часов.

Обработать столько информации
людям не под силу.

Но и это число кардинально вырастет
в ближайшее время.

Такие программы Пентагона,
как «Взгляд Горгоны» и «Аргус»,

нацелены на установку на каждом дроне

до 65 независимо работающих видеокамер.

Людям не под силу будет
обработать столько видеоданных.

Понадобится
программное обеспечение видеоразведки

для отслеживания интересующей информации.

А значит, что очень скоро дроны начнут

указывать людям,
на что обращать внимание,

а не наоборот.

Но есть и вторая серьёзная
причина для передачи

принятия решений от человека к машине.

Она связана
с электромагнитными помехами,

которые обрывают связь между дроном

и его оператором.

Мы видели пример тому в 2011 году,

когда американский дрон
«RQ-170 Sentinel» растерялся

в иранском воздушном пространстве
из-за спуфинг-атаки на GPS.

Любой дистанционно-управляемый дрон
может быть подвержен

атакам подобного типа,
а значит дроны должны будут

брать на себя больше работы
по принятию решений.

Понимая стоящую перед ними задачу,
они должны будут

реагировать на изменившуюся ситуацию
без участия человека.

Они должны будут игнорировать
внешние радиосигналы

и посылать минимальное количество
собственных сигналов.

Что приводит нас к третьей,
самой серьёзной причине

для передачи принятия решений

от человека к оружию:

убедительное отрицание.

Мы сегодня живём
в условиях мировой экономики.

Производства на основе высоких технологий
развиты на большинстве континентов.

При помощи кибершпионажа
самые новейшие разработки

исчезают в никуда,

и с таким положением дел
очень может оказаться,

что украденный удачный дизайн дрона,
сделанного на подпольной фабрике,

заполонит серый рынок.

И в таком случае, разбирая завалы,

оставленные после атаки дрона-самоубийцы,

трудно будет сказать, кем он был послан.

Тут возникает реальная угроза

анонимной войны.

Это может перевернуть
геополитический баланс с ног на голову,

усложнить государствам открытие
ответного огня против агрессора,

и в 21-ом веке сместить баланс

от обороны в сторону нападения.

Таким образом,
война становится доступной

не только для небольших государств,

но и для криминальных структур,
частных предпринимателей,

или для просто очень влиятельных людей.

Такая ситуация может
открыть дорогу воинствующим боевикам,

подрывающим устои закона
и гражданского общества.

Сознание ответственности и открытость —

два краеугольных камня
представительного правления.

Но оба могут быть подорваны с появлением
автономного роботизированного оружия.

Вам может показаться, что жители стран

с хорошо развитой индустрией
высоких технологий

будут иметь преимущество
в роботизированной войне,

что они будут менее уязвимы,

особенно по сравнению
с развивающимися странами.

Но мне кажется, что справедливо
как раз обратное.

Общества с наиболее развитыми
высокими технологиями

и являются наиболее уязвимыми
для роботизированного оружия.

Причину можно суммировать один словом:
информация.

Информация — двигатель любого
высокотехнологичного общества.

Мобильные службы геолокации,
метаданные операторов связи,

социальные сети, электронная почта,
текстовые сообщения,

данные о финансовых операциях
и перевозках — изобилие информации

о взаимодействии и перемещении людей
в реальном времени.

Сегодня машины знают про нас всё.

Значительно больше, чем когда-либо
в истории человечества.

И это идеально отвечает
прицельным нуждам автономного оружия.

Перед вами графический анализ связей

некой социальной группы людей.

Линии обозначают
социальные связи между людьми.

Такие графики можно
автоматически построить,

используя информационный след,
оставляемый современными людьми.

Обычно эти данные используются
для продажи товаров и услуг

целевой аудитории, но это
технология двойного назначения,

потому что существует
и другое определение цели.

Обратите внимание, что некоторые точки
выделены на графике.

Эти люди —
центры своих социальных сетей.

Эти люди — организаторы,
лидеры общественного мнения.

Их можно автоматически выделить

по их манере общения.

Если вы маркетолог, вы будете стараться
привлечь их внимание,

давая им образцы вашей продукции
и тем самым продвигая

ваш бренд внутри их социальной группы.

Но если вы —
репрессивный режим, занятый поиском

политических врагов,
вы будете заинтересованы в том,

чтобы убрать их, избавиться от них,
нарушить их социальную группировку,

таким образом,
что оставшиеся члены группы

потеряют единство и организацию.

В мире, где дешёвое
роботизированное оружие

будет широко распространено,
границы не смогут защитить

критиков удалённых правительств

или транснациональных
преступных организаций.

Народные движения, требующие перемен,

можно будет подавить на ранних стадиях,
избавиться от их лидеров,

прежде чем их идеи
достигнут критической массы.

Достижение идеями критической массы —

основная цель любого политического
движения в демократическом обществе.

Анонимное смертоносное оружие может
облегчить выбор в пользу смертоносной силы

самыми разными
соперничающими группировками.

А это заморозит
свободу слова и гражданскую

политическую активность —
самое сердце демократии.

Именно поэтому нам необходимо
международное законодательство

о применении роботизированного оружия, а также

повсеместный запрет на производство
и распространение роботов-убийц.

У нас уже есть
международные договоры об использовании

ядерного и биологического оружия.
Они могут быть несовершенны,

но они в большинстве своём работают.

Роботизированное оружие
настолько же опасно,

потому что его будут использовать,

и последствия будут разрушительны
для наших демократических устоев.

В ноябре 2012 года
министерство обороны США

выпустило распоряжение, требующее

обязательного присутствия человека
при принятии любых смертоносных решений.

Этот указ ввёл временный запрет
на использование автономного оружия
вооружёнными силами США,

но запрет этот должен стать постоянным.

И он должен послужить толчком
для действий на международной арене.

Потому что нам необходим
международный свод законов

об использовании
роботизированного оружия.

И эти законы нужны уже сейчас,
не дожидаясь пока на нас нападут

или пока очередная угроза терроризма
не заставит государства во всём мире

в спешном порядке внедрять это оружие,

не задумываясь о последствиях.

Автономное роботизированное оружие
сосредоточивает слишком большую власть

в руках немногих и угрожает демократии.

Не поймите меня неправильно:
я считаю, что есть много

замечательных примеров использования
гражданских невооружённых дронов.

Охрана окружающей среды, поисково-спасательные работы,
транспортировка и снабжение.

При наличии международного
законодательства об использовании

роботизированного оружия, как мы можем
воспользоваться преимуществами

беспилотных дронов и автомобилей,
и в то же время

защитить себя от нелегального
роботизированного оружия?

Я считаю, что нам поможет
политика открытости.

У робота не может быть права на секреты

в общественном месте.

(Аплодисменты)

У каждого робота или дрона
должна быть шифрованная маркировка,

поставленная на заводе,
которую можно будет использовать

для отслеживания его передвижений
в общественных местах.

У наших машин и самолётов
есть номерные знаки.

Здесь должно быть то же самое.

И любой человек должен иметь
доступ к приложению,

которое бы показывало ему
все дроны и беспилотные автомобили

и их местоположение и траекторию
движения в общественных местах

в реальном времени или в прошлом.

Общественные деятели должны
установить сенсорные датчики

и иметь в распоряжении гражданские дроны
для отслеживания неисправных машин,

но не посылать при этом свои дроны,
чтобы их уничтожить,

а вместо этого предупреждать людей
об их присутствии.

И только в зонах повышенной безопасности

возможно гражданские дроны
будут ловить такие машины

и отвозить их на свалки оружия
для захоронения.

Обратите внимание, что это больше похоже
на иммунную систему,

чем на систему вооружений.

Это позволит нам
извлекать выгоду из использования

беспилотных машин и дронов,

при этом сохраняя
наше открытое гражданское общество.

Мы должны запретить
производство и распространение

роботов-убийц.

Давайте не будем поддаваться соблазну
автоматизировать военные действия.

Вне всякого сомнения,
что диктатуры и криминальные структуры

этим воспользуются,
но давайте не будем им уподобляться.

Автономное роботизированное оружие

сосредоточит слишком много власти

в невидимых руках немногих,

что будет разрушительно
для представительного правления.

Давайте же постараемся, чтобы по крайней мере
в демократическом обществе

роботы-убийцы оставались
только на страницах книг.

Спасибо.

(Аплодисменты)

Спасибо. (Аплодисменты)