Rozhodovat o zabití by neměl robot

Spisovatel Daniel Suarez tvoří dystopické příběhy z budoucnosti. Na pódiu TEDGlobal však popisuje scénář z reálného světa, o kterém všichni musíme vědět víc: vzestup autonomních robotických zbraní. Naznačuje, že sofistikované letouny, automatizované zbraně a nástroje na shromažďování dat řízené umělou inteligencí by mohly sebrat lidem možnost rozhodovat o válce.

Píšu sci-fi thrillery,

takže když řeknu „robot-zabiják“,

pravděpodobně si představíte něco takového.

Teď tu ale nechci mluvit o literatuře.

Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,

o autonomních bojových letounech.

Nemyslím tím teď letadla Predator a Reaper,

u kterých je to vždy člověk, kdo rozhoduje o určení cíle.

Mluvím o plně autonomních robotických zbraních,

které rozhodují o smrti lidských bytostí

zcela samy za sebe.

Dokonce pro to existuje technický pojem: smrtící autonomie.

Tito smrtící autonomní roboti-zabijáci

mají mnoho podob – létajicí, jezdicí,

anebo pouze ležicí a čekajicí.

Popravdě řečeno, velice rychle se stávají realitou.

Toto jsou dva automatické odstřelovací moduly

momentálně nasazené v zóně mezi Severní a Jižní Koreou.

Oba tyto stroje jsou schopny automaticky

rozpoznat lidský cíl a vypálit na něj,

ta vlevo na vzdálenost před jeden kilometr.

Zatím je v obou případech stále přítomen člověk,

který činí rozhodnutí o smrtícím výstřelu,

to však není technologická nutnost. To je jen volba.

Na tuto volbu bych se chtěl zaměřit,

protože jakmile přesuneme rozhodování o usmrcení

z lidí na software,

riskujeme nejen ztrátu lidského prvku z války,

ale rovněž kompletní změnu naší společnosti,

daleko od bitevních polí.

Protože to, jak lidé řeší vzájemné konflikty,

formuje celkovou podobu společnosti.

Tak tomu bylo vždycky v průběhu celé historie.

Toto byly špičkové vojenské systémy

patnáctého století.

Byly velice náročné jak na vybudování, tak i na údržbu,

ale mohli jste s nimi vládnout obyvatelstvu,

což reflektovalo rozložení politické síly ve feudální společnosti.

Moc byla soustředěna na samém vrcholku.

Co se změnilo? Technologické inovace.

Střelný prach, děla.

Brzy bylo brnění i hrady zbytečné,

a přestalo záležet na tom, koho jste vedli do bitvy,

v porovnání s tím, kolik lidí jste tam vedli.

A jak rostly armády co do počtu, začal vznikat národní stát,

jako politická a logistická jednotka, nutná k obraně.

A jak vůdcové začínali více záviset na obyvatelstvu,

začali se dělit o moc.

Začala vznikat zastupitelská forma vlády.

Opět nástroje, kterými řešíme konflikt,

utvářejí podobu společnosti.

Automatické robotické zbraně jsou takovými nástroji,

s tím, že jak velice málo lidí najednou musí jít do války,

riskujeme přerozdělení moci do několika málo rukou,

a potenciálně obracíme pětisetletý trend,
který vedl k demokracii.

Pokud toto víme,

můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,

co lidé umí nejlépe: přizpůsobením se.

Ale i čas zde hraje roli.

Už sedmdesát národů vyvíjí na dálku ovládané

bojové letouny,

a jak uvidíte, dálkově ovládané bojové letouny

jsou jen předchůdci autonomních robotických zbraní.

A to proto, že jakmile jste nasadili dálkově ovládané letouny,

dostanete se ke třem faktorům, které tlačí rozhodování

směrem od lidí přímo ke zbraňovému systému jako takovému.

Prvním je záplava videomateriálu, které letouny produkují.

V roce 2004 to v USA bylo celkem

71 hodin dokumentační stopáže určené k analýze.

Do roku 2011 se toto číslo zvedlo na 300 000 hodin,

čímž byla překročena lidská schopnost vše revidovat,

ale i toto číslo dále drasticky poroste.

Vojenské programy Gorgon Stare a Argus plánují

osadit na každou létající platformu

až 65 samostatných očí,

což znamená naprosté překročení možnosti lidského dohledu.

A tedy bude třeba zavést umělou inteligenci,

která bude sama hledat objekty zájmu.

Tím pádem velice brzy

budou roboti lidem říkat, na co se mají podívat,

nikoli naopak.

Je tu ale i druhá silná motivace pro to,

aby se rozhodování přesunulo od lidí ke strojům,

a tím je elektromagnetické zahlcení,

které naruší komunikaci mezi letounem

a jeho operátorem.

To jsme mohli vidět například v roce 2011,

kdy se americký letoun RQ-170 Sentinel

nechal zmást nad Iránem kvůli útoku cílenému na GPS,

k čemuž je náchylný každý dálkově ovládaný letoun,

a to znamená, že roboti

budou muset sami unést větší díl samostatného rozhodování.

Budou znát cíl své mise

a na nové okolnosti budou reagovat bez lidského vedení.

Budou ignorovat externí radiové signály

a vysílat jen velice málo vlastních.

Což nás přivádí ke třetí

a nejsilnějí motivaci, k tomu, aby bylo rozhodování

přesunuto od lidí směrem ke zbraním:

přesvědčivé zapírání.

Žijeme teď v rámci globální ekonomiky.

Na téměř každém kontinentě máme hi-tech strojírenství.

Kybernetická špionáž je schopna získat pokročilé plány

a přesunout je kdovíkam,

kde je velice pravděpodobné,

že z úspěšného plánu letounu vznikne skutečný model

a začne se množit díky šedému trhu.

V takové situaci, kdy budete vyšetřovat trosky

po sebevražedném robotickém útoku, bude velice těžké říct,

kdo tu zbraň poslal.

Tím ale vzniká velmi reálná možnost

anonymní války.

Tím by se geopolitická rovnováha mohla obrátit na hlavu,

protože by se stát jen velice těžko mohl obrátit

proti útočníkovi, a tím by se rovnováha

21. století přesunula od obrany k útoku.

Vojenské akce by se tím mohly stát možným řešením

nejen pro malé národy,

ale i pro zločinecké organizace, soukromé podniky,

a dokonce i mocné jednotlivce.

Mohlo by vzniknout prostředí soupeřících oligarchů,

podkopávající autoritu zákona a občanskou společnost.

Pokud jsou odpovědnost a transparentnost

dvěma úhelnými kameny zastupitelské demokracie,

autonomní robotické zbraně mohou ohrozit obojí.

Možná byste si řekli,

že občané technicky vysoce vyspělých zemí

by v každé robotické válce měli výhodu,

že by lidé v těchto zemích byli méně zranitelní,

zejména v porovnání s rozvojovými zeměmi.

Myslím, že přesný opak je pravdou.

Domnívám se, že lidé v technologických společnostech

jsou mnohem zranitelnější při útoku robotickými zbraněmi,

a to z jednoho prostého důvodu: kvůli datům.

Technologické společnosti jsou řízeny daty.

Geolokace mobilních telefonů, telekomunikační metadata,

sociální média, e-mail, sms, data o finančních transakcích,

údaje o přepravě - to je velké bohatství dat v reálném čase,

odhalujících pohyb a sociální interakce lidí.

Zkrátka jsme pro stroje viditelní

více než kdokoli v historii,

a to skvěle vyhovuje potřebám autonomních zbraní.

Tady vidíte mapu vazeb

v rámci sociální skupiny.

Čáry představují společenskou vazbu mezi jednotlivci.

Tento typ map může být automaticky generován

na základě datové stopy, kterou za sebou moderní lidé zanechávají.

Momentálně se typicky využívá při propagaci zboží a služeb

vybrané cílové skupině, ale tady jde o cílení

v jiném kontextu.

Vidíte, že někteří lidé jsou zvýrazněni.

To jsou svorníky sociálních sítí.

Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,

a tito lidé mohou být také automaticky identifikováni

ze svých komunikačních vzorců.

Pokud pracujete v marketingu, zaměříte se na ně

se vzorky produktů ve snaze šířit svoji značku

v jejich sociální skupině.

Pokud ovšem jste represivní vláda,

která vyhledává své politické nepřátele, prostě je odstraníte,

eliminujete, narušíte jejich sociální skupinu,

a ti, kteří zbydou, ztratí vzájemné spojení

a organizovanost.

Ve světě levných, množících se robotických zbraní,

nebudou už hranice poskytovat skoro žádnou ochranu

kritikům vzdálených vlád

nebo mezinárodních zločineckých organizací.

Všeobecná hnutí volající po změně

mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,

než jejich myšlenky dosáhnou kritického množství.

Přitom myšlenky dosahující kritického rozšíření

jsou to, na čem stojí politický aktivismus běžných vlád.

Anonymní smrtící zbraně by mohly učinit z usmrcování

příliš snadnou volbu k řešení rozdílných zájmů.

To by zmrazilo svobodu projevu

a obecné politické aktivity, které jsou srdcem demokracie.

Proto potřebujeme mezinárodní smlouvu

o robotických zbraních a zejména globální zákaz

vývoje a nasazení robotů-zabijáků.

Už máme mezinárodní smlouvy

o jaderných a biologických zbraních, které zatím, ač nedokonalé,

v obecném měřítku fungují.

Ale robotické zbraně mohou být úplně stejně nebezpečné,

protože budou zcela jistě používány

a budou rozkládat základy demokratických institucí.

V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických

direktivu, která nařizuje,

aby v každém smrtícím rozhodování byl přítomen člověk.

Tím jsou dočasně zakázány autonomní zbraně v armádě USA,

ale tato direktiva se musí stát trvalou.

Mohla by zároveň být základem pro globální jednání.

Protože potřebujeme mezinárodní právní rámec

pro robotické zbraně.

A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku

nebo k teroristické akci, po které budou státy

urychleně nasazovat tyto zbraně,

bez toho, aby se nejdříve promyslely následky.

Autonomní robotické zbraně soustřeďují příliš mnoho moci

v příliš málo rukách, čímž ohrožují samotnou demokracii.

Nechápejte mě špatně, myslím, že je stále mnoho skvělého

využití pro neozbrojené civilní roboty:

monitorování prostředí, pátrání a zachraňování, logistika.

Budeme-li mít mezinárodní smlouvu o robotických zbraních,

jak získáme výhody, které nabízí autonomní letouny

a vozidla, abychom ale byli stále chráněni

před ilegálními robotickými zbraněmi?

Myslím, že tajemstvím úspěchu bude transparentnost.

Žádný robot by neměl mít právo na soukromí,

pokud se pohybuje ve společnosti.

(Potlesk)

Každý robot nebo letoun by měl mít

kódované identifikační označení, vypálené v továrně,

které by ho umožnilo sledovat ve veřejných prostorách.

Už máme SPZ na autech, registrační značky na letadlech.

Tohle není nic jiného.

Každý občan by měl mít právo stáhnout si aplikaci,

která by mu ukázala populaci robotů pohybujících se

ve veřejných prostorách okolo něj,

jak v současnosti, tak v minulosti.

A veřejní činitelé by měli nasadit senzory a civilní roboty,

které by odhalovaly robotické škůdce,

a místo posílání vlastních bojovníků k jejich likvidaci,

by prostě upozornili lidi na jejich přítomnost.

V některých oblastech se zvýšenou bezpečností

by je mohli civilní roboti polapit

a odvléci na místo bezpečné likvidace.

Tady jde ale více o systém imunitní

než zbraňový.

Umožnilo by nám to využít výhod

autonomních vozidel a letounů,

a přitom si uchovat otevřenou občanskou společnost.

Musíme zakázat vývoj a nasazování

robotů-zabijáků.

Nepodlehněme pokušení automatizovat války.

Autokratické vlády a zločinecké organizace

se o to nepochybně pokusí, ale nenásledujme je.

Autonomní robotické zbraně

by soustředily příliš velkou sílu

v několika málo skrytých rukách,

což by podkopalo zastupitelskou demokracii.

Zajistěme, alespoň v demokratických režimech,

že roboti-zabijáci zůstanou fikcí.

Děkuji.

(Potlesk)

Děkuji. (Potlesk)