Píšu sci-fi thrillery,
takže když řeknu „robot-zabiják“,
pravděpodobně si představíte něco takového.
Teď tu ale nechci mluvit o literatuře.
Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,
o autonomních bojových letounech.
Nemyslím tím teď letadla Predator a Reaper,
u kterých je to vždy člověk, kdo rozhoduje o určení cíle.
Mluvím o plně autonomních robotických zbraních,
které rozhodují o smrti lidských bytostí
zcela samy za sebe.
Dokonce pro to existuje technický pojem: smrtící autonomie.
Tito smrtící autonomní roboti-zabijáci
mají mnoho podob -- létajicí, jezdicí,
anebo pouze ležicí a čekajicí.
Popravdě řečeno, velice rychle se stávají realitou.
Toto jsou dva automatické odstřelovací moduly
momentálně nasazené v zóně mezi Severní a Jižní Koreou.
Oba tyto stroje jsou schopny automaticky
rozpoznat lidský cíl a vypálit na něj,
ta vlevo na vzdálenost před jeden kilometr.
Zatím je v obou případech stále přítomen člověk,
který činí rozhodnutí o smrtícím výstřelu,
to však není technologická nutnost. To je jen volba.
Na tuto volbu bych se chtěl zaměřit,
protože jakmile přesuneme rozhodování o usmrcení
z lidí na software,
riskujeme nejen ztrátu lidského prvku z války,
ale rovněž kompletní změnu naší společnosti,
daleko od bitevních polí.
Protože to, jak lidé řeší vzájemné konflikty,
formuje celkovou podobu společnosti.
Tak tomu bylo vždycky v průběhu celé historie.
Toto byly špičkové vojenské systémy
patnáctého století.
Byly velice náročné jak na vybudování, tak i na údržbu,
ale mohli jste s nimi vládnout obyvatelstvu,
což reflektovalo rozložení politické síly ve feudální společnosti.
Moc byla soustředěna na samém vrcholku.
Co se změnilo? Technologické inovace.
Střelný prach, děla.
Brzy bylo brnění i hrady zbytečné,
a přestalo záležet na tom, koho jste vedli do bitvy,
v porovnání s tím, kolik lidí jste tam vedli.
A jak rostly armády co do počtu, začal vznikat národní stát,
jako politická a logistická jednotka, nutná k obraně.
A jak vůdcové začínali více záviset na obyvatelstvu,
začali se dělit o moc.
Začala vznikat zastupitelská forma vlády.
Opět nástroje, kterými řešíme konflikt,
utvářejí podobu společnosti.
Automatické robotické zbraně jsou takovými nástroji,
s tím, že jak velice málo lidí najednou musí jít do války,
riskujeme přerozdělení moci do několika málo rukou,
a potenciálně obracíme pětisetletý trend, který vedl k demokracii.
Pokud toto víme,
můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,
co lidé umí nejlépe: přizpůsobením se.
Ale i čas zde hraje roli.
Už sedmdesát národů vyvíjí na dálku ovládané
bojové letouny,
a jak uvidíte, dálkově ovládané bojové letouny
jsou jen předchůdci autonomních robotických zbraní.
A to proto, že jakmile jste nasadili dálkově ovládané letouny,
dostanete se ke třem faktorům, které tlačí rozhodování
směrem od lidí přímo ke zbraňovému systému jako takovému.
Prvním je záplava videomateriálu, které letouny produkují.
V roce 2004 to v USA bylo celkem
71 hodin dokumentační stopáže určené k analýze.
Do roku 2011 se toto číslo zvedlo na 300 000 hodin,
čímž byla překročena lidská schopnost vše revidovat,
ale i toto číslo dále drasticky poroste.
Vojenské programy Gorgon Stare a Argus plánují
osadit na každou létající platformu
až 65 samostatných očí,
což znamená naprosté překročení možnosti lidského dohledu.
A tedy bude třeba zavést umělou inteligenci,
která bude sama hledat objekty zájmu.
Tím pádem velice brzy
budou roboti lidem říkat, na co se mají podívat,
nikoli naopak.
Je tu ale i druhá silná motivace pro to,
aby se rozhodování přesunulo od lidí ke strojům,
a tím je elektromagnetické zahlcení,
které naruší komunikaci mezi letounem
a jeho operátorem.
To jsme mohli vidět například v roce 2011,
kdy se americký letoun RQ-170 Sentinel
nechal zmást nad Iránem kvůli útoku cílenému na GPS,
k čemuž je náchylný každý dálkově ovládaný letoun,
a to znamená, že roboti
budou muset sami unést větší díl samostatného rozhodování.
Budou znát cíl své mise
a na nové okolnosti budou reagovat bez lidského vedení.
Budou ignorovat externí radiové signály
a vysílat jen velice málo vlastních.
Což nás přivádí ke třetí
a nejsilnějí motivaci, k tomu, aby bylo rozhodování
přesunuto od lidí směrem ke zbraním:
přesvědčivé zapírání.
Žijeme teď v rámci globální ekonomiky.
Na téměř každém kontinentě máme hi-tech strojírenství.
Kybernetická špionáž je schopna získat pokročilé plány
a přesunout je kdovíkam,
kde je velice pravděpodobné,
že z úspěšného plánu letounu vznikne skutečný model
a začne se množit díky šedému trhu.
V takové situaci, kdy budete vyšetřovat trosky
po sebevražedném robotickém útoku, bude velice těžké říct,
kdo tu zbraň poslal.
Tím ale vzniká velice reálná možnost
anonymní války.
Tím by se geopolitická rovnováha mohla obrátit na hlavu,
protože by se stát jen velice těžko mohl obrátit
proti útočníkovi, a tím by se rovnováha
21. století přesunula od obrany k útoku.
Vojenské akce by se tím mohly stát možným řešením
nejen pro malé národy,
ale i pro zločinecké organizace, soukromé podniky,
a dokonce i mocné jednotlivce.
Mohlo by vzniknout prostředí soupeřících oligarchů,
podkopávající autoritu zákona a občanskou společnost.
Pokud jsou odpovědnost a transparentnost
dvěma úhelnými kameny zastupitelské demokracie,
autonomní robotické zbraně mohou ohrozit obojí.
Možná byste si řekli,
že občané technicky vysoce vyspělých zemí
by v každé robotické válce měli výhodu,
že by lidé v těchto zemích byli méně zranitelní,
zejména v porovnání s rozvojovými zeměmi.
Myslím, že přesný opak je pravdou.
Domnívám se, že lidé v technologických společnostech
jsou mnohem zranitelnější při útoku robotickými zbraněmi,
a to z jednoho prostého důvodu: kvůli datům.
Technologické společnosti jsou řízeny daty.
Geolokace mobilních telefonů, telekomunikační metadata,
sociální média, e-mail, sms, data o finančních transakcích,
údaje o přepravě - to je velké bohatství dat v reálném čase,
odhalujících pohyb a sociální interakce lidí.
Zkrátka jsme pro stroje viditelní
více než kdokoli v historii,
a to skvěle vyhovuje potřebám autonomních zbraní.
Tady vidíte mapu vazeb
v rámci sociální skupiny.
Čáry představují společenskou vazbu mezi jednotlivci.
Tento typ map může být automaticky generován
na základě datové stopy, kterou za sebou moderní lidé zanechávají.
Momentálně se typicky využívá při propagaci zboží a služeb
vybrané cílové skupině, ale tady jde o cílení
v jiném kontextu.
Vidíte, že někteří lidé jsou zvýrazněni.
To jsou svorníky sociálních sítí.
Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,
a tito lidé mohou být také automaticky identifikováni
ze svých komunikačních vzorců.
Pokud pracujete v marketingu, zaměříte se na ně
se vzorky produktů ve snaze šířit svoji značku
v jejich sociální skupině.
Pokud ovšem jste represivní vláda,
která vyhledává své politické nepřátele, prostě je odstraníte,
eliminujete, narušíte jejich sociální skupinu,
a ti, kteří zbydou, ztratí vzájemné spojení
a organizovanost.
Ve světě levných, množících se robotických zbraní,
nebudou už hranice poskytovat skoro žádnou ochranu
kritikům vzdálených vlád
nebo mezinárodních zločineckých organizací.
Všeobecná hnutí volající po změně
mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,
než jejich myšlenky dosáhnou kritického množství.
Přitom myšlenky dosahující kritického rozšíření
jsou to, na čem stojí politický aktivismus běžných vlád.
Anonymní smrtící zbraně by mohly učinit z usmrcování
příliš snadnou volbu k řešení rozdílných zájmů.
To by zmrazilo svobodu projevu
a obecné politické aktivity, které jsou srdcem demokracie.
Proto potřebujeme mezinárodní smlouvu
o robotických zbraních a zejména globální zákaz
vývoje a nasazení robotů-zabijáků.
Už máme mezinárodní smlouvy
o jaderných a biologických zbraních, které zatím, ač nedokonalé,
v obecném měřítku fungují.
Ale robotické zbraně mohou být úplně stejně nebezpečné,
protože budou zcela jistě používány
a budou rozkládat základy demokratických institucí.
V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických
direktivu, která nařizuje,
aby v každém smrtícím rozhodování byl přítomen člověk.
Tím jsou dočasně zakázány autonomní zbraně v armádě USA,
ale tato direktiva se musí stát trvalou.
Mohla by zároveň být základem pro globální jednání.
Protože potřebujeme mezinárodní právní rámec
pro robotické zbraně.
A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku
nebo k teroristické akci, po které budou státy
urychleně nasazovat tyto zbraně,
bez toho, aby se nejdříve promyslely následky.
Autonomní robotické zbraně soustřeďují příliš mnoho moci
v příliš málo rukách, čímž ohrožují samotnou demokracii.
Nechápejte mě špatně, myslím, že je stále mnoho skvělého
využití pro neozbrojené civilní roboty:
monitorování prostředí, pátrání a zachraňování, logistika.
Budeme-li mít mezinárodní smlouvu o robotických zbraních,
jak získáme výhody, které nabízí autonomní letouny
a vozidla, abychom ale byli stále chráněni
před ilegálními robotickými zbraněmi?
Myslím, že tajemstvím úspěchu bude transparentnost.
Žádný robot by neměl mít právo na soukromí,
pokud se pohybuje ve společnosti.
(Potlesk)
Každý robot nebo letoun by měl mít
kódované identifikační označení, vypálené v továrně,
které by ho umožnilo sledovat ve veřejných prostorách.
Už máme SPZ na autech, registrační značky na letadlech.
Tohle není nic jiného.
Každý občan by měl mít právo stáhnout si aplikaci,
která by mu ukázala populaci robotů pohybujících se
ve veřejných prostorách okolo něj,
jak v současnosti, tak v minulosti.
A veřejní činitelé by měli nasadit senzory a civilní roboty,
které by odhalovaly robotické škůdce,
a místo posílání vlastních bojovníků k jejich likvidaci,
by prostě upozornili lidi na jejich přítomnost.
V některých oblastech se zvýšenou bezpečností
by je mohli civilní roboti polapit
a odvléci na místo bezpečné likvidace.
Tady jde ale více o systém imunitní
než zbraňový.
Umožnilo by nám to využít výhod
autonomních vozidel a letounů,
a přitom si uchovat otevřenou občanskou společnost.
Musíme zakázat vývoj a nasazování
robotů-zabijáků.
Nepodlehněme pokušení automatizovat války.
Autokratické vlády a zločinecké organizace
se o to nepochybně pokusí, ale nenásledujme je.
Autonomní robotické zbraně
by soustředily příliš velkou sílu
v několika málo skrytých rukách,
což by podkopalo zastupitelskou demokracii.
Zajistěme, alespoň v demokratických režimech,
že roboti-zabijáci zůstanou fikcí.
Děkuji.
(Potlesk)
Děkuji. (Potlesk)