0:00:00.691,0:00:03.849
Píšu sci-fi thrillery,

0:00:03.849,0:00:06.042
takže když řeknu „robot-zabiják“,

0:00:06.042,0:00:08.403
pravděpodobně si představíte něco takového.

0:00:08.403,0:00:10.958
Teď tu ale nechci mluvit o literatuře.

0:00:10.958,0:00:13.906
Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,

0:00:13.906,0:00:17.028
o autonomních bojových letounech.

0:00:17.028,0:00:20.655
Nemyslím tím teď letadla Predator a Reaper,

0:00:20.655,0:00:23.915
u kterých je to vždy člověk, kdo rozhoduje o určení cíle.

0:00:23.915,0:00:27.044
Mluvím o plně autonomních robotických zbraních,

0:00:27.044,0:00:29.698
které rozhodují o smrti lidských bytostí

0:00:29.698,0:00:32.115
zcela samy za sebe.

0:00:32.115,0:00:36.115
Dokonce pro to existuje technický pojem: smrtící autonomie.

0:00:36.115,0:00:38.971
Tito smrtící autonomní roboti-zabijáci

0:00:38.971,0:00:42.040
mají mnoho podob -- létajicí, jezdicí,

0:00:42.040,0:00:44.786
anebo pouze ležicí a čekajicí.

0:00:44.786,0:00:47.895
Popravdě řečeno, velice rychle se stávají realitou.

0:00:47.895,0:00:50.379
Toto jsou dva automatické odstřelovací moduly

0:00:50.379,0:00:54.516
momentálně nasazené v zóně mezi Severní a Jižní Koreou.

0:00:54.516,0:00:56.687
Oba tyto stroje jsou schopny automaticky

0:00:56.687,0:01:00.211
rozpoznat lidský cíl a vypálit na něj,

0:01:00.211,0:01:04.535
ta vlevo na vzdálenost před jeden kilometr.

0:01:04.535,0:01:08.124
Zatím je v obou případech stále přítomen člověk,

0:01:08.124,0:01:10.496
který činí rozhodnutí o smrtícím výstřelu,

0:01:10.496,0:01:15.909
to však není technologická nutnost. To je jen volba.

0:01:15.909,0:01:19.002
Na tuto volbu bych se chtěl zaměřit,

0:01:19.002,0:01:21.643
protože jakmile přesuneme rozhodování o usmrcení

0:01:21.643,0:01:24.752
z lidí na software,

0:01:24.752,0:01:28.228
riskujeme nejen ztrátu lidského prvku z války,

0:01:28.228,0:01:31.754
ale rovněž kompletní změnu naší společnosti,

0:01:31.754,0:01:33.978
daleko od bitevních polí.

0:01:33.978,0:01:38.487
Protože to, jak lidé řeší vzájemné konflikty,

0:01:38.487,0:01:40.220
formuje celkovou podobu společnosti.

0:01:40.220,0:01:42.853
Tak tomu bylo vždycky v průběhu celé historie.

0:01:42.853,0:01:45.514
Toto byly špičkové vojenské systémy

0:01:45.514,0:01:47.593
patnáctého století.

0:01:47.593,0:01:50.737
Byly velice náročné jak na vybudování, tak i na údržbu,

0:01:50.737,0:01:53.977
ale mohli jste s nimi vládnout obyvatelstvu,

0:01:53.977,0:01:57.866
což reflektovalo rozložení politické síly ve feudální společnosti.

0:01:57.866,0:02:00.553
Moc byla soustředěna na samém vrcholku.

0:02:00.553,0:02:04.081
Co se změnilo? Technologické inovace.

0:02:04.081,0:02:05.952
Střelný prach, děla.

0:02:05.952,0:02:09.769
Brzy bylo brnění i hrady zbytečné,

0:02:09.769,0:02:12.302
a přestalo záležet na tom, koho jste vedli do bitvy,

0:02:12.302,0:02:16.081
v porovnání s tím, kolik lidí jste tam vedli.

0:02:16.081,0:02:19.719
A jak rostly armády co do počtu, začal vznikat národní stát,

0:02:19.719,0:02:23.399
jako politická a logistická jednotka, nutná k obraně.

0:02:23.399,0:02:25.775
A jak vůdcové začínali více záviset na obyvatelstvu,

0:02:25.775,0:02:27.608
začali se dělit o moc.

0:02:27.608,0:02:30.207
Začala vznikat zastupitelská forma vlády.

0:02:30.207,0:02:33.495
Opět nástroje, kterými řešíme konflikt,

0:02:33.495,0:02:36.799
utvářejí podobu společnosti.

0:02:36.799,0:02:40.863
Automatické robotické zbraně jsou takovými nástroji,

0:02:40.863,0:02:46.031
s tím, že jak velice málo lidí najednou musí jít do války,

0:02:46.031,0:02:50.871
riskujeme přerozdělení moci do několika málo rukou,

0:02:50.871,0:02:57.386
a potenciálně obracíme pětisetletý trend, [br]který vedl k demokracii.

0:02:57.386,0:02:59.143
Pokud toto víme,

0:02:59.143,0:03:03.495
můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,

0:03:03.495,0:03:07.474
co lidé umí nejlépe: přizpůsobením se.

0:03:07.474,0:03:09.479
Ale i čas zde hraje roli.

0:03:09.479,0:03:12.330
Už sedmdesát národů vyvíjí na dálku ovládané

0:03:12.330,0:03:14.487
bojové letouny,

0:03:14.487,0:03:17.080
a jak uvidíte, dálkově ovládané bojové letouny

0:03:17.080,0:03:21.552
jsou jen předchůdci autonomních robotických zbraní.

0:03:21.552,0:03:24.319
A to proto, že jakmile jste nasadili dálkově ovládané letouny,

0:03:24.319,0:03:27.703
dostanete se ke třem faktorům, které tlačí rozhodování

0:03:27.703,0:03:32.303
směrem od lidí přímo ke zbraňovému systému jako takovému.

0:03:32.303,0:03:37.562
Prvním je záplava videomateriálu, které letouny produkují.

0:03:37.562,0:03:41.415
V roce 2004 to v USA bylo celkem

0:03:41.415,0:03:46.727
71 hodin dokumentační stopáže určené k analýze.

0:03:46.727,0:03:51.226
Do roku 2011 se toto číslo zvedlo na 300 000 hodin,

0:03:51.226,0:03:54.375
čímž byla překročena lidská schopnost vše revidovat,

0:03:54.375,0:03:58.039
ale i toto číslo dále drasticky poroste.

0:03:58.039,0:04:00.614
Vojenské programy Gorgon Stare a Argus plánují

0:04:00.614,0:04:03.778
osadit na každou létající platformu

0:04:03.778,0:04:05.816
až 65 samostatných očí,

0:04:05.816,0:04:09.119
což znamená naprosté překročení možnosti lidského dohledu.

0:04:09.119,0:04:11.279
A tedy bude třeba zavést umělou inteligenci,

0:04:11.279,0:04:15.327
která bude sama hledat objekty zájmu.

0:04:15.327,0:04:16.675
Tím pádem velice brzy

0:04:16.675,0:04:19.422
budou roboti lidem říkat, na co se mají podívat,

0:04:19.422,0:04:21.919
nikoli naopak.

0:04:21.919,0:04:24.392
Je tu ale i druhá silná motivace pro to,

0:04:24.392,0:04:27.775
aby se rozhodování přesunulo od lidí ke strojům,

0:04:27.775,0:04:30.647
a tím je elektromagnetické zahlcení,

0:04:30.647,0:04:32.883
které naruší komunikaci mezi letounem

0:04:32.883,0:04:35.697
a jeho operátorem.

0:04:35.697,0:04:38.315
To jsme mohli vidět například v roce 2011,

0:04:38.315,0:04:41.271
kdy se americký letoun RQ-170 Sentinel

0:04:41.271,0:04:45.578
nechal zmást nad Iránem kvůli útoku cílenému na GPS,

0:04:45.578,0:04:50.692
k čemuž je náchylný každý dálkově ovládaný letoun,

0:04:50.692,0:04:52.744
a to znamená, že roboti

0:04:52.744,0:04:56.364
budou muset sami unést větší díl samostatného rozhodování.

0:04:56.364,0:04:59.407
Budou znát cíl své mise

0:04:59.407,0:05:04.252
a na nové okolnosti budou reagovat bez lidského vedení.

0:05:04.252,0:05:06.833
Budou ignorovat externí radiové signály

0:05:06.833,0:05:09.163
a vysílat jen velice málo vlastních.

0:05:09.163,0:05:11.169
Což nás přivádí ke třetí

0:05:11.169,0:05:15.031
a nejsilnějí motivaci, k tomu, aby bylo rozhodování

0:05:15.031,0:05:18.373
přesunuto od lidí směrem ke zbraním:

0:05:18.373,0:05:21.666
přesvědčivé zapírání.

0:05:21.666,0:05:24.553
Žijeme teď v rámci globální ekonomiky.

0:05:24.553,0:05:28.887
Na téměř každém kontinentě máme hi-tech strojírenství.

0:05:28.887,0:05:31.801
Kybernetická špionáž je schopna získat pokročilé plány

0:05:31.801,0:05:33.687
a přesunout je kdovíkam,

0:05:33.687,0:05:35.701
kde je velice pravděpodobné,

0:05:35.701,0:05:40.435
že z úspěšného plánu letounu vznikne skutečný model

0:05:40.435,0:05:42.605
a začne se množit díky šedému trhu.

0:05:42.605,0:05:45.065
V takové situaci, kdy budete vyšetřovat trosky

0:05:45.065,0:05:48.025
po sebevražedném robotickém útoku, bude velice těžké říct,

0:05:48.025,0:05:52.425
kdo tu zbraň poslal.

0:05:52.425,0:05:55.225
Tím ale vzniká velice reálná možnost

0:05:55.225,0:05:58.160
anonymní války.

0:05:58.160,0:06:00.774
Tím by se geopolitická rovnováha mohla obrátit na hlavu,

0:06:00.774,0:06:04.265
protože by se stát jen velice těžko mohl obrátit

0:06:04.265,0:06:07.113
proti útočníkovi, a tím by se rovnováha

0:06:07.113,0:06:10.877
21. století přesunula od obrany k útoku.

0:06:10.877,0:06:14.001
Vojenské akce by se tím mohly stát možným řešením

0:06:14.001,0:06:16.289
nejen pro malé národy,

0:06:16.289,0:06:18.834
ale i pro zločinecké organizace, soukromé podniky,

0:06:18.834,0:06:21.313
a dokonce i mocné jednotlivce.

0:06:21.313,0:06:24.641
Mohlo by vzniknout prostředí soupeřících oligarchů,

0:06:24.641,0:06:28.321
podkopávající autoritu zákona a občanskou společnost.

0:06:28.321,0:06:31.937
Pokud jsou odpovědnost a transparentnost

0:06:31.937,0:06:34.321
dvěma úhelnými kameny zastupitelské demokracie,

0:06:34.321,0:06:38.641
autonomní robotické zbraně mohou ohrozit obojí.

0:06:38.641,0:06:40.187
Možná byste si řekli,

0:06:40.187,0:06:42.433
že občané technicky vysoce vyspělých zemí

0:06:42.433,0:06:45.136
by v každé robotické válce měli výhodu,

0:06:45.136,0:06:48.769
že by lidé v těchto zemích byli méně zranitelní,

0:06:48.769,0:06:53.057
zejména v porovnání s rozvojovými zeměmi.

0:06:53.057,0:06:56.581
Myslím, že přesný opak je pravdou.

0:06:56.581,0:06:58.832
Domnívám se, že lidé v technologických společnostech

0:06:58.832,0:07:02.561
jsou mnohem zranitelnější při útoku robotickými zbraněmi,

0:07:02.561,0:07:07.026
a to z jednoho prostého důvodu: kvůli datům.

0:07:07.026,0:07:10.507
Technologické společnosti jsou řízeny daty.

0:07:10.507,0:07:13.697
Geolokace mobilních telefonů, telekomunikační metadata,

0:07:13.697,0:07:17.169
sociální média, e-mail, sms, data o finančních transakcích,

0:07:17.169,0:07:20.701
údaje o přepravě - to je velké bohatství dat v reálném čase,

0:07:20.701,0:07:24.074
odhalujících pohyb a sociální interakce lidí.

0:07:24.074,0:07:27.849
Zkrátka jsme pro stroje viditelní

0:07:27.849,0:07:30.091
více než kdokoli v historii,

0:07:30.091,0:07:35.707
a to skvěle vyhovuje potřebám autonomních zbraní.

0:07:35.707,0:07:37.445
Tady vidíte mapu vazeb

0:07:37.445,0:07:40.691
v rámci sociální skupiny.

0:07:40.691,0:07:44.325
Čáry představují společenskou vazbu mezi jednotlivci.

0:07:44.325,0:07:47.205
Tento typ map může být automaticky generován

0:07:47.205,0:07:51.920
na základě datové stopy, kterou za sebou moderní lidé zanechávají.

0:07:51.920,0:07:54.397
Momentálně se typicky využívá při propagaci zboží a služeb

0:07:54.397,0:07:58.813
vybrané cílové skupině, ale tady jde o cílení

0:07:58.813,0:08:02.173
v jiném kontextu.

0:08:02.173,0:08:04.733
Vidíte, že někteří lidé jsou zvýrazněni.

0:08:04.733,0:08:08.013
To jsou svorníky sociálních sítí.

0:08:08.013,0:08:11.603
Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,

0:08:11.603,0:08:14.285
a tito lidé mohou být také automaticky identifikováni

0:08:14.285,0:08:16.667
ze svých komunikačních vzorců.

0:08:16.667,0:08:18.813
Pokud pracujete v marketingu, zaměříte se na ně

0:08:18.813,0:08:21.356
se vzorky produktů ve snaze šířit svoji značku

0:08:21.356,0:08:24.185
v jejich sociální skupině.

0:08:24.185,0:08:26.138
Pokud ovšem jste represivní vláda,

0:08:26.138,0:08:30.948
která vyhledává své politické nepřátele, prostě je odstraníte,

0:08:30.948,0:08:33.708
eliminujete, narušíte jejich sociální skupinu,

0:08:33.708,0:08:36.877
a ti, kteří zbydou, ztratí vzájemné spojení

0:08:36.877,0:08:39.498
a organizovanost.

0:08:39.498,0:08:42.822
Ve světě levných, množících se robotických zbraní,

0:08:42.822,0:08:45.457
nebudou už hranice poskytovat skoro žádnou ochranu

0:08:45.457,0:08:47.403
kritikům vzdálených vlád

0:08:47.403,0:08:51.049
nebo mezinárodních zločineckých organizací.

0:08:51.049,0:08:54.542
Všeobecná hnutí volající po změně

0:08:54.542,0:08:58.151
mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,

0:08:58.151,0:09:01.062
než jejich myšlenky dosáhnou kritického množství.

0:09:01.062,0:09:03.653
Přitom myšlenky dosahující kritického rozšíření

0:09:03.653,0:09:07.589
jsou to, na čem stojí politický aktivismus běžných vlád.

0:09:07.589,0:09:11.586
Anonymní smrtící zbraně by mohly učinit z usmrcování

0:09:11.586,0:09:15.368
příliš snadnou volbu k řešení rozdílných zájmů.

0:09:15.368,0:09:19.102
To by zmrazilo svobodu projevu

0:09:19.102,0:09:24.410
a obecné politické aktivity, které jsou srdcem demokracie.

0:09:24.410,0:09:27.324
Proto potřebujeme mezinárodní smlouvu

0:09:27.324,0:09:30.864
o robotických zbraních a zejména globální zákaz

0:09:30.864,0:09:34.772
vývoje a nasazení robotů-zabijáků.

0:09:34.772,0:09:38.026
Už máme mezinárodní smlouvy

0:09:38.026,0:09:41.412
o jaderných a biologických zbraních, které zatím, ač nedokonalé,

0:09:41.412,0:09:43.700
v obecném měřítku fungují.

0:09:43.700,0:09:47.468
Ale robotické zbraně mohou být úplně stejně nebezpečné,

0:09:47.468,0:09:50.756
protože budou zcela jistě používány

0:09:50.756,0:09:55.783
a budou rozkládat základy demokratických institucí.

0:09:55.783,0:09:59.251
V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických

0:09:59.251,0:10:01.709
direktivu, která nařizuje,

0:10:01.709,0:10:06.228
aby v každém smrtícím rozhodování byl přítomen člověk.

0:10:06.228,0:10:11.004
Tím jsou dočasně zakázány autonomní zbraně v armádě USA,

0:10:11.004,0:10:14.757
ale tato direktiva se musí stát trvalou.

0:10:14.757,0:10:19.133
Mohla by zároveň být základem pro globální jednání.

0:10:19.133,0:10:22.978
Protože potřebujeme mezinárodní právní rámec

0:10:22.978,0:10:25.116
pro robotické zbraně.

0:10:25.116,0:10:28.044
A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku

0:10:28.044,0:10:31.196
nebo k teroristické akci, po které budou státy

0:10:31.196,0:10:33.120
urychleně nasazovat tyto zbraně,

0:10:33.120,0:10:36.891
bez toho, aby se nejdříve promyslely následky.

0:10:36.891,0:10:39.872
Autonomní robotické zbraně soustřeďují příliš mnoho moci

0:10:39.872,0:10:46.155
v příliš málo rukách, čímž ohrožují samotnou demokracii.

0:10:46.155,0:10:48.841
Nechápejte mě špatně, myslím, že je stále mnoho skvělého

0:10:48.841,0:10:51.459
využití pro neozbrojené civilní roboty:

0:10:51.459,0:10:55.398
monitorování prostředí, pátrání a zachraňování, logistika.

0:10:55.398,0:10:58.224
Budeme-li mít mezinárodní smlouvu o robotických zbraních,

0:10:58.224,0:11:01.811
jak získáme výhody, které nabízí autonomní letouny

0:11:01.811,0:11:04.459
a vozidla, abychom ale byli stále chráněni

0:11:04.459,0:11:08.439
před ilegálními robotickými zbraněmi?

0:11:08.439,0:11:13.180
Myslím, že tajemstvím úspěchu bude transparentnost.

0:11:13.180,0:11:16.193
Žádný robot by neměl mít právo na soukromí,

0:11:16.193,0:11:19.644
pokud se pohybuje ve společnosti.

0:11:19.644,0:11:24.692
(Potlesk)

0:11:24.692,0:11:26.737
Každý robot nebo letoun by měl mít

0:11:26.737,0:11:29.620
kódované identifikační označení, vypálené v továrně,

0:11:29.620,0:11:32.543
které by ho umožnilo sledovat ve veřejných prostorách.

0:11:32.543,0:11:35.924
Už máme SPZ na autech, registrační značky na letadlech.

0:11:35.924,0:11:37.765
Tohle není nic jiného.

0:11:37.765,0:11:39.777
Každý občan by měl mít právo stáhnout si aplikaci,

0:11:39.777,0:11:42.902
která by mu ukázala populaci robotů pohybujících se

0:11:42.902,0:11:45.331
ve veřejných prostorách okolo něj,

0:11:45.331,0:11:48.064
jak v současnosti, tak v minulosti.

0:11:48.064,0:11:51.612
A veřejní činitelé by měli nasadit senzory a civilní roboty,

0:11:51.612,0:11:53.956
které by odhalovaly robotické škůdce,

0:11:53.956,0:11:57.132
a místo posílání vlastních bojovníků k jejich likvidaci,

0:11:57.132,0:12:00.124
by prostě upozornili lidi na jejich přítomnost.

0:12:00.124,0:12:02.730
V některých oblastech se zvýšenou bezpečností

0:12:02.730,0:12:04.639
by je mohli civilní roboti polapit

0:12:04.639,0:12:07.480
a odvléci na místo bezpečné likvidace.

0:12:07.480,0:12:10.507
Tady jde ale více o systém imunitní

0:12:10.507,0:12:11.828
než zbraňový.

0:12:11.828,0:12:14.420
Umožnilo by nám to využít výhod

0:12:14.420,0:12:16.452
autonomních vozidel a letounů,

0:12:16.452,0:12:20.747
a přitom si uchovat otevřenou občanskou společnost.

0:12:20.747,0:12:23.746
Musíme zakázat vývoj a nasazování

0:12:23.746,0:12:25.608
robotů-zabijáků.

0:12:25.608,0:12:30.458
Nepodlehněme pokušení automatizovat války.

0:12:30.458,0:12:33.176
Autokratické vlády a zločinecké organizace

0:12:33.176,0:12:36.132
se o to nepochybně pokusí, ale nenásledujme je.

0:12:36.132,0:12:38.023
Autonomní robotické zbraně

0:12:38.023,0:12:40.074
by soustředily příliš velkou sílu

0:12:40.074,0:12:42.556
v několika málo skrytých rukách,

0:12:42.556,0:12:45.811
což by podkopalo zastupitelskou demokracii.

0:12:45.811,0:12:48.772
Zajistěme, alespoň v demokratických režimech,

0:12:48.772,0:12:51.376
že roboti-zabijáci zůstanou fikcí.

0:12:51.376,0:12:52.486
Děkuji.

0:12:52.486,0:12:57.051
(Potlesk)

0:12:57.051,0:13:01.667
Děkuji. (Potlesk)