WEBVTT

00:00:00.691 --> 00:00:03.849
Píšu sci-fi thrillery,

00:00:03.849 --> 00:00:06.042
takže když řeknu „robot-zabiják“,

00:00:06.042 --> 00:00:08.403
pravděpodobně si představíte něco takového.

00:00:08.403 --> 00:00:10.958
Teď tu ale nechci mluvit o literatuře.

00:00:10.958 --> 00:00:13.906
Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,

00:00:13.906 --> 00:00:17.028
o autonomních bojových letounech.

NOTE Paragraph

00:00:17.028 --> 00:00:20.655
Nemyslím tím teď letadla Predator a Reaper,

00:00:20.655 --> 00:00:23.915
u kterých je to vždy člověk, kdo rozhoduje o určení cíle.

00:00:23.915 --> 00:00:27.044
Mluvím o plně autonomních robotických zbraních,

00:00:27.044 --> 00:00:29.698
které rozhodují o smrti lidských bytostí

00:00:29.698 --> 00:00:32.115
zcela samy za sebe.

00:00:32.115 --> 00:00:36.115
Dokonce pro to existuje technický pojem: smrtící autonomie.

NOTE Paragraph

00:00:36.115 --> 00:00:38.971
Tito smrtící autonomní roboti-zabijáci

00:00:38.971 --> 00:00:42.040
mají mnoho podob -- létajicí, jezdicí,

00:00:42.040 --> 00:00:44.786
anebo pouze ležicí a čekajicí.

00:00:44.786 --> 00:00:47.895
Popravdě řečeno, velice rychle se stávají realitou.

00:00:47.895 --> 00:00:50.379
Toto jsou dva automatické odstřelovací moduly

00:00:50.379 --> 00:00:54.516
momentálně nasazené v zóně mezi Severní a Jižní Koreou.

00:00:54.516 --> 00:00:56.687
Oba tyto stroje jsou schopny automaticky

00:00:56.687 --> 00:01:00.211
rozpoznat lidský cíl a vypálit na něj,

00:01:00.211 --> 00:01:04.535
ta vlevo na vzdálenost před jeden kilometr.

00:01:04.535 --> 00:01:08.124
Zatím je v obou případech stále přítomen člověk,

00:01:08.124 --> 00:01:10.496
který činí rozhodnutí o smrtícím výstřelu,

00:01:10.496 --> 00:01:15.909
to však není technologická nutnost. To je jen volba.

00:01:15.909 --> 00:01:19.002
Na tuto volbu bych se chtěl zaměřit,

00:01:19.002 --> 00:01:21.643
protože jakmile přesuneme rozhodování o usmrcení

00:01:21.643 --> 00:01:24.752
z lidí na software,

00:01:24.752 --> 00:01:28.228
riskujeme nejen ztrátu lidského prvku z války,

00:01:28.228 --> 00:01:31.754
ale rovněž kompletní změnu naší společnosti,

00:01:31.754 --> 00:01:33.978
daleko od bitevních polí.

00:01:33.978 --> 00:01:38.487
Protože to, jak lidé řeší vzájemné konflikty,

00:01:38.487 --> 00:01:40.220
formuje celkovou podobu společnosti.

00:01:40.220 --> 00:01:42.853
Tak tomu bylo vždycky v průběhu celé historie.

NOTE Paragraph

00:01:42.853 --> 00:01:45.514
Toto byly špičkové vojenské systémy

00:01:45.514 --> 00:01:47.593
patnáctého století.

00:01:47.593 --> 00:01:50.737
Byly velice náročné jak na vybudování, tak i na údržbu,

00:01:50.737 --> 00:01:53.977
ale mohli jste s nimi vládnout obyvatelstvu,

00:01:53.977 --> 00:01:57.866
což reflektovalo rozložení politické síly ve feudální společnosti.

00:01:57.866 --> 00:02:00.553
Moc byla soustředěna na samém vrcholku.

00:02:00.553 --> 00:02:04.081
Co se změnilo? Technologické inovace.

00:02:04.081 --> 00:02:05.952
Střelný prach, děla.

00:02:05.952 --> 00:02:09.769
Brzy bylo brnění i hrady zbytečné,

00:02:09.769 --> 00:02:12.302
a přestalo záležet na tom, koho jste vedli do bitvy,

00:02:12.302 --> 00:02:16.081
v porovnání s tím, kolik lidí jste tam vedli.

00:02:16.081 --> 00:02:19.719
A jak rostly armády co do počtu, začal vznikat národní stát,

00:02:19.719 --> 00:02:23.399
jako politická a logistická jednotka, nutná k obraně.

00:02:23.399 --> 00:02:25.775
A jak vůdcové začínali více záviset na obyvatelstvu,

00:02:25.775 --> 00:02:27.608
začali se dělit o moc.

00:02:27.608 --> 00:02:30.207
Začala vznikat zastupitelská forma vlády.

NOTE Paragraph

00:02:30.207 --> 00:02:33.495
Opět nástroje, kterými řešíme konflikt,

00:02:33.495 --> 00:02:36.799
utvářejí podobu společnosti.

00:02:36.799 --> 00:02:40.863
Automatické robotické zbraně jsou takovými nástroji,

00:02:40.863 --> 00:02:46.031
s tím, že jak velice málo lidí najednou musí jít do války,

00:02:46.031 --> 00:02:50.871
riskujeme přerozdělení moci do několika málo rukou,

00:02:50.871 --> 00:02:57.386
a potenciálně obracíme pětisetletý trend, 
který vedl k demokracii.

NOTE Paragraph

00:02:57.386 --> 00:02:59.143
Pokud toto víme,

00:02:59.143 --> 00:03:03.495
můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,

00:03:03.495 --> 00:03:07.474
co lidé umí nejlépe: přizpůsobením se.

00:03:07.474 --> 00:03:09.479
Ale i čas zde hraje roli.

00:03:09.479 --> 00:03:12.330
Už sedmdesát národů vyvíjí na dálku ovládané

00:03:12.330 --> 00:03:14.487
bojové letouny,

00:03:14.487 --> 00:03:17.080
a jak uvidíte, dálkově ovládané bojové letouny

00:03:17.080 --> 00:03:21.552
jsou jen předchůdci autonomních robotických zbraní.

00:03:21.552 --> 00:03:24.319
A to proto, že jakmile jste nasadili dálkově ovládané letouny,

00:03:24.319 --> 00:03:27.703
dostanete se ke třem faktorům, které tlačí rozhodování

00:03:27.703 --> 00:03:32.303
směrem od lidí přímo ke zbraňovému systému jako takovému.

NOTE Paragraph

00:03:32.303 --> 00:03:37.562
Prvním je záplava videomateriálu, které letouny produkují.

00:03:37.562 --> 00:03:41.415
V roce 2004 to v USA bylo celkem

00:03:41.415 --> 00:03:46.727
71 hodin dokumentační stopáže určené k analýze.

00:03:46.727 --> 00:03:51.226
Do roku 2011 se toto číslo zvedlo na 300 000 hodin,

00:03:51.226 --> 00:03:54.375
čímž byla překročena lidská schopnost vše revidovat,

00:03:54.375 --> 00:03:58.039
ale i toto číslo dále drasticky poroste.

00:03:58.039 --> 00:04:00.614
Vojenské programy Gorgon Stare a Argus plánují

00:04:00.614 --> 00:04:03.778
osadit na každou létající platformu

00:04:03.778 --> 00:04:05.816
až 65 samostatných očí,

00:04:05.816 --> 00:04:09.119
což znamená naprosté překročení možnosti lidského dohledu.

00:04:09.119 --> 00:04:11.279
A tedy bude třeba zavést umělou inteligenci,

00:04:11.279 --> 00:04:15.327
která bude sama hledat objekty zájmu.

00:04:15.327 --> 00:04:16.675
Tím pádem velice brzy

00:04:16.675 --> 00:04:19.422
budou roboti lidem říkat, na co se mají podívat,

00:04:19.422 --> 00:04:21.919
nikoli naopak.

NOTE Paragraph

00:04:21.919 --> 00:04:24.392
Je tu ale i druhá silná motivace pro to,

00:04:24.392 --> 00:04:27.775
aby se rozhodování přesunulo od lidí ke strojům,

00:04:27.775 --> 00:04:30.647
a tím je elektromagnetické zahlcení,

00:04:30.647 --> 00:04:32.883
které naruší komunikaci mezi letounem

00:04:32.883 --> 00:04:35.697
a jeho operátorem.

00:04:35.697 --> 00:04:38.315
To jsme mohli vidět například v roce 2011,

00:04:38.315 --> 00:04:41.271
kdy se americký letoun RQ-170 Sentinel

00:04:41.271 --> 00:04:45.578
nechal zmást nad Iránem kvůli útoku cílenému na GPS,

00:04:45.578 --> 00:04:50.692
k čemuž je náchylný každý dálkově ovládaný letoun,

00:04:50.692 --> 00:04:52.744
a to znamená, že roboti

00:04:52.744 --> 00:04:56.364
budou muset sami unést větší díl samostatného rozhodování.

00:04:56.364 --> 00:04:59.407
Budou znát cíl své mise

00:04:59.407 --> 00:05:04.252
a na nové okolnosti budou reagovat bez lidského vedení.

00:05:04.252 --> 00:05:06.833
Budou ignorovat externí radiové signály

00:05:06.833 --> 00:05:09.163
a vysílat jen velice málo vlastních.

NOTE Paragraph

00:05:09.163 --> 00:05:11.169
Což nás přivádí ke třetí

00:05:11.169 --> 00:05:15.031
a nejsilnějí motivaci, k tomu, aby bylo rozhodování

00:05:15.031 --> 00:05:18.373
přesunuto od lidí směrem ke zbraním:

00:05:18.373 --> 00:05:21.666
přesvědčivé zapírání.

00:05:21.666 --> 00:05:24.553
Žijeme teď v rámci globální ekonomiky.

00:05:24.553 --> 00:05:28.887
Na téměř každém kontinentě máme hi-tech strojírenství.

00:05:28.887 --> 00:05:31.801
Kybernetická špionáž je schopna získat pokročilé plány

00:05:31.801 --> 00:05:33.687
a přesunout je kdovíkam,

00:05:33.687 --> 00:05:35.701
kde je velice pravděpodobné,

00:05:35.701 --> 00:05:40.435
že z úspěšného plánu letounu vznikne skutečný model

00:05:40.435 --> 00:05:42.605
a začne se množit díky šedému trhu.

00:05:42.605 --> 00:05:45.065
V takové situaci, kdy budete vyšetřovat trosky

00:05:45.065 --> 00:05:48.025
po sebevražedném robotickém útoku, bude velice těžké říct,

00:05:48.025 --> 00:05:52.425
kdo tu zbraň poslal.

NOTE Paragraph

00:05:52.425 --> 00:05:55.225
Tím ale vzniká velice reálná možnost

00:05:55.225 --> 00:05:58.160
anonymní války.

00:05:58.160 --> 00:06:00.774
Tím by se geopolitická rovnováha mohla obrátit na hlavu,

00:06:00.774 --> 00:06:04.265
protože by se stát jen velice těžko mohl obrátit

00:06:04.265 --> 00:06:07.113
proti útočníkovi, a tím by se rovnováha

00:06:07.113 --> 00:06:10.877
21. století přesunula od obrany k útoku.

00:06:10.877 --> 00:06:14.001
Vojenské akce by se tím mohly stát možným řešením

00:06:14.001 --> 00:06:16.289
nejen pro malé národy,

00:06:16.289 --> 00:06:18.834
ale i pro zločinecké organizace, soukromé podniky,

00:06:18.834 --> 00:06:21.313
a dokonce i mocné jednotlivce.

00:06:21.313 --> 00:06:24.641
Mohlo by vzniknout prostředí soupeřících oligarchů,

00:06:24.641 --> 00:06:28.321
podkopávající autoritu zákona a občanskou společnost.

00:06:28.321 --> 00:06:31.937
Pokud jsou odpovědnost a transparentnost

00:06:31.937 --> 00:06:34.321
dvěma úhelnými kameny zastupitelské demokracie,

00:06:34.321 --> 00:06:38.641
autonomní robotické zbraně mohou ohrozit obojí.

NOTE Paragraph

00:06:38.641 --> 00:06:40.187
Možná byste si řekli,

00:06:40.187 --> 00:06:42.433
že občané technicky vysoce vyspělých zemí

00:06:42.433 --> 00:06:45.136
by v každé robotické válce měli výhodu,

00:06:45.136 --> 00:06:48.769
že by lidé v těchto zemích byli méně zranitelní,

00:06:48.769 --> 00:06:53.057
zejména v porovnání s rozvojovými zeměmi.

00:06:53.057 --> 00:06:56.581
Myslím, že přesný opak je pravdou.

00:06:56.581 --> 00:06:58.832
Domnívám se, že lidé v technologických společnostech

00:06:58.832 --> 00:07:02.561
jsou mnohem zranitelnější při útoku robotickými zbraněmi,

00:07:02.561 --> 00:07:07.026
a to z jednoho prostého důvodu: kvůli datům.

00:07:07.026 --> 00:07:10.507
Technologické společnosti jsou řízeny daty.

00:07:10.507 --> 00:07:13.697
Geolokace mobilních telefonů, telekomunikační metadata,

00:07:13.697 --> 00:07:17.169
sociální média, e-mail, sms, data o finančních transakcích,

00:07:17.169 --> 00:07:20.701
údaje o přepravě - to je velké bohatství dat v reálném čase,

00:07:20.701 --> 00:07:24.074
odhalujících pohyb a sociální interakce lidí.

00:07:24.074 --> 00:07:27.849
Zkrátka jsme pro stroje viditelní

00:07:27.849 --> 00:07:30.091
více než kdokoli v historii,

00:07:30.091 --> 00:07:35.707
a to skvěle vyhovuje potřebám autonomních zbraní.

NOTE Paragraph

00:07:35.707 --> 00:07:37.445
Tady vidíte mapu vazeb

00:07:37.445 --> 00:07:40.691
v rámci sociální skupiny.

00:07:40.691 --> 00:07:44.325
Čáry představují společenskou vazbu mezi jednotlivci.

00:07:44.325 --> 00:07:47.205
Tento typ map může být automaticky generován

00:07:47.205 --> 00:07:51.920
na základě datové stopy, kterou za sebou moderní lidé zanechávají.

00:07:51.920 --> 00:07:54.397
Momentálně se typicky využívá při propagaci zboží a služeb

00:07:54.397 --> 00:07:58.813
vybrané cílové skupině, ale tady jde o cílení

00:07:58.813 --> 00:08:02.173
v jiném kontextu.

00:08:02.173 --> 00:08:04.733
Vidíte, že někteří lidé jsou zvýrazněni.

00:08:04.733 --> 00:08:08.013
To jsou svorníky sociálních sítí.

00:08:08.013 --> 00:08:11.603
Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,

00:08:11.603 --> 00:08:14.285
a tito lidé mohou být také automaticky identifikováni

00:08:14.285 --> 00:08:16.667
ze svých komunikačních vzorců.

00:08:16.667 --> 00:08:18.813
Pokud pracujete v marketingu, zaměříte se na ně

00:08:18.813 --> 00:08:21.356
se vzorky produktů ve snaze šířit svoji značku

00:08:21.356 --> 00:08:24.185
v jejich sociální skupině.

00:08:24.185 --> 00:08:26.138
Pokud ovšem jste represivní vláda,

00:08:26.138 --> 00:08:30.948
která vyhledává své politické nepřátele, prostě je odstraníte,

00:08:30.948 --> 00:08:33.708
eliminujete, narušíte jejich sociální skupinu,

00:08:33.708 --> 00:08:36.877
a ti, kteří zbydou, ztratí vzájemné spojení

00:08:36.877 --> 00:08:39.498
a organizovanost.

00:08:39.498 --> 00:08:42.822
Ve světě levných, množících se robotických zbraní,

00:08:42.822 --> 00:08:45.457
nebudou už hranice poskytovat skoro žádnou ochranu

00:08:45.457 --> 00:08:47.403
kritikům vzdálených vlád

00:08:47.403 --> 00:08:51.049
nebo mezinárodních zločineckých organizací.

00:08:51.049 --> 00:08:54.542
Všeobecná hnutí volající po změně

00:08:54.542 --> 00:08:58.151
mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,

00:08:58.151 --> 00:09:01.062
než jejich myšlenky dosáhnou kritického množství.

00:09:01.062 --> 00:09:03.653
Přitom myšlenky dosahující kritického rozšíření

00:09:03.653 --> 00:09:07.589
jsou to, na čem stojí politický aktivismus běžných vlád.

00:09:07.589 --> 00:09:11.586
Anonymní smrtící zbraně by mohly učinit z usmrcování

00:09:11.586 --> 00:09:15.368
příliš snadnou volbu k řešení rozdílných zájmů.

00:09:15.368 --> 00:09:19.102
To by zmrazilo svobodu projevu

00:09:19.102 --> 00:09:24.410
a obecné politické aktivity, které jsou srdcem demokracie.

NOTE Paragraph

00:09:24.410 --> 00:09:27.324
Proto potřebujeme mezinárodní smlouvu

00:09:27.324 --> 00:09:30.864
o robotických zbraních a zejména globální zákaz

00:09:30.864 --> 00:09:34.772
vývoje a nasazení robotů-zabijáků.

00:09:34.772 --> 00:09:38.026
Už máme mezinárodní smlouvy

00:09:38.026 --> 00:09:41.412
o jaderných a biologických zbraních, které zatím, ač nedokonalé,

00:09:41.412 --> 00:09:43.700
v obecném měřítku fungují.

00:09:43.700 --> 00:09:47.468
Ale robotické zbraně mohou být úplně stejně nebezpečné,

00:09:47.468 --> 00:09:50.756
protože budou zcela jistě používány

00:09:50.756 --> 00:09:55.783
a budou rozkládat základy demokratických institucí.

NOTE Paragraph

00:09:55.783 --> 00:09:59.251
V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických

00:09:59.251 --> 00:10:01.709
direktivu, která nařizuje,

00:10:01.709 --> 00:10:06.228
aby v každém smrtícím rozhodování byl přítomen člověk.

00:10:06.228 --> 00:10:11.004
Tím jsou dočasně zakázány autonomní zbraně v armádě USA,

00:10:11.004 --> 00:10:14.757
ale tato direktiva se musí stát trvalou.

00:10:14.757 --> 00:10:19.133
Mohla by zároveň být základem pro globální jednání.

00:10:19.133 --> 00:10:22.978
Protože potřebujeme mezinárodní právní rámec

00:10:22.978 --> 00:10:25.116
pro robotické zbraně.

00:10:25.116 --> 00:10:28.044
A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku

00:10:28.044 --> 00:10:31.196
nebo k teroristické akci, po které budou státy

00:10:31.196 --> 00:10:33.120
urychleně nasazovat tyto zbraně,

00:10:33.120 --> 00:10:36.891
bez toho, aby se nejdříve promyslely následky.

00:10:36.891 --> 00:10:39.872
Autonomní robotické zbraně soustřeďují příliš mnoho moci

00:10:39.872 --> 00:10:46.155
v příliš málo rukách, čímž ohrožují samotnou demokracii.

NOTE Paragraph

00:10:46.155 --> 00:10:48.841
Nechápejte mě špatně, myslím, že je stále mnoho skvělého

00:10:48.841 --> 00:10:51.459
využití pro neozbrojené civilní roboty:

00:10:51.459 --> 00:10:55.398
monitorování prostředí, pátrání a zachraňování, logistika.

00:10:55.398 --> 00:10:58.224
Budeme-li mít mezinárodní smlouvu o robotických zbraních,

00:10:58.224 --> 00:11:01.811
jak získáme výhody, které nabízí autonomní letouny

00:11:01.811 --> 00:11:04.459
a vozidla, abychom ale byli stále chráněni

00:11:04.459 --> 00:11:08.439
před ilegálními robotickými zbraněmi?

NOTE Paragraph

00:11:08.439 --> 00:11:13.180
Myslím, že tajemstvím úspěchu bude transparentnost.

00:11:13.180 --> 00:11:16.193
Žádný robot by neměl mít právo na soukromí,

00:11:16.193 --> 00:11:19.644
pokud se pohybuje ve společnosti.

NOTE Paragraph

00:11:19.644 --> 00:11:24.692
(Potlesk)

NOTE Paragraph

00:11:24.692 --> 00:11:26.737
Každý robot nebo letoun by měl mít

00:11:26.737 --> 00:11:29.620
kódované identifikační označení, vypálené v továrně,

00:11:29.620 --> 00:11:32.543
které by ho umožnilo sledovat ve veřejných prostorách.

00:11:32.543 --> 00:11:35.924
Už máme SPZ na autech, registrační značky na letadlech.

00:11:35.924 --> 00:11:37.765
Tohle není nic jiného.

00:11:37.765 --> 00:11:39.777
Každý občan by měl mít právo stáhnout si aplikaci,

00:11:39.777 --> 00:11:42.902
která by mu ukázala populaci robotů pohybujících se

00:11:42.902 --> 00:11:45.331
ve veřejných prostorách okolo něj,

00:11:45.331 --> 00:11:48.064
jak v současnosti, tak v minulosti.

00:11:48.064 --> 00:11:51.612
A veřejní činitelé by měli nasadit senzory a civilní roboty,

00:11:51.612 --> 00:11:53.956
které by odhalovaly robotické škůdce,

00:11:53.956 --> 00:11:57.132
a místo posílání vlastních bojovníků k jejich likvidaci,

00:11:57.132 --> 00:12:00.124
by prostě upozornili lidi na jejich přítomnost.

00:12:00.124 --> 00:12:02.730
V některých oblastech se zvýšenou bezpečností

00:12:02.730 --> 00:12:04.639
by je mohli civilní roboti polapit

00:12:04.639 --> 00:12:07.480
a odvléci na místo bezpečné likvidace.

NOTE Paragraph

00:12:07.480 --> 00:12:10.507
Tady jde ale více o systém imunitní

00:12:10.507 --> 00:12:11.828
než zbraňový.

00:12:11.828 --> 00:12:14.420
Umožnilo by nám to využít výhod

00:12:14.420 --> 00:12:16.452
autonomních vozidel a letounů,

00:12:16.452 --> 00:12:20.747
a přitom si uchovat otevřenou občanskou společnost.

NOTE Paragraph

00:12:20.747 --> 00:12:23.746
Musíme zakázat vývoj a nasazování

00:12:23.746 --> 00:12:25.608
robotů-zabijáků.

00:12:25.608 --> 00:12:30.458
Nepodlehněme pokušení automatizovat války.

00:12:30.458 --> 00:12:33.176
Autokratické vlády a zločinecké organizace

00:12:33.176 --> 00:12:36.132
se o to nepochybně pokusí, ale nenásledujme je.

00:12:36.132 --> 00:12:38.023
Autonomní robotické zbraně

00:12:38.023 --> 00:12:40.074
by soustředily příliš velkou sílu

00:12:40.074 --> 00:12:42.556
v několika málo skrytých rukách,

00:12:42.556 --> 00:12:45.811
což by podkopalo zastupitelskou demokracii.

00:12:45.811 --> 00:12:48.772
Zajistěme, alespoň v demokratických režimech,

00:12:48.772 --> 00:12:51.376
že roboti-zabijáci zůstanou fikcí.

NOTE Paragraph

00:12:51.376 --> 00:12:52.486
Děkuji.

NOTE Paragraph

00:12:52.486 --> 00:12:57.051
(Potlesk)

00:12:57.051 --> 00:13:01.667
Děkuji. (Potlesk)