1
00:00:00,691 --> 00:00:03,849
Píšu sci-fi thrillery,

2
00:00:03,849 --> 00:00:06,042
takže když řeknu „robot-zabiják“,

3
00:00:06,042 --> 00:00:08,403
pravděpodobně si představíte něco takového.

4
00:00:08,403 --> 00:00:10,958
Teď tu ale nechci mluvit o literatuře.

5
00:00:10,958 --> 00:00:13,906
Jsem tu, abych s vámi mluvil o skutečných robotech-zabijácích,

6
00:00:13,906 --> 00:00:17,028
o autonomních bojových letounech.

7
00:00:17,028 --> 00:00:20,655
Nemyslím tím teď letadla Predator a Reaper,

8
00:00:20,655 --> 00:00:23,915
u kterých je to vždy člověk, kdo rozhoduje o určení cíle.

9
00:00:23,915 --> 00:00:27,044
Mluvím o plně autonomních robotických zbraních,

10
00:00:27,044 --> 00:00:29,698
které rozhodují o smrti lidských bytostí

11
00:00:29,698 --> 00:00:32,115
zcela samy za sebe.

12
00:00:32,115 --> 00:00:36,115
Dokonce pro to existuje technický pojem: smrtící autonomie.

13
00:00:36,115 --> 00:00:38,971
Tito smrtící autonomní roboti-zabijáci

14
00:00:38,971 --> 00:00:42,040
mají mnoho podob – létajicí, jezdicí,

15
00:00:42,040 --> 00:00:44,786
anebo pouze ležicí a čekajicí.

16
00:00:44,786 --> 00:00:47,895
Popravdě řečeno, velice rychle se stávají realitou.

17
00:00:47,895 --> 00:00:50,379
Toto jsou dva automatické odstřelovací moduly

18
00:00:50,379 --> 00:00:54,516
momentálně nasazené v zóně mezi Severní a Jižní Koreou.

19
00:00:54,516 --> 00:00:56,687
Oba tyto stroje jsou schopny automaticky

20
00:00:56,687 --> 00:01:00,211
rozpoznat lidský cíl a vypálit na něj,

21
00:01:00,211 --> 00:01:04,535
ta vlevo na vzdálenost před jeden kilometr.

22
00:01:04,535 --> 00:01:08,124
Zatím je v obou případech stále přítomen člověk,

23
00:01:08,124 --> 00:01:10,496
který činí rozhodnutí o smrtícím výstřelu,

24
00:01:10,496 --> 00:01:15,909
to však není technologická nutnost. To je jen volba.

25
00:01:15,909 --> 00:01:19,002
Na tuto volbu bych se chtěl zaměřit,

26
00:01:19,002 --> 00:01:21,643
protože jakmile přesuneme rozhodování o usmrcení

27
00:01:21,643 --> 00:01:24,752
z lidí na software,

28
00:01:24,752 --> 00:01:28,228
riskujeme nejen ztrátu lidského prvku z války,

29
00:01:28,228 --> 00:01:31,754
ale rovněž kompletní změnu naší společnosti,

30
00:01:31,754 --> 00:01:33,978
daleko od bitevních polí.

31
00:01:33,978 --> 00:01:38,487
Protože to, jak lidé řeší vzájemné konflikty,

32
00:01:38,487 --> 00:01:40,220
formuje celkovou podobu společnosti.

33
00:01:40,220 --> 00:01:42,853
Tak tomu bylo vždycky v průběhu celé historie.

34
00:01:42,853 --> 00:01:45,514
Toto byly špičkové vojenské systémy

35
00:01:45,514 --> 00:01:47,593
patnáctého století.

36
00:01:47,593 --> 00:01:50,737
Byly velice náročné jak na vybudování, tak i na údržbu,

37
00:01:50,737 --> 00:01:53,977
ale mohli jste s nimi vládnout obyvatelstvu,

38
00:01:53,977 --> 00:01:57,866
což reflektovalo rozložení politické síly ve feudální společnosti.

39
00:01:57,866 --> 00:02:00,553
Moc byla soustředěna na samém vrcholku.

40
00:02:00,553 --> 00:02:04,081
Co se změnilo? Technologické inovace.

41
00:02:04,081 --> 00:02:05,952
Střelný prach, děla.

42
00:02:05,952 --> 00:02:09,769
Brzy bylo brnění i hrady zbytečné,

43
00:02:09,769 --> 00:02:12,302
a přestalo záležet na tom, koho jste vedli do bitvy,

44
00:02:12,302 --> 00:02:16,081
v porovnání s tím, kolik lidí jste tam vedli.

45
00:02:16,081 --> 00:02:19,719
A jak rostly armády co do počtu, začal vznikat národní stát,

46
00:02:19,719 --> 00:02:23,399
jako politická a logistická jednotka, nutná k obraně.

47
00:02:23,399 --> 00:02:25,775
A jak vůdcové začínali více záviset na obyvatelstvu,

48
00:02:25,775 --> 00:02:27,608
začali se dělit o moc.

49
00:02:27,608 --> 00:02:30,207
Začala vznikat zastupitelská forma vlády.

50
00:02:30,207 --> 00:02:33,495
Opět nástroje, kterými řešíme konflikt,

51
00:02:33,495 --> 00:02:36,799
utvářejí podobu společnosti.

52
00:02:36,799 --> 00:02:40,863
Automatické robotické zbraně jsou takovými nástroji,

53
00:02:40,863 --> 00:02:46,031
s tím, že jak velice málo lidí najednou musí jít do války,

54
00:02:46,031 --> 00:02:50,871
riskujeme přerozdělení moci do několika málo rukou,

55
00:02:50,871 --> 00:02:57,386
a potenciálně obracíme pětisetletý trend, 
který vedl k demokracii.

56
00:02:57,386 --> 00:02:59,143
Pokud toto víme,

57
00:02:59,143 --> 00:03:03,495
můžeme podniknout rozhodující kroky k uchování demokratických institucí tím,

58
00:03:03,495 --> 00:03:07,474
co lidé umí nejlépe: přizpůsobením se.

59
00:03:07,474 --> 00:03:09,479
Ale i čas zde hraje roli.

60
00:03:09,479 --> 00:03:12,330
Už sedmdesát národů vyvíjí na dálku ovládané

61
00:03:12,330 --> 00:03:14,487
bojové letouny,

62
00:03:14,487 --> 00:03:17,080
a jak uvidíte, dálkově ovládané bojové letouny

63
00:03:17,080 --> 00:03:21,552
jsou jen předchůdci autonomních robotických zbraní.

64
00:03:21,552 --> 00:03:24,319
A to proto, že jakmile jste nasadili dálkově ovládané letouny,

65
00:03:24,319 --> 00:03:27,703
dostanete se ke třem faktorům, které tlačí rozhodování

66
00:03:27,703 --> 00:03:32,303
směrem od lidí přímo ke zbraňovému systému jako takovému.

67
00:03:32,303 --> 00:03:37,562
Prvním je záplava videomateriálu, které letouny produkují.

68
00:03:37,562 --> 00:03:41,415
V roce 2004 to v USA bylo celkem

69
00:03:41,415 --> 00:03:46,727
71 hodin dokumentační stopáže určené k analýze.

70
00:03:46,727 --> 00:03:51,226
Do roku 2011 se toto číslo zvedlo na 300 000 hodin,

71
00:03:51,226 --> 00:03:54,375
čímž byla překročena lidská schopnost vše revidovat,

72
00:03:54,375 --> 00:03:58,039
ale i toto číslo dále drasticky poroste.

73
00:03:58,039 --> 00:04:00,614
Vojenské programy Gorgon Stare a Argus plánují

74
00:04:00,614 --> 00:04:03,778
osadit na každou létající platformu

75
00:04:03,778 --> 00:04:05,816
až 65 samostatných očí,

76
00:04:05,816 --> 00:04:09,119
což znamená naprosté překročení možnosti lidského dohledu.

77
00:04:09,119 --> 00:04:11,279
A tedy bude třeba zavést umělou inteligenci,

78
00:04:11,279 --> 00:04:15,327
která bude sama hledat objekty zájmu.

79
00:04:15,327 --> 00:04:16,675
Tím pádem velice brzy

80
00:04:16,675 --> 00:04:19,422
budou roboti lidem říkat, na co se mají podívat,

81
00:04:19,422 --> 00:04:21,919
nikoli naopak.

82
00:04:21,919 --> 00:04:24,392
Je tu ale i druhá silná motivace pro to,

83
00:04:24,392 --> 00:04:27,775
aby se rozhodování přesunulo od lidí ke strojům,

84
00:04:27,775 --> 00:04:30,647
a tím je elektromagnetické zahlcení,

85
00:04:30,647 --> 00:04:32,883
které naruší komunikaci mezi letounem

86
00:04:32,883 --> 00:04:35,697
a jeho operátorem.

87
00:04:35,697 --> 00:04:38,315
To jsme mohli vidět například v roce 2011,

88
00:04:38,315 --> 00:04:41,271
kdy se americký letoun RQ-170 Sentinel

89
00:04:41,271 --> 00:04:45,578
nechal zmást nad Iránem kvůli útoku cílenému na GPS,

90
00:04:45,578 --> 00:04:50,692
k čemuž je náchylný každý dálkově ovládaný letoun,

91
00:04:50,692 --> 00:04:52,744
a to znamená, že roboti

92
00:04:52,744 --> 00:04:56,364
budou muset sami unést větší díl samostatného rozhodování.

93
00:04:56,364 --> 00:04:59,407
Budou znát cíl své mise

94
00:04:59,407 --> 00:05:04,252
a na nové okolnosti budou reagovat bez lidského vedení.

95
00:05:04,252 --> 00:05:06,833
Budou ignorovat externí radiové signály

96
00:05:06,833 --> 00:05:09,163
a vysílat jen velice málo vlastních.

97
00:05:09,163 --> 00:05:11,169
Což nás přivádí ke třetí

98
00:05:11,169 --> 00:05:15,031
a nejsilnějí motivaci, k tomu, aby bylo rozhodování

99
00:05:15,031 --> 00:05:18,373
přesunuto od lidí směrem ke zbraním:

100
00:05:18,373 --> 00:05:21,666
přesvědčivé zapírání.

101
00:05:21,666 --> 00:05:24,553
Žijeme teď v rámci globální ekonomiky.

102
00:05:24,553 --> 00:05:28,887
Na téměř každém kontinentě máme hi-tech strojírenství.

103
00:05:28,887 --> 00:05:31,801
Kybernetická špionáž je schopna získat pokročilé plány

104
00:05:31,801 --> 00:05:33,687
a přesunout je kdovíkam,

105
00:05:33,687 --> 00:05:35,701
kde je velice pravděpodobné,

106
00:05:35,701 --> 00:05:40,435
že z úspěšného plánu letounu vznikne skutečný model

107
00:05:40,435 --> 00:05:42,605
a začne se množit díky šedému trhu.

108
00:05:42,605 --> 00:05:45,065
V takové situaci, kdy budete vyšetřovat trosky

109
00:05:45,065 --> 00:05:48,025
po sebevražedném robotickém útoku, bude velice těžké říct,

110
00:05:48,025 --> 00:05:52,425
kdo tu zbraň poslal.

111
00:05:52,425 --> 00:05:55,225
Tím ale vzniká velmi reálná možnost

112
00:05:55,225 --> 00:05:58,160
anonymní války.

113
00:05:58,160 --> 00:06:00,774
Tím by se geopolitická rovnováha mohla obrátit na hlavu,

114
00:06:00,774 --> 00:06:04,265
protože by se stát jen velice těžko mohl obrátit

115
00:06:04,265 --> 00:06:07,113
proti útočníkovi, a tím by se rovnováha

116
00:06:07,113 --> 00:06:10,877
21. století přesunula od obrany k útoku.

117
00:06:10,877 --> 00:06:14,001
Vojenské akce by se tím mohly stát možným řešením

118
00:06:14,001 --> 00:06:16,289
nejen pro malé národy,

119
00:06:16,289 --> 00:06:18,834
ale i pro zločinecké organizace, soukromé podniky,

120
00:06:18,834 --> 00:06:21,313
a dokonce i mocné jednotlivce.

121
00:06:21,313 --> 00:06:24,641
Mohlo by vzniknout prostředí soupeřících oligarchů,

122
00:06:24,641 --> 00:06:28,321
podkopávající autoritu zákona a občanskou společnost.

123
00:06:28,321 --> 00:06:31,937
Pokud jsou odpovědnost a transparentnost

124
00:06:31,937 --> 00:06:34,321
dvěma úhelnými kameny zastupitelské demokracie,

125
00:06:34,321 --> 00:06:38,641
autonomní robotické zbraně mohou ohrozit obojí.

126
00:06:38,641 --> 00:06:40,187
Možná byste si řekli,

127
00:06:40,187 --> 00:06:42,433
že občané technicky vysoce vyspělých zemí

128
00:06:42,433 --> 00:06:45,136
by v každé robotické válce měli výhodu,

129
00:06:45,136 --> 00:06:48,769
že by lidé v těchto zemích byli méně zranitelní,

130
00:06:48,769 --> 00:06:53,057
zejména v porovnání s rozvojovými zeměmi.

131
00:06:53,057 --> 00:06:56,581
Myslím, že přesný opak je pravdou.

132
00:06:56,581 --> 00:06:58,832
Domnívám se, že lidé v technologických společnostech

133
00:06:58,832 --> 00:07:02,561
jsou mnohem zranitelnější při útoku robotickými zbraněmi,

134
00:07:02,561 --> 00:07:07,026
a to z jednoho prostého důvodu: kvůli datům.

135
00:07:07,026 --> 00:07:10,507
Technologické společnosti jsou řízeny daty.

136
00:07:10,507 --> 00:07:13,697
Geolokace mobilních telefonů, telekomunikační metadata,

137
00:07:13,697 --> 00:07:17,169
sociální média, e-mail, sms, data o finančních transakcích,

138
00:07:17,169 --> 00:07:20,701
údaje o přepravě - to je velké bohatství dat v reálném čase,

139
00:07:20,701 --> 00:07:24,074
odhalujících pohyb a sociální interakce lidí.

140
00:07:24,074 --> 00:07:27,849
Zkrátka jsme pro stroje viditelní

141
00:07:27,849 --> 00:07:30,091
více než kdokoli v historii,

142
00:07:30,091 --> 00:07:35,707
a to skvěle vyhovuje potřebám autonomních zbraní.

143
00:07:35,707 --> 00:07:37,445
Tady vidíte mapu vazeb

144
00:07:37,445 --> 00:07:40,691
v rámci sociální skupiny.

145
00:07:40,691 --> 00:07:44,325
Čáry představují společenskou vazbu mezi jednotlivci.

146
00:07:44,325 --> 00:07:47,205
Tento typ map může být automaticky generován

147
00:07:47,205 --> 00:07:51,920
na základě datové stopy, kterou za sebou moderní lidé zanechávají.

148
00:07:51,920 --> 00:07:54,397
Momentálně se typicky využívá při propagaci zboží a služeb

149
00:07:54,397 --> 00:07:58,813
vybrané cílové skupině, ale tady jde o cílení

150
00:07:58,813 --> 00:08:02,173
v jiném kontextu.

151
00:08:02,173 --> 00:08:04,733
Vidíte, že někteří lidé jsou zvýrazněni.

152
00:08:04,733 --> 00:08:08,013
To jsou svorníky sociálních sítí.

153
00:08:08,013 --> 00:08:11,603
Jsou to organizátoři, tvůrci veřejného mínění, vůdčí osoby,

154
00:08:11,603 --> 00:08:14,285
a tito lidé mohou být také automaticky identifikováni

155
00:08:14,285 --> 00:08:16,667
ze svých komunikačních vzorců.

156
00:08:16,667 --> 00:08:18,813
Pokud pracujete v marketingu, zaměříte se na ně

157
00:08:18,813 --> 00:08:21,356
se vzorky produktů ve snaze šířit svoji značku

158
00:08:21,356 --> 00:08:24,185
v jejich sociální skupině.

159
00:08:24,185 --> 00:08:26,138
Pokud ovšem jste represivní vláda,

160
00:08:26,138 --> 00:08:30,948
která vyhledává své politické nepřátele, prostě je odstraníte,

161
00:08:30,948 --> 00:08:33,708
eliminujete, narušíte jejich sociální skupinu,

162
00:08:33,708 --> 00:08:36,877
a ti, kteří zbydou, ztratí vzájemné spojení

163
00:08:36,877 --> 00:08:39,498
a organizovanost.

164
00:08:39,498 --> 00:08:42,822
Ve světě levných, množících se robotických zbraní,

165
00:08:42,822 --> 00:08:45,457
nebudou už hranice poskytovat skoro žádnou ochranu

166
00:08:45,457 --> 00:08:47,403
kritikům vzdálených vlád

167
00:08:47,403 --> 00:08:51,049
nebo mezinárodních zločineckých organizací.

168
00:08:51,049 --> 00:08:54,542
Všeobecná hnutí volající po změně

169
00:08:54,542 --> 00:08:58,151
mohou být detekována včas a jejich vůdčí osobnosti eliminovány dříve,

170
00:08:58,151 --> 00:09:01,062
než jejich myšlenky dosáhnou kritického množství.

171
00:09:01,062 --> 00:09:03,653
Přitom myšlenky dosahující kritického rozšíření

172
00:09:03,653 --> 00:09:07,589
jsou to, na čem stojí politický aktivismus běžných vlád.

173
00:09:07,589 --> 00:09:11,586
Anonymní smrtící zbraně by mohly učinit z usmrcování

174
00:09:11,586 --> 00:09:15,368
příliš snadnou volbu k řešení rozdílných zájmů.

175
00:09:15,368 --> 00:09:19,102
To by zmrazilo svobodu projevu

176
00:09:19,102 --> 00:09:24,410
a obecné politické aktivity, které jsou srdcem demokracie.

177
00:09:24,410 --> 00:09:27,324
Proto potřebujeme mezinárodní smlouvu

178
00:09:27,324 --> 00:09:30,864
o robotických zbraních a zejména globální zákaz

179
00:09:30,864 --> 00:09:34,772
vývoje a nasazení robotů-zabijáků.

180
00:09:34,772 --> 00:09:38,026
Už máme mezinárodní smlouvy

181
00:09:38,026 --> 00:09:41,412
o jaderných a biologických zbraních, které zatím, ač nedokonalé,

182
00:09:41,412 --> 00:09:43,700
v obecném měřítku fungují.

183
00:09:43,700 --> 00:09:47,468
Ale robotické zbraně mohou být úplně stejně nebezpečné,

184
00:09:47,468 --> 00:09:50,756
protože budou zcela jistě používány

185
00:09:50,756 --> 00:09:55,783
a budou rozkládat základy demokratických institucí.

186
00:09:55,783 --> 00:09:59,251
V listopadu 2012 vydalo Ministerstvo obrany Spojených států amerických

187
00:09:59,251 --> 00:10:01,709
direktivu, která nařizuje,

188
00:10:01,709 --> 00:10:06,228
aby v každém smrtícím rozhodování byl přítomen člověk.

189
00:10:06,228 --> 00:10:11,004
Tím jsou dočasně zakázány autonomní zbraně v armádě USA,

190
00:10:11,004 --> 00:10:14,757
ale tato direktiva se musí stát trvalou.

191
00:10:14,757 --> 00:10:19,133
Mohla by zároveň být základem pro globální jednání.

192
00:10:19,133 --> 00:10:22,978
Protože potřebujeme mezinárodní právní rámec

193
00:10:22,978 --> 00:10:25,116
pro robotické zbraně.

194
00:10:25,116 --> 00:10:28,044
A potřebujeme ho teď, před tím, než dojde k devastujícímu útoku

195
00:10:28,044 --> 00:10:31,196
nebo k teroristické akci, po které budou státy

196
00:10:31,196 --> 00:10:33,120
urychleně nasazovat tyto zbraně,

197
00:10:33,120 --> 00:10:36,891
bez toho, aby se nejdříve promyslely následky.

198
00:10:36,891 --> 00:10:39,872
Autonomní robotické zbraně soustřeďují příliš mnoho moci

199
00:10:39,872 --> 00:10:46,155
v příliš málo rukách, čímž ohrožují samotnou demokracii.

200
00:10:46,155 --> 00:10:48,841
Nechápejte mě špatně, myslím, že je stále mnoho skvělého

201
00:10:48,841 --> 00:10:51,459
využití pro neozbrojené civilní roboty:

202
00:10:51,459 --> 00:10:55,398
monitorování prostředí, pátrání a zachraňování, logistika.

203
00:10:55,398 --> 00:10:58,224
Budeme-li mít mezinárodní smlouvu o robotických zbraních,

204
00:10:58,224 --> 00:11:01,811
jak získáme výhody, které nabízí autonomní letouny

205
00:11:01,811 --> 00:11:04,459
a vozidla, abychom ale byli stále chráněni

206
00:11:04,459 --> 00:11:08,439
před ilegálními robotickými zbraněmi?

207
00:11:08,439 --> 00:11:13,180
Myslím, že tajemstvím úspěchu bude transparentnost.

208
00:11:13,180 --> 00:11:16,193
Žádný robot by neměl mít právo na soukromí,

209
00:11:16,193 --> 00:11:19,644
pokud se pohybuje ve společnosti.

210
00:11:19,644 --> 00:11:24,692
(Potlesk)

211
00:11:24,692 --> 00:11:26,737
Každý robot nebo letoun by měl mít

212
00:11:26,737 --> 00:11:29,620
kódované identifikační označení, vypálené v továrně,

213
00:11:29,620 --> 00:11:32,543
které by ho umožnilo sledovat ve veřejných prostorách.

214
00:11:32,543 --> 00:11:35,924
Už máme SPZ na autech, registrační značky na letadlech.

215
00:11:35,924 --> 00:11:37,765
Tohle není nic jiného.

216
00:11:37,765 --> 00:11:39,777
Každý občan by měl mít právo stáhnout si aplikaci,

217
00:11:39,777 --> 00:11:42,902
která by mu ukázala populaci robotů pohybujících se

218
00:11:42,902 --> 00:11:45,331
ve veřejných prostorách okolo něj,

219
00:11:45,331 --> 00:11:48,064
jak v současnosti, tak v minulosti.

220
00:11:48,064 --> 00:11:51,612
A veřejní činitelé by měli nasadit senzory a civilní roboty,

221
00:11:51,612 --> 00:11:53,956
které by odhalovaly robotické škůdce,

222
00:11:53,956 --> 00:11:57,132
a místo posílání vlastních bojovníků k jejich likvidaci,

223
00:11:57,132 --> 00:12:00,124
by prostě upozornili lidi na jejich přítomnost.

224
00:12:00,124 --> 00:12:02,730
V některých oblastech se zvýšenou bezpečností

225
00:12:02,730 --> 00:12:04,639
by je mohli civilní roboti polapit

226
00:12:04,639 --> 00:12:07,480
a odvléci na místo bezpečné likvidace.

227
00:12:07,480 --> 00:12:10,507
Tady jde ale více o systém imunitní

228
00:12:10,507 --> 00:12:11,828
než zbraňový.

229
00:12:11,828 --> 00:12:14,420
Umožnilo by nám to využít výhod

230
00:12:14,420 --> 00:12:16,452
autonomních vozidel a letounů,

231
00:12:16,452 --> 00:12:20,747
a přitom si uchovat otevřenou občanskou společnost.

232
00:12:20,747 --> 00:12:23,746
Musíme zakázat vývoj a nasazování

233
00:12:23,746 --> 00:12:25,608
robotů-zabijáků.

234
00:12:25,608 --> 00:12:30,458
Nepodlehněme pokušení automatizovat války.

235
00:12:30,458 --> 00:12:33,176
Autokratické vlády a zločinecké organizace

236
00:12:33,176 --> 00:12:36,132
se o to nepochybně pokusí, ale nenásledujme je.

237
00:12:36,132 --> 00:12:38,023
Autonomní robotické zbraně

238
00:12:38,023 --> 00:12:40,074
by soustředily příliš velkou sílu

239
00:12:40,074 --> 00:12:42,556
v několika málo skrytých rukách,

240
00:12:42,556 --> 00:12:45,811
což by podkopalo zastupitelskou demokracii.

241
00:12:45,811 --> 00:12:48,772
Zajistěme, alespoň v demokratických režimech,

242
00:12:48,772 --> 00:12:51,376
že roboti-zabijáci zůstanou fikcí.

243
00:12:51,376 --> 00:12:52,486
Děkuji.

244
00:12:52,486 --> 00:12:57,051
(Potlesk)

245
00:12:57,051 --> 00:13:01,667
Děkuji. (Potlesk)