1
00:00:00,691 --> 00:00:03,849
Sci-fi thrillereket írok,

2
00:00:03,849 --> 00:00:06,042
úgyhogy mikor azt mondom, "gyilkos robotok,"

3
00:00:06,042 --> 00:00:08,403
valószínűleg ilyesmire gondoltok.

4
00:00:08,403 --> 00:00:10,958
De igazából most nem fikcióról akarok beszélni.

5
00:00:10,958 --> 00:00:13,906
Igazi gyilkos robotokról fogok beszélni,

6
00:00:13,906 --> 00:00:17,028
önálló harci drónokról.

7
00:00:17,028 --> 00:00:20,655
Nem a Predator vagy Reaper drónokra gondolok,

8
00:00:20,655 --> 00:00:23,915
amikor egy ember hozza meg a döntést a célokról.

9
00:00:23,915 --> 00:00:27,044
Teljesen önálló robotfegyverekről beszélek,

10
00:00:27,044 --> 00:00:29,698
amik halálos döntéseket hoznak emberi lényekről,

11
00:00:29,698 --> 00:00:32,115
önmaguktól.

12
00:00:32,115 --> 00:00:36,115
Van erre egy technikai kifejezés: gyilkolási autonómia.

13
00:00:36,115 --> 00:00:38,971
Szóval az öldöklésről önállóan dönteni képes, gyilkos robotok

14
00:00:38,971 --> 00:00:42,040
sokféle formát ölthetnek -- repülhetnek, vezethetnek,

15
00:00:42,040 --> 00:00:44,786
vagy csak várakozhatnak.

16
00:00:44,786 --> 00:00:47,895
És igazából egyre gyorsabban válnak valóságossá.

17
00:00:47,895 --> 00:00:50,379
Ez két automata orvlövész-állomás

18
00:00:50,379 --> 00:00:54,516
amik jelen pillanatban az Észak- és Dél-Korea közti demilitarizált övezetben vannak hadrendbe állítva.

19
00:00:54,516 --> 00:00:56,687
Mindkét gép képes automatikusan felismerni

20
00:00:56,687 --> 00:01:00,211
egy emberi célpontot és lőni rá,

21
00:01:00,211 --> 00:01:04,535
a bal oldali egy kilométeresnél nagyobb távolságra is.

22
00:01:04,535 --> 00:01:08,124
Mindkét esetben van még egy ember

23
00:01:08,124 --> 00:01:10,496
aki meghozza a halálos tűzparancsra vonatkozó döntést,

24
00:01:10,496 --> 00:01:15,909
de ez nem technológiai elvárás. Csak egy döntés.

25
00:01:15,909 --> 00:01:19,002
Erre a döntésre szeretnék fókuszálni,

26
00:01:19,002 --> 00:01:21,643
mert ahogy a halálos döntéshozatalt átruházzuk

27
00:01:21,643 --> 00:01:24,752
az emberekről a szoftverekre,

28
00:01:24,752 --> 00:01:28,228
nem csak kivonjuk az emberi tényezőt a háborúból,

29
00:01:28,228 --> 00:01:31,754
de megváltoztatjuk a teljes szociális térképet,

30
00:01:31,754 --> 00:01:33,978
a harcmezőktől messze.

31
00:01:33,978 --> 00:01:38,487
Azért, mert ahogy az emberek megoldják a konfliktusokat

32
00:01:38,487 --> 00:01:40,220
meghatározza a szociális térképet.

33
00:01:40,220 --> 00:01:42,853
Ez mindig így volt, az egész történelem során.

34
00:01:42,853 --> 00:01:45,514
Például ezek voltak a legmodernebb fegyverrendszerek

35
00:01:45,514 --> 00:01:47,593
időszámításunk után 1400-ban.

36
00:01:47,593 --> 00:01:50,737
Ezeket drága volt megépíteni és fenntartani,

37
00:01:50,737 --> 00:01:53,977
de uralhatták velük a népességet,

38
00:01:53,977 --> 00:01:57,866
és a politikai erő megoszlása a feudális rendszerekben bemutatja ezt.

39
00:01:57,866 --> 00:02:00,553
A hatalom a társadalom csúcsán összpontosult.

40
00:02:00,553 --> 00:02:04,081
És mi változott? Technológiai innováció.

41
00:02:04,081 --> 00:02:05,952
Puskapor, ágyúk.

42
00:02:05,952 --> 00:02:09,769
És nemsokára a páncélok és kastélyok feleslegessé váltak,

43
00:02:09,769 --> 00:02:12,302
kevésbé számított, hogy kit vittél a harcmezőre,

44
00:02:12,302 --> 00:02:16,081
mint hogy hány embert vittél oda.

45
00:02:16,081 --> 00:02:19,719
Ahogy a hadseregek számban nőttek, kiemelkedett a nemzetállam,

46
00:02:19,719 --> 00:02:23,399
mint a védekezés politikai és logisztikai feltétele.

47
00:02:23,399 --> 00:02:25,775
Ahogy a vezetők egyre inkább rászorultak a népességre,

48
00:02:25,775 --> 00:02:27,608
elkezdték megosztani a hatalmat.

49
00:02:27,608 --> 00:02:30,207
Kialakult a képviseleti kormányzás.

50
00:02:30,207 --> 00:02:33,495
Ismételten, az eszközök amivel megoldjuk a konfliktusokat

51
00:02:33,495 --> 00:02:36,799
befolyásolják a szociális térképet.

52
00:02:36,799 --> 00:02:40,863
Az önálló robotfegyverek is ilyen eszközök,

53
00:02:40,863 --> 00:02:46,031
azzal a kivétellel, hogy kevesebb embernek kell harcba vonulnia,

54
00:02:46,031 --> 00:02:50,871
így megkockáztatják a hatalom néhány kézbe való recentralizációját,

55
00:02:50,871 --> 00:02:57,386
potenciálisan visszafordítva egy ötévszázados trendet a demokrácia felé.

56
00:02:57,386 --> 00:02:59,143
Most, azt hiszem, ennek ismeretében

57
00:02:59,143 --> 00:03:03,495
megtehetünk bizonyos döntő lépéseket, hogy megőrizzük a demokratikus intézményeinket,

58
00:03:03,495 --> 00:03:07,474
hogy megtegyük, amihez legjobban értünk, alkalmazkodjunk.

59
00:03:07,474 --> 00:03:09,479
De az idő is kérdés.

60
00:03:09,479 --> 00:03:12,330
Hetven nemzet fejleszt távolról irányítható

61
00:03:12,330 --> 00:03:14,487
harci drónokat,

62
00:03:14,487 --> 00:03:17,080
és mint látják, a távolról irányítható harci drónok

63
00:03:17,080 --> 00:03:21,552
az előfutárai az önálló robotfegyvereknek.

64
00:03:21,552 --> 00:03:24,319
Azért, mert ha egyszer bevetetted a távolról irányítható drónokat,

65
00:03:24,319 --> 00:03:27,703
három erős faktor is próbálja eltávolítani

66
00:03:27,703 --> 00:03:32,303
a döntéshozatalt az emberektől és átadni a fegyveres platformnak.

67
00:03:32,303 --> 00:03:37,562
Az első az a videóáradat, amit ezek a drónok termelnek.

68
00:03:37,562 --> 00:03:41,415
Példának okáért 2004-ben az USA drónflottája

69
00:03:41,415 --> 00:03:46,727
összesen 71 órányi videófelderítést készített analízis céljára.

70
00:03:46,727 --> 00:03:51,226
2011-re ez felment 300 000 órára,

71
00:03:51,226 --> 00:03:54,375
felülmúlva az emberek képességét arra, hogy mindezt átnézzék,

72
00:03:54,375 --> 00:03:58,039
de ez a szám is drasztikusan növekszik.

73
00:03:58,039 --> 00:04:00,614
A Pentagon Gorgói Szem és Árgus programjai

74
00:04:00,614 --> 00:04:03,778
több mint 65 önállóan működő kameraszemet helyez fel

75
00:04:03,778 --> 00:04:05,816
ezekre a drónplatformokra,

76
00:04:05,816 --> 00:04:09,119
és ez jóval túllépi az emberi képességeket a videók megnézésére.

77
00:04:09,119 --> 00:04:11,279
Ez azt jelenti, hogy vizuális intelligenciaszoftvernek kell

78
00:04:11,279 --> 00:04:15,327
alaposan átnéznie fontos részek után kutatva.

79
00:04:15,327 --> 00:04:16,675
És ez azt jelenti, hogy hamarosan

80
00:04:16,675 --> 00:04:19,422
a drónok mondják meg az embereknek, mit kell nézni,

81
00:04:19,422 --> 00:04:21,919
nem fordítva.

82
00:04:21,919 --> 00:04:24,392
A második fontos ösztönző ami a döntéshozatalt elvenné

83
00:04:24,392 --> 00:04:27,775
az emberektől és a gépeknek adná,

84
00:04:27,775 --> 00:04:30,647
az az elektromágneses zavarás,

85
00:04:30,647 --> 00:04:32,883
ami rontja a kapcsolatot a drón

86
00:04:32,883 --> 00:04:35,697
és az operátor között.

87
00:04:35,697 --> 00:04:38,315
Láttunk erre példát 2011-ben

88
00:04:38,315 --> 00:04:41,271
mikor az amerikai RQ-170 Sentinel drón

89
00:04:41,271 --> 00:04:45,578
összezavarodott Irán fölött egy GPS-hamisító támadás miatt,

90
00:04:45,578 --> 00:04:50,692
de bármilyen távolról irányított drón ki van téve az ilyen támadásoknak,

91
00:04:50,692 --> 00:04:52,744
ami azt jelenti,

92
00:04:52,744 --> 00:04:56,364
hogy a drónoknak több döntést kell hozniuk.

93
00:04:56,364 --> 00:04:59,407
Tudni fogják a küldetésük célját,

94
00:04:59,407 --> 00:05:04,252
és emberi irányítás nélkül fognak reagálni az új körülményekre.

95
00:05:04,252 --> 00:05:06,833
Figyelmen kívül fogják hagyni a külső rádiójeleket

96
00:05:06,833 --> 00:05:09,163
és ők maguk kevés jelet fognak küldeni.

97
00:05:09,163 --> 00:05:11,169
Ami elvisz minket a harmadik

98
00:05:11,169 --> 00:05:15,031
és legerősebb ösztönzőhöz, hogy a döntéshozatalt az emberek helyett

99
00:05:15,031 --> 00:05:18,373
a fegyvereknek adjuk:

100
00:05:18,373 --> 00:05:21,666
az elfogadható tagadás.

101
00:05:21,666 --> 00:05:24,553
Ma egy globális gazdaságban élünk.

102
00:05:24,553 --> 00:05:28,887
A legtöbb kontinensen zajlik csúcstechnológiás gyártás.

103
00:05:28,887 --> 00:05:31,801
A kiberkémkedés ellopja a fejlett terveket

104
00:05:31,801 --> 00:05:33,687
ismeretlen vidékekre,

105
00:05:33,687 --> 00:05:35,701
és ebben a környezetben nagyon valószínű,

106
00:05:35,701 --> 00:05:40,435
hogy a sikeres drónterveket leszerződött gyárakban le fogják koppintani,

107
00:05:40,435 --> 00:05:42,605
és elburjánzanak a szürke piacon.

108
00:05:42,605 --> 00:05:45,065
Ebben a szituációban át kell fésülni a romjait

109
00:05:45,065 --> 00:05:48,025
egy öngyilkos dróntámadásnak, és nehéz lesz megmondani,

110
00:05:48,025 --> 00:05:52,425
ki küldte a fegyvert.

111
00:05:52,425 --> 00:05:55,225
Ez felveti a névtelen háború

112
00:05:55,225 --> 00:05:58,160
nagyon is valószínű lehetőségét.

113
00:05:58,160 --> 00:06:00,774
Ez felboríthatná a geopolitikai egyensúlyt,

114
00:06:00,774 --> 00:06:04,265
megnehezítve a nemzetek számára, hogy tűzerejüket

115
00:06:04,265 --> 00:06:07,113
egy támadó ellen fordítsák, és eltolhatná az egyensúlyt

116
00:06:07,113 --> 00:06:10,877
a 21. században a védekezéstől a támadáshoz.

117
00:06:10,877 --> 00:06:14,001
A katonai akciókat lehetséges opcióvá tenné

118
00:06:14,001 --> 00:06:16,289
nem csak kis nemzetek,

119
00:06:16,289 --> 00:06:18,834
de bűnszervezetek, magánvállalkozások,

120
00:06:18,834 --> 00:06:21,313
akár hatalommal rendelkező egyének számára is.

121
00:06:21,313 --> 00:06:24,641
Kialakulhat egy rivális hadurakból álló táj,

122
00:06:24,641 --> 00:06:28,321
ami aláássa a törvény és a civil társadalom erejét.

123
00:06:28,321 --> 00:06:31,937
Ha most a felelősség és átláthatóság

124
00:06:31,937 --> 00:06:34,321
a képviseleti kormányzás két sarokköve,

125
00:06:34,321 --> 00:06:38,641
az önálló robotfegyverek alááshatják mindkettőt.

126
00:06:38,641 --> 00:06:40,187
Gondolhattok arra,

127
00:06:40,187 --> 00:06:42,433
hogy a csúcstechnológiával rendelkező nemzetek polgárainak

128
00:06:42,433 --> 00:06:45,136
előnye lenne bármilyen robotháborúban,

129
00:06:45,136 --> 00:06:48,769
hogy e nemzeteknek polgárai kevésbé sebezhetőek,

130
00:06:48,769 --> 00:06:53,057
különösen a fejlődő országokhoz képest.

131
00:06:53,057 --> 00:06:56,581
De azt hiszem az igazság pontosan ennek az ellentéte.

132
00:06:56,581 --> 00:06:58,832
Úgy vélem, a csúcstechnológiájú nemzetek tagjai

133
00:06:58,832 --> 00:07:02,561
sebezhetőbbek a robotfegyverekre,

134
00:07:02,561 --> 00:07:07,026
ennek az okát egy szóban összefoglalhatom: adatok.

135
00:07:07,026 --> 00:07:10,507
Az adatok irányítják a csúcstechnológiájú társadalmakat.

136
00:07:10,507 --> 00:07:13,697
Mobiltelefonos geolokáció, telekommunikációs metaadatok,

137
00:07:13,697 --> 00:07:17,169
közösségi média, email, SMS, pénzügyi tranzakciós adatok,

138
00:07:17,169 --> 00:07:20,701
szállítási adatok, az emberi mozgás és társadalmi interakció

139
00:07:20,701 --> 00:07:24,074
valósidejű adatainak özöne.

140
00:07:24,074 --> 00:07:27,849
Röviden szólva, sokkal láthatóbbak vagyunk a gépek szemében

141
00:07:27,849 --> 00:07:30,091
mint valaha a történelemben,

142
00:07:30,091 --> 00:07:35,707
és ez tökéletesen illeszkedik az önálló fegyverek célzási igényeihez.

143
00:07:35,707 --> 00:07:37,445
Amit itt látnak, az egy társadalmi csoport

144
00:07:37,445 --> 00:07:40,691
kapcsolati analízis térképe.

145
00:07:40,691 --> 00:07:44,325
A vonalak mutatják a társadalmi kapcsolatokat egyes egyének között.

146
00:07:44,325 --> 00:07:47,205
Ezek a fajta térképek automatikusan generálhatók

147
00:07:47,205 --> 00:07:51,920
az emberek mögött hagyott adatnyom alapján.

148
00:07:51,920 --> 00:07:54,397
Ezt arra használják, hogy megcélozzanak bizonyos demográfiai csoportokat

149
00:07:54,397 --> 00:07:58,813
termékek marketingcéljaira, de kétoldalú technológia,

150
00:07:58,813 --> 00:08:02,173
mert a megcélzást máshogy is használhatjuk.

151
00:08:02,173 --> 00:08:04,733
Nézzétek, bizonyos egyének ki vannak emelve.

152
00:08:04,733 --> 00:08:08,013
Ők a társadalmi hálózat gócpontjai.

153
00:08:08,013 --> 00:08:11,603
Ők a szervezők, véleményalkotók, vezetők,

154
00:08:11,603 --> 00:08:14,285
és ezeket az embereket automatikusan meghatározhatod

155
00:08:14,285 --> 00:08:16,667
a kommunikációs mintáik alapján.

156
00:08:16,667 --> 00:08:18,813
Na most, ha marketinges vagy, őket célzod meg

157
00:08:18,813 --> 00:08:21,356
termékmintákkal, próbálod elterjeszteni a márkádat

158
00:08:21,356 --> 00:08:24,185
az ő társadalmi csoportjukon keresztül.

159
00:08:24,185 --> 00:08:26,138
De ha egy elnyomó kormány vagy,

160
00:08:26,138 --> 00:08:30,948
aki a politikai ellenségeit keresi, inkább eltávolítod őket,

161
00:08:30,948 --> 00:08:33,708
megsemmisíted őket, szétszakítod a társadalmi csoportot,

162
00:08:33,708 --> 00:08:36,877
és a hátramaradottak elvesztik a szociális kohéziót

163
00:08:36,877 --> 00:08:39,498
és szervezettséget.

164
00:08:39,498 --> 00:08:42,822
Az olcsó, burjánzó robotfegyverek világában

165
00:08:42,822 --> 00:08:45,457
a határok kevés védelmet kínálnak

166
00:08:45,457 --> 00:08:47,403
a távoli kormányok kritikusainak

167
00:08:47,403 --> 00:08:51,049
vagy nemzeteket átfogó bűnszervezeteknek.

168
00:08:51,049 --> 00:08:54,542
Népszerű mozgalmak, amik változást agitálnak

169
00:08:54,542 --> 00:08:58,151
korán felderíthetővé válnak, és a vezetőik eltávolíthatóak

170
00:08:58,151 --> 00:09:01,062
mielőtt a gondolataik elérik a kritikus tömeget.

171
00:09:01,062 --> 00:09:03,653
A gondolatok kritikus tömeget elérése az,

172
00:09:03,653 --> 00:09:07,589
amiről a politikai aktivizmus, a népi kormányzás szól.

173
00:09:07,589 --> 00:09:11,586
Névtelen halálos fegyverek könnyedén hozhatnak döntéseket

174
00:09:11,586 --> 00:09:15,368
halálos akciókról mindenféle versengő érdekek mentén.

175
00:09:15,368 --> 00:09:19,102
Ez leállítaná a szólásszabadságot

176
00:09:19,102 --> 00:09:24,410
és a népi politikai akciókat, a demokrácia szívét.

177
00:09:24,410 --> 00:09:27,324
Ezért van szükségünk egy nemzetközi egyezményre

178
00:09:27,324 --> 00:09:30,864
a robotfegyverekről, pontosabban egy globális tilalomra

179
00:09:30,864 --> 00:09:34,772
a gyilkos robotok fejlesztésében és bevetésében.

180
00:09:34,772 --> 00:09:38,026
Már vannak nemzetközi egyezményeink

181
00:09:38,026 --> 00:09:41,412
nukleáris és biológiai fegyverekre, és habár tökéletlenek,

182
00:09:41,412 --> 00:09:43,700
nagymértékben működnek.

183
00:09:43,700 --> 00:09:47,468
De a robotfegyverek ugyanennyire veszélyesek lehetnek,

184
00:09:47,468 --> 00:09:50,756
mert szinte biztosan használni fogják őket,

185
00:09:50,756 --> 00:09:55,783
és fokozatosan tönkretehetik demokratikus intézményeinket.

186
00:09:55,783 --> 00:09:59,251
2012 novemberében az USA Védelmi Minisztériuma

187
00:09:59,251 --> 00:10:01,709
kiadott egy direktívát,

188
00:10:01,709 --> 00:10:06,228
amely megköveteli egy ember jelenlétét a halálos döntéseknél.

189
00:10:06,228 --> 00:10:11,004
Ez időlegesen tulajdonképpen betiltotta az önálló fegyvereket az USA hadseregében,

190
00:10:11,004 --> 00:10:14,757
de ezt a direktívát állandóvá kell tennünk.

191
00:10:14,757 --> 00:10:19,133
Ez meghatározhatná a globális akció színterét.

192
00:10:19,133 --> 00:10:22,978
Mert szükségünk van egy nemzetközi jogi keretre

193
00:10:22,978 --> 00:10:25,116
a robotfegyverek esetén.

194
00:10:25,116 --> 00:10:28,044
És most van rá szükségünk, még mielőtt egy pusztító támadás

195
00:10:28,044 --> 00:10:31,196
vagy terrorcselekmény okán a világ nemzetei

196
00:10:31,196 --> 00:10:33,120
sietve átveszik ezeket a fegyvereket,

197
00:10:33,120 --> 00:10:36,891
a következményeket át sem gondolva.

198
00:10:36,891 --> 00:10:39,872
Az önálló robotfegyverek túl sok erőt koncentrálnak

199
00:10:39,872 --> 00:10:46,155
túl kevés kézben, és ez magát a demokráciát veszélyezteti.

200
00:10:46,155 --> 00:10:48,841
Ne értsetek félre, hiszek benne, hogy rengeteg

201
00:10:48,841 --> 00:10:51,459
haszna van fegyvertelen civil drónoknak:

202
00:10:51,459 --> 00:10:55,398
környezeti megfigyelés, kereséses mentőakciók, logisztika.

203
00:10:55,398 --> 00:10:58,224
Ha van egy nemzetközi egyezményünk a robotfegyverekről,

204
00:10:58,224 --> 00:11:01,811
hogy használhatnánk ki az önálló drónok

205
00:11:01,811 --> 00:11:04,459
és járművek előnyeit miközben megvédjük magunkat

206
00:11:04,459 --> 00:11:08,439
az illegális robotfegyverektől?

207
00:11:08,439 --> 00:11:13,180
Azt hiszem a titok az átláthatóságban rejlik.

208
00:11:13,180 --> 00:11:16,193
Egy robot sem várhat el privátszférát

209
00:11:16,193 --> 00:11:19,644
egy nyilvános helyen.

210
00:11:19,644 --> 00:11:24,692
(Taps)

211
00:11:24,692 --> 00:11:26,737
Minden robotnak és drónnak szüksége van

212
00:11:26,737 --> 00:11:29,620
egy, még a gyárban beégetett, titkosított azonosítóra,

213
00:11:29,620 --> 00:11:32,543
amit aztán a nyilvános helyeken való mozgásának követésére használhatunk.

214
00:11:32,543 --> 00:11:35,924
Az autókon vannak rendszámtáblák, a repülőkön farokszámok.

215
00:11:35,924 --> 00:11:37,765
Ez sem más.

216
00:11:37,765 --> 00:11:39,777
Minden állampolgár letölthetne egy alkalmazást,

217
00:11:39,777 --> 00:11:42,902
ami megmutatja a drónok és önálló járművek számát

218
00:11:42,902 --> 00:11:45,331
a körülötte lévő nyilvános helyen,

219
00:11:45,331 --> 00:11:48,064
abban a pillanatban és a múltban is.

220
00:11:48,064 --> 00:11:51,612
És a városi vezetőknek szenzorokat és városi drónokat kellene bevetni

221
00:11:51,612 --> 00:11:53,956
a csavargó drónok felderítésére,

222
00:11:53,956 --> 00:11:57,132
és ahelyett, hogy gyilkos drónokat küldenénk, hogy lelőjék őket,

223
00:11:57,132 --> 00:12:00,124
fel kellene hívniuk az emberek figyelmét a jelenlétükre.

224
00:12:00,124 --> 00:12:02,730
És bizonyos nagyon magas biztonsági övezetekben

225
00:12:02,730 --> 00:12:04,639
a városi drónok talán elfognák és elvinnék őket

226
00:12:04,639 --> 00:12:07,480
egy bomba-ártalmatlanító létesítménybe.

227
00:12:07,480 --> 00:12:10,507
De vegyétek észre, ez inkább egy védekezőrendszer,

228
00:12:10,507 --> 00:12:11,828
mint fegyverrendszer.

229
00:12:11,828 --> 00:12:14,420
Ez lehetővé tenné, hogy kiélvezzük

230
00:12:14,420 --> 00:12:16,452
az önálló járművek és drónok előnyeit,

231
00:12:16,452 --> 00:12:20,747
miközben megvédjük a nyitott, polgári társadalmunkat.

232
00:12:20,747 --> 00:12:23,746
Be kell tiltanunk a gyilkos robotok bevetését

233
00:12:23,746 --> 00:12:25,608
és fejlesztését.

234
00:12:25,608 --> 00:12:30,458
Ne dőljünk be az automatizált háború csábításának.

235
00:12:30,458 --> 00:12:33,176
Az autokrata kormányok és bűnszervezetek

236
00:12:33,176 --> 00:12:36,132
kétségtelenül be fognak, de ne csatlakozzunk.

237
00:12:36,132 --> 00:12:38,023
Az önálló robotfegyverek

238
00:12:38,023 --> 00:12:40,074
túl sok hatalmat koncentrálnak

239
00:12:40,074 --> 00:12:42,556
túl kevés láthatatlan kézben,

240
00:12:42,556 --> 00:12:45,811
és ez fokozatosan tönkreteheti a képviseleti kormányzást.

241
00:12:45,811 --> 00:12:48,772
Biztosítsuk, hogy - a demokráciákban legalábbis -

242
00:12:48,772 --> 00:12:51,376
a gyilkos robotok fikciók maradjanak.

243
00:12:51,376 --> 00:12:52,486
Köszönöm.

244
00:12:52,486 --> 00:12:57,051
(Taps)

245
00:12:57,051 --> 00:13:01,667
Köszönöm. (Taps)