0:00:00.691,0:00:03.849
Piszę fikcję i thrillery science-fiction,

0:00:03.849,0:00:06.042
więc gdy mówię "roboty mordercy",

0:00:06.042,0:00:08.403
pewnie myślicie o czymś takim.

0:00:08.403,0:00:10.958
Nie chcę jednak rozmawiać o fikcji,

0:00:10.958,0:00:13.906
ale o prawdziwych robotach zabójcach,

0:00:13.906,0:00:17.028
autonomicznych dronach bojowych.

0:00:17.028,0:00:20.655
Nie nawiązuję do dronów takich [br]jak Predator czy Reaper,

0:00:20.655,0:00:23.915
których cele są wybierane przez ludzi.

0:00:23.915,0:00:27.044
Mówię o w pełni zautomatyzowanej broni,

0:00:27.044,0:00:29.698
która samodzielnie decyduje o losie

0:00:29.698,0:00:32.115
istot ludzkich.

0:00:32.115,0:00:36.115
Techniczny termin to śmiercionośna autonomia.

0:00:36.115,0:00:38.971
Śmiercionośne, autonomiczne roboty-zabójcy

0:00:38.971,0:00:42.040
przybierają różne formy: latające, jeżdżące,

0:00:42.040,0:00:44.786
czy leżące jak pułapka.

0:00:44.786,0:00:47.895
Bardzo szybko stają się rzeczywistością.

0:00:47.895,0:00:50.379
To są dwie autonomiczne stacje snajperskie,

0:00:50.379,0:00:54.516
rozmieszczone w Koreańskiej [br]Strefie Zdemilitaryzowanej.

0:00:54.516,0:00:56.687
Oba urządzenia umieją automatycznie rozpoznać,

0:00:56.687,0:01:00.211
wycelować i strzelić do człowieka,

0:01:00.211,0:01:04.535
to po lewej na odległość ponad kilometra.

0:01:04.535,0:01:08.124
W obu przykładach człowiek bierze udział

0:01:08.124,0:01:10.496
w decyzji o śmiercionośnym strzale,

0:01:10.496,0:01:15.909
ale to wybór, a nie wymaganie techniczne.

0:01:15.909,0:01:19.002
Na tym wyborze chciałbym się skupić,

0:01:19.002,0:01:21.643
bo gdy przenosimy decyzje o śmierci

0:01:21.643,0:01:24.752
z ludzi na maszyny,

0:01:24.752,0:01:28.228
ryzykujemy nie tylko [br]utratę pierwiastka ludzkiego na wojnie,

0:01:28.228,0:01:31.754
ale całkowitą zmianę ukształtowań społecznych

0:01:31.754,0:01:33.978
z dala od pola bitwy.

0:01:33.978,0:01:38.487
Sposób rozwiązywania konfliktów

0:01:38.487,0:01:40.220
kształtuje nasze społeczeństwa.

0:01:40.220,0:01:42.853
I było tak zawsze.

0:01:42.853,0:01:45.514
Tak wyglądało najnowsze uzbrojenie

0:01:45.514,0:01:47.593
w 1400 r.

0:01:47.593,0:01:50.737
Było bardzo drogie w budowie i utrzymaniu,

0:01:50.737,0:01:53.977
ale pozwalało utrzymać lud w ryzach,

0:01:53.977,0:01:57.866
co potwierdzał podział sił politycznych [br]w społeczeństwie feudalnym.

0:01:57.866,0:02:00.553
Potęga skupiała się na samym szczycie.

0:02:00.553,0:02:04.081
Co się zmieniło? Innowacje techniczne.

0:02:04.081,0:02:05.952
Proch strzelniczy, armaty.

0:02:05.952,0:02:09.769
Zbroje i zamki szybko stały się przestarzałe,

0:02:09.769,0:02:12.302
a rodzaj armii znaczył mniej

0:02:12.302,0:02:16.081
niż jej rozmiar.

0:02:16.081,0:02:19.719
Armie rosły w siłę, a państwa narodowe

0:02:19.719,0:02:23.399
powstały jako polityczny[br]i logistyczny wymóg obrony.

0:02:23.399,0:02:25.775
Władcy musieli bardziej polegać na ludności,

0:02:25.775,0:02:27.608
więc musieli się także dzielić władzą.

0:02:27.608,0:02:30.207
Zaczęły się formować rządy reprezentatywne.

0:02:30.207,0:02:33.495
Narzędzia do rozwiązywania konfliktów

0:02:33.495,0:02:36.799
mają wpływ na ukształtowanie społeczne.

0:02:36.799,0:02:40.863
Automatyczna, autonomiczna broń to narzędzie,

0:02:40.863,0:02:46.031
które ogranicza ilości ludzi idących na wojnę,

0:02:46.031,0:02:50.871
ale też stwarza ryzyko [br]scentralizowania władzy w rękach kilku osób.

0:02:50.871,0:02:57.386
Może to zniweczyć 500 lat walki o demokrację.

0:02:57.386,0:02:59.143
Biorąc to pod uwagę możemy podjąć kroki,

0:02:59.143,0:03:03.495
by zachować nasze instytucje demokratyczne

0:03:03.495,0:03:07.474
i robić to, co umiemy najlepiej, [br]czyli przystosować się.

0:03:07.474,0:03:09.479
Czas ma tu znaczenie.

0:03:09.479,0:03:12.330
70 państw rozwija zdalnie sterowane

0:03:12.330,0:03:14.487
drony bojowe na swój użytek.

0:03:14.487,0:03:17.080
Jak zobaczycie, drony są prekursorami

0:03:17.080,0:03:21.552
automatycznej, autonomicznej broni.

0:03:21.552,0:03:24.319
Używanie zdalnie sterowanych dronów

0:03:24.319,0:03:27.703
stoi za 3 potężnymi czynnikami, [br]przenoszącymi podejmowanie decyzji

0:03:27.703,0:03:32.303
z ludzi na samą platformę bojową.

0:03:32.303,0:03:37.562
Pierwszy czynnik to lawina materiału wideo.

0:03:37.562,0:03:41.415
W 2004 r. flota dronów nagrała w sumie

0:03:41.415,0:03:46.727
71 godzin filmów zwiadowczych do analizy.

0:03:46.727,0:03:51.226
Do 2011 r. urosło to do 300 000 godzin,

0:03:51.226,0:03:54.375
co przekraczało możliwości wglądu personelu.

0:03:54.375,0:03:58.039
Nawet ta liczba ma drastycznie wzrosnąć.

0:03:58.039,0:04:00.614
Programy Pentagonu "Gorgon Stare" i "Argus"

0:04:00.614,0:04:03.778
rozmieszczą 65 niezależnie operowanych kamer,

0:04:03.778,0:04:05.816
na każdej dronowej platformie,

0:04:05.816,0:04:09.119
co znacznie przerośnie [br]możliwość przejrzenia nagrań przez ludzi,

0:04:09.119,0:04:11.279
co oznacza, że materiał zostanie przejrzany

0:04:11.279,0:04:15.327
przez wizualne oprogramowanie zwiadowcze.

0:04:15.327,0:04:16.675
Czyli już niedługo

0:04:16.675,0:04:19.422
drony będą decydowały, [br]na co ludzie mają patrzeć,

0:04:19.422,0:04:21.919
nie odwrotnie.

0:04:21.919,0:04:24.392
Następny potężny czynnik

0:04:24.392,0:04:27.775
przenoszący proces decyzyjny [br]z ludzi na maszyny,

0:04:27.775,0:04:30.647
to elektromagnetyczne zagłuszanie,

0:04:30.647,0:04:32.883
ograniczające połączenie między dronem

0:04:32.883,0:04:35.697
a operatorem.

0:04:35.697,0:04:38.315
Przykład tego mieliśmy w 2011 r.,

0:04:38.315,0:04:41.271
kiedy amerykański RQ-170, dron Sentinel,

0:04:41.271,0:04:45.578
trochę się zamotał nad Iranem [br]przez atak ogłupiający GPS.

0:04:45.578,0:04:50.692
Zdalnie sterowane drony są podatne [br]na ten rodzaj ataku,

0:04:50.692,0:04:52.744
co oznacza,

0:04:52.744,0:04:56.364
że na nich spocznie proces decyzyjny.

0:04:56.364,0:04:59.407
Będą znały cel misji

0:04:59.407,0:05:04.252
i zareagują wobec nowych okoliczności [br]bez pomocy ludzi.

0:05:04.252,0:05:06.833
Zignorują zewnętrze sygnały radiowe

0:05:06.833,0:05:09.163
i same niewiele ich wyślą.

0:05:09.163,0:05:11.169
No i ostatni, najpotężniejszy czynnik

0:05:11.169,0:05:15.031
przenoszący proces decyzyjny

0:05:15.031,0:05:18.373
z ludzi na maszyny:

0:05:18.373,0:05:21.666
wiarogodne zaprzeczenie odpowiedzialności.

0:05:21.666,0:05:24.553
Żyjemy w czasach globalnej gospodarki.

0:05:24.553,0:05:28.887
Wyspecjalizowana produkcja [br]występuje na większości kontynentów.

0:05:28.887,0:05:31.801
Wirtualne szpiegostwo [br]podkrada zaawansowane projekty,

0:05:31.801,0:05:33.687
Wirtualne szpiegostwo [br]podkrada zaawansowane projekty,

0:05:33.687,0:05:35.701
a jest bardzo prawdopodobne,

0:05:35.701,0:05:40.435
że końcowy projekt drona [br]zostanie gdzieś podrobiony

0:05:40.435,0:05:42.605
i zaleje czarny rynek.

0:05:42.605,0:05:45.065
Wówczas badanie zniszczeń

0:05:45.065,0:05:48.025
po samobójczym ataku drona [br]nie da prostej odpowiedzi,

0:05:48.025,0:05:52.425
kto go wysłał.

0:05:52.425,0:05:55.225
To niesie za sobą poważne ryzyko

0:05:55.225,0:05:58.160
anonimowej wojny.

0:05:58.160,0:06:00.774
Geopolityczna równowaga [br]mogła by się rozchwiać,

0:06:00.774,0:06:04.265
bo państwu trudno byłoby [br]odpowiedzieć na atak,

0:06:04.265,0:06:07.113
co zakłóciłoby dzisiejszą równowagę

0:06:07.113,0:06:10.877
i przesunęło nacisk z obrony na atak.

0:06:10.877,0:06:14.001
Działanie militarne stałyby się dostępne

0:06:14.001,0:06:16.289
nie tylko dla małych państw,

0:06:16.289,0:06:18.834
ale i dla organizacji przestępczych, [br]prywatnych przedsiębiorstw,

0:06:18.834,0:06:21.313
czy wpływowych osób.

0:06:21.313,0:06:24.641
Mogłoby się namnożyć [br]rywalizujących watażków,

0:06:24.641,0:06:28.321
podkopujących rządy prawa [br]i społeczeństwo obywatelskie.

0:06:28.321,0:06:31.937
Jeżeli odpowiedzialność i przejrzystość

0:06:31.937,0:06:34.321
to dwa kamienie węgielne [br]rządu przedstawicielskiego,

0:06:34.321,0:06:38.641
automatyczna, autonomiczna broń [br]może je podkopać.

0:06:38.641,0:06:40.187
Możesz myśleć,

0:06:40.187,0:06:42.433
że obywatele [br]najnowocześniejszych państw

0:06:42.433,0:06:45.136
mieliby przewagę [br]w każdej zautomatyzowanej wojnie,

0:06:45.136,0:06:48.769
że byliby mniej bezbronni,

0:06:48.769,0:06:53.057
szczególnie wobec rozwijających się państw.

0:06:53.057,0:06:56.581
Prawda jest wręcz odwrotna.

0:06:56.581,0:06:58.832
Obywatele najnowocześniejszych społeczeństw

0:06:58.832,0:07:02.561
są bardziej bezbronni [br]w obliczu zautomatyzowanej broni,

0:07:02.561,0:07:07.026
a powód można zsumować [br]jednym słowem: dane.

0:07:07.026,0:07:10.507
Dane napędzają zmodernizowane społeczeństwa.

0:07:10.507,0:07:13.697
Geolokacja komórek, metadane telekomunikacji,

0:07:13.697,0:07:17.169
media społecznościowe, email, SMSy,[br]dane transakcji finansowych,

0:07:17.169,0:07:20.701
dane transportowe - to mnóstwo danych[br]w czasie rzeczywistym,

0:07:20.701,0:07:24.074
o ruchach i interakcjach społecznych.

0:07:24.074,0:07:27.849
Jesteśmy widoczni dla maszyn

0:07:27.849,0:07:30.091
jak nigdy dotąd,

0:07:30.091,0:07:35.707
co świetnie odpowiada potrzebom namierzania [br]przez broń autonomiczną.

0:07:35.707,0:07:37.445
To, co widzicie,

0:07:37.445,0:07:40.691
to analiza mapy połączeń grupy społecznej.

0:07:40.691,0:07:44.325
Linie wskazują łączność społeczną [br]między jednostkami.

0:07:44.325,0:07:47.205
Takie mapy można wygenerować automatycznie,

0:07:47.205,0:07:51.920
na podstawie danych pozostawianych[br]przez współczesne społeczeństwo.

0:07:51.920,0:07:54.397
Służy to do reklamowania towarów i usług

0:07:54.397,0:07:58.813
danemu profilowi demograficznemu, [br]ale ma podwójne zastosowanie,

0:07:58.813,0:08:02.173
bo jest używane też w innym kontekście.

0:08:02.173,0:08:04.733
Zauważcie, że pewne jednostki są podświetlone.

0:08:04.733,0:08:08.013
To centra sieci społecznościowych.

0:08:08.013,0:08:11.603
Osoby kształtujące opinię publiczną,[br]organizatorów i przywódców

0:08:11.603,0:08:14.285
można automatycznie zidentyfikować

0:08:14.285,0:08:16.667
przez ich sposób komunikacji.

0:08:16.667,0:08:18.813
Handlowiec może wysyłać im próbki,

0:08:18.813,0:08:21.356
rozpowszechniać markę

0:08:21.356,0:08:24.185
za pomocą ich grupy społecznej.

0:08:24.185,0:08:26.138
Represyjny rząd może w ten sposób

0:08:26.138,0:08:30.948
znaleźć i usunąć wrogów politycznych,

0:08:30.948,0:08:33.708
zlikwidować ich, rozbić ich grupę społeczną,

0:08:33.708,0:08:36.877
a ci, którzy pozostaną, stracą zwartość społeczną

0:08:36.877,0:08:39.498
i organizację.

0:08:39.498,0:08:42.822
W świecie licznych niedrogich[br]zautomatyzowanych broni,

0:08:42.822,0:08:45.457
granice nie są wystarczającą ochroną

0:08:45.457,0:08:47.403
dla krytyków odległych rządów,

0:08:47.403,0:08:51.049
czy międzynarodowych organizacji kryminalnych.

0:08:51.049,0:08:54.542
Popularne ruchy, agitujące za zmianą,

0:08:54.542,0:08:58.151
można by szybko namierzać, [br]a liderów likwidować,

0:08:58.151,0:09:01.062
zanim ich pomysły osiągną masę krytyczną.

0:09:01.062,0:09:03.653
Idee osiągające masę krytyczną

0:09:03.653,0:09:07.589
to sedno aktywności politycznej [br]popularnych rządów.

0:09:07.589,0:09:11.586
Anonimowa, śmiercionośna broń [br]zrobiłaby z takich ataków

0:09:11.586,0:09:15.368
łatwe rozwiązanie[br]wszelkich skonfliktowanych interesów.

0:09:15.368,0:09:19.102
Zagroziłoby to wolności słowa,

0:09:19.102,0:09:24.410
popularnym akcjom politycznym, [br]czyli esencji demokracji.

0:09:24.410,0:09:27.324
Potrzebujemy międzynarodowego porozumienia

0:09:27.324,0:09:30.864
w kwestii zautomatyzowanych broni, [br]globalnego zakazu

0:09:30.864,0:09:34.772
rozwoju i rozmieszczania zabójczych robotów.

0:09:34.772,0:09:38.026
Mamy już międzynarodowe porozumienia

0:09:38.026,0:09:41.412
co do broni nuklearnej i biologicznej, [br]i chociaż nie są idealne,

0:09:41.412,0:09:43.700
przeważnie skutkują.

0:09:43.700,0:09:47.468
Automatyczne bronie mogą być [br]równie niebezpieczne,

0:09:47.468,0:09:50.756
bo niemal na pewno znajdą użytek

0:09:50.756,0:09:55.783
i zaszkodziłyby demokratycznym instytucjom.

0:09:55.783,0:09:59.251
W listopadzie 2012 Departament Obrony USA

0:09:59.251,0:10:01.709
wydał zarządzenie, wymagające

0:10:01.709,0:10:06.228
udziału człowieka[br]w każdej zabójczej decyzji,

0:10:06.228,0:10:11.004
co oznacza tymczasowy zakaz używania [br]broni autonomicznej w armii USA,

0:10:11.004,0:10:14.757
ale trzeba zmienić je w stałe zarządzenie.

0:10:14.757,0:10:19.133
Mogłoby to zapoczątkować [br]globalny ciąg zdarzeń.

0:10:19.133,0:10:22.978
Potrzebujemy międzynarodowego [br]modelu prawnego

0:10:22.978,0:10:25.116
w kwestii automatycznych broni.

0:10:25.116,0:10:28.044
I potrzebujemy go teraz, [br]zanim nastąpi niszczycielski atak

0:10:28.044,0:10:31.196
lub incydent terrorystyczny, [br]który spowoduje, że narody

0:10:31.196,0:10:33.120
pośpieszą się z przyjęciem tych broni,

0:10:33.120,0:10:36.891
przed przemyśleniem konsekwencji.

0:10:36.891,0:10:39.872
Autonomiczna, zautomatyzowana broń [br]skupia zbyt dużą moc

0:10:39.872,0:10:46.155
w zbyt niewielu rękach, [br]co zagraża samej demokracji.

0:10:46.155,0:10:48.841
Nie zrozumcie mnie źle, jest wiele celów

0:10:48.841,0:10:51.459
do których dronów świetnie się nadają:

0:10:51.459,0:10:55.398
monitorowanie środowiska, [br]poszukiwania i ratunek czy logistyka.

0:10:55.398,0:10:58.224
Mając międzynarodowe porozumienie[br]w sprawie automatycznych broni,

0:10:58.224,0:11:01.811
jak korzystać z autonomicznych dronów

0:11:01.811,0:11:04.459
czy pojazdów, broniąc się jednocześnie

0:11:04.459,0:11:08.439
przed nielegalną zautomatyzowaną bronią?

0:11:08.439,0:11:13.180
Tajemnica polega na przejrzystości.

0:11:13.180,0:11:16.193
Żaden robot nie powinien [br]oczekiwać prywatności

0:11:16.193,0:11:19.644
w miejscu publicznym.

0:11:19.644,0:11:24.692
(Brawa)

0:11:24.692,0:11:26.737
Każdy dron oraz robot powinien mieć

0:11:26.737,0:11:29.620
kryptograficzną metrykę wypaloną fabrycznie,

0:11:29.620,0:11:32.543
używaną do śledzenia jego ruchu [br]\w przestrzeni publicznej.

0:11:32.543,0:11:35.924
Mamy tablice rejestracyjne w samochodach,[br]i numery identyfikacyjne na samolotach.

0:11:35.924,0:11:37.765
Tu nie powinno być inaczej.

0:11:37.765,0:11:39.777
Każdy obywatel powinien [br]mieć dostęp do aplikacji,

0:11:39.777,0:11:42.902
która pokazuje liczbę dronów [br]i autonomicznych pojazdów

0:11:42.902,0:11:45.331
poruszających się w przestrzeni publicznej [br]wokół nich,

0:11:45.331,0:11:48.064
zarówno w teraz jak i w przeszłości.

0:11:48.064,0:11:51.612
Władze miejskie powinny [br]rozmieszczać czujniki i miejskie drony,

0:11:51.612,0:11:53.956
które wykrywałyby rozrabiające drony.

0:11:53.956,0:11:57.132
Zamiast nasyłać na nich [br]własne drony-zabójców,

0:11:57.132,0:12:00.124
powinny powiadomić ludzi o ich obecności.

0:12:00.124,0:12:02.730
W strefach zaostrzonej kontroli

0:12:02.730,0:12:04.639
miejskie drony mogłyby przychwytywać je

0:12:04.639,0:12:07.480
i zaciągać do obiektów rozbrajających.

0:12:07.480,0:12:10.507
To przypomina raczej układ odpornościowy

0:12:10.507,0:12:11.828
niż uzbrojenie.

0:12:11.828,0:12:14.420
Pozwoliłoby to nam korzystać

0:12:14.420,0:12:16.452
z autonomicznych pojazdów czy dronów,

0:12:16.452,0:12:20.747
zachowując otwarte obywatelskie społeczeństwo.

0:12:20.747,0:12:23.746
Musimy zakazać rozmieszczania

0:12:23.746,0:12:25.608
i rozwijania robotów-zabójców.

0:12:25.608,0:12:30.458
Nie ulegajmy pokusie zautomatyzowanej wojny.

0:12:30.458,0:12:33.176
Autokratyczne rządy i organizacje przestępcze

0:12:33.176,0:12:36.132
ulegną jej bez wątpienia, [br]lecz nie łączmy się z nimi.

0:12:36.132,0:12:38.023
Autonomiczna, zautomatyzowana broń

0:12:38.023,0:12:40.074
zgromadziłaby zbyt wiele mocy

0:12:40.074,0:12:42.556
w niewielu niewidzialnych rękach,

0:12:42.556,0:12:45.811
co skorodowałoby rządy reprezentacyjne.

0:12:45.811,0:12:48.772
Upewnijmy się, choćby dla demokracji,

0:12:48.772,0:12:51.376
że zabójcy-roboty pozostaną fikcją.

0:12:51.376,0:12:52.486
Dziękuję.

0:12:52.486,0:12:57.051
(Brawa)

0:12:57.051,0:13:01.667
Dziękuję. (Brawa)