Piszę fikcję i thrillery science-fiction,
więc gdy mówię "roboty mordercy",
pewnie myślicie o czymś takim.
Nie chcę jednak rozmawiać o fikcji,
ale o prawdziwych robotach zabójcach,
autonomicznych dronach bojowych.
Nie nawiązuję do dronów takich jak Predator czy Reaper,
których cele są wybierane przez ludzi.
Mówię o w pełni zautomatyzowanej broni,
która samodzielnie decyduje o losie
istot ludzkich.
Techniczny termin to śmiercionośna autonomia.
Śmiercionośne, autonomiczne roboty-zabójcy
przybierają różne formy: latające, jeżdżące,
czy leżące jak pułapka.
Bardzo szybko stają się rzeczywistością.
To są dwie autonomiczne stacje snajperskie,
rozmieszczone w Koreańskiej Strefie Zdemilitaryzowanej.
Oba urządzenia umieją automatycznie rozpoznać,
wycelować i strzelić do człowieka,
to po lewej na odległość ponad kilometra.
W obu przykładach człowiek bierze udział
w decyzji o śmiercionośnym strzale,
ale to wybór, a nie wymaganie techniczne.
Na tym wyborze chciałbym się skupić,
bo gdy przenosimy decyzje o śmierci
z ludzi na maszyny,
ryzykujemy nie tylko utratę pierwiastka ludzkiego na wojnie,
ale całkowitą zmianę ukształtowań społecznych
z dala od pola bitwy.
Sposób rozwiązywania konfliktów
kształtuje nasze społeczeństwa.
I było tak zawsze.
Tak wyglądało najnowsze uzbrojenie
w 1400 r.
Było bardzo drogie w budowie i utrzymaniu,
ale pozwalało utrzymać lud w ryzach,
co potwierdzał podział sił politycznych w społeczeństwie feudalnym.
Potęga skupiała się na samym szczycie.
Co się zmieniło? Innowacje techniczne.
Proch strzelniczy, armaty.
Zbroje i zamki szybko stały się przestarzałe,
a rodzaj armii znaczył mniej
niż jej rozmiar.
Armie rosły w siłę, a państwa narodowe
powstały jako polityczny i logistyczny wymóg obrony.
Władcy musieli bardziej polegać na ludności,
więc musieli się także dzielić władzą.
Zaczęły się formować rządy reprezentatywne.
Narzędzia do rozwiązywania konfliktów
mają wpływ na ukształtowanie społeczne.
Automatyczna, autonomiczna broń to narzędzie,
które ogranicza ilości ludzi idących na wojnę,
ale też stwarza ryzyko scentralizowania władzy w rękach kilku osób.
Może to zniweczyć 500 lat walki o demokrację.
Biorąc to pod uwagę możemy podjąć kroki,
by zachować nasze instytucje demokratyczne
i robić to, co umiemy najlepiej, czyli przystosować się.
Czas ma tu znaczenie.
70 państw rozwija zdalnie sterowane
drony bojowe na swój użytek.
Jak zobaczycie, drony są prekursorami
automatycznej, autonomicznej broni.
Używanie zdalnie sterowanych dronów
stoi za 3 potężnymi czynnikami, przenoszącymi podejmowanie decyzji
z ludzi na samą platformę bojową.
Pierwszy czynnik to lawina materiału wideo.
W 2004 r. flota dronów nagrała w sumie
71 godzin filmów zwiadowczych do analizy.
Do 2011 r. urosło to do 300 000 godzin,
co przekraczało możliwości wglądu personelu.
Nawet ta liczba ma drastycznie wzrosnąć.
Programy Pentagonu "Gorgon Stare" i "Argus"
rozmieszczą 65 niezależnie operowanych kamer,
na każdej dronowej platformie,
co znacznie przerośnie możliwość przejrzenia nagrań przez ludzi,
co oznacza, że materiał zostanie przejrzany
przez wizualne oprogramowanie zwiadowcze.
Czyli już niedługo
drony będą decydowały, na co ludzie mają patrzeć,
nie odwrotnie.
Następny potężny czynnik
przenoszący proces decyzyjny z ludzi na maszyny,
to elektromagnetyczne zagłuszanie,
ograniczające połączenie między dronem
a operatorem.
Przykład tego mieliśmy w 2011 r.,
kiedy amerykański RQ-170, dron Sentinel,
trochę się zamotał nad Iranem przez atak ogłupiający GPS.
Zdalnie sterowane drony są podatne na ten rodzaj ataku,
co oznacza,
że na nich spocznie proces decyzyjny.
Będą znały cel misji
i zareagują wobec nowych okoliczności bez pomocy ludzi.
Zignorują zewnętrze sygnały radiowe
i same niewiele ich wyślą.
No i ostatni, najpotężniejszy czynnik
przenoszący proces decyzyjny
z ludzi na maszyny:
wiarogodne zaprzeczenie odpowiedzialności.
Żyjemy w czasach globalnej gospodarki.
Wyspecjalizowana produkcja występuje na większości kontynentów.
Wirtualne szpiegostwo podkrada zaawansowane projekty,
a jest bardzo prawdopodobne,
że końcowy projekt drona zostanie gdzieś podrobiony
i zaleje czarny rynek.
Wówczas badanie zniszczeń
po samobójczym ataku drona nie da prostej odpowiedzi,
kto go wysłał.
To niesie za sobą poważne ryzyko
anonimowej wojny.
Geopolityczna równowaga mogła by się rozchwiać,
bo państwu trudno byłoby odpowiedzieć na atak,
co zakłóciłoby dzisiejszą równowagę
i przesunęło nacisk z obrony na atak.
Działanie militarne stałyby się dostępne
nie tylko dla małych państw,
ale i dla organizacji przestępczych, prywatnych przedsiębiorstw,
czy wpływowych osób.
Mogłoby się namnożyć rywalizujących watażków,
podkopujących rządy prawa i społeczeństwo obywatelskie.
Jeżeli odpowiedzialność i przejrzystość
to dwa kamienie węgielne rządu przedstawicielskiego,
automatyczna, autonomiczna broń może je podkopać.
Możesz myśleć,
że obywatele najnowocześniejszych państw
mieliby przewagę w każdej zautomatyzowanej wojnie,
że byliby mniej bezbronni,
szczególnie wobec rozwijających się państw.
Prawda jest wręcz odwrotna.
Obywatele najnowocześniejszych społeczeństw
są bardziej bezbronni w obliczu zautomatyzowanej broni,
a powód można zsumować jednym słowem: dane.
Dane napędzają zmodernizowane społeczeństwa.
Geolokacja komórek, metadane telekomunikacji,
media społecznościowe, email, SMSy, dane transakcji finansowych,
dane transportowe - to mnóstwo danych w czasie rzeczywistym,
o ruchach i interakcjach społecznych.
Jesteśmy widoczni dla maszyn
jak nigdy dotąd,
co świetnie odpowiada potrzebom namierzania przez broń autonomiczną.
To, co widzicie,
to analiza mapy połączeń grupy społecznej.
Linie wskazują łączność społeczną między jednostkami.
Takie mapy można wygenerować automatycznie,
na podstawie danych pozostawianych przez współczesne społeczeństwo.
Służy to do reklamowania towarów i usług
danemu profilowi demograficznemu, ale ma podwójne zastosowanie,
bo jest używane też w innym kontekście.
Zauważcie, że pewne jednostki są podświetlone.
To centra sieci społecznościowych.
Osoby kształtujące opinię publiczną, organizatorów i przywódców
można automatycznie zidentyfikować
przez ich sposób komunikacji.
Handlowiec może wysyłać im próbki,
rozpowszechniać markę
za pomocą ich grupy społecznej.
Represyjny rząd może w ten sposób
znaleźć i usunąć wrogów politycznych,
zlikwidować ich, rozbić ich grupę społeczną,
a ci, którzy pozostaną, stracą zwartość społeczną
i organizację.
W świecie licznych niedrogich zautomatyzowanych broni,
granice nie są wystarczającą ochroną
dla krytyków odległych rządów,
czy międzynarodowych organizacji kryminalnych.
Popularne ruchy, agitujące za zmianą,
można by szybko namierzać, a liderów likwidować,
zanim ich pomysły osiągną masę krytyczną.
Idee osiągające masę krytyczną
to sedno aktywności politycznej popularnych rządów.
Anonimowa, śmiercionośna broń zrobiłaby z takich ataków
łatwe rozwiązanie wszelkich skonfliktowanych interesów.
Zagroziłoby to wolności słowa,
popularnym akcjom politycznym, czyli esencji demokracji.
Potrzebujemy międzynarodowego porozumienia
w kwestii zautomatyzowanych broni, globalnego zakazu
rozwoju i rozmieszczania zabójczych robotów.
Mamy już międzynarodowe porozumienia
co do broni nuklearnej i biologicznej, i chociaż nie są idealne,
przeważnie skutkują.
Automatyczne bronie mogą być równie niebezpieczne,
bo niemal na pewno znajdą użytek
i zaszkodziłyby demokratycznym instytucjom.
W listopadzie 2012 Departament Obrony USA
wydał zarządzenie, wymagające
udziału człowieka w każdej zabójczej decyzji,
co oznacza tymczasowy zakaz używania broni autonomicznej w armii USA,
ale trzeba zmienić je w stałe zarządzenie.
Mogłoby to zapoczątkować globalny ciąg zdarzeń.
Potrzebujemy międzynarodowego modelu prawnego
w kwestii automatycznych broni.
I potrzebujemy go teraz, zanim nastąpi niszczycielski atak
lub incydent terrorystyczny, który spowoduje, że narody
pośpieszą się z przyjęciem tych broni,
przed przemyśleniem konsekwencji.
Autonomiczna, zautomatyzowana broń skupia zbyt dużą moc
w zbyt niewielu rękach, co zagraża samej demokracji.
Nie zrozumcie mnie źle, jest wiele celów
do których dronów świetnie się nadają:
monitorowanie środowiska, poszukiwania i ratunek czy logistyka.
Mając międzynarodowe porozumienie w sprawie automatycznych broni,
jak korzystać z autonomicznych dronów
czy pojazdów, broniąc się jednocześnie
przed nielegalną zautomatyzowaną bronią?
Tajemnica polega na przejrzystości.
Żaden robot nie powinien oczekiwać prywatności
w miejscu publicznym.
(Brawa)
Każdy dron oraz robot powinien mieć
kryptograficzną metrykę wypaloną fabrycznie,
używaną do śledzenia jego ruchu \w przestrzeni publicznej.
Mamy tablice rejestracyjne w samochodach, i numery identyfikacyjne na samolotach.
Tu nie powinno być inaczej.
Każdy obywatel powinien mieć dostęp do aplikacji,
która pokazuje liczbę dronów i autonomicznych pojazdów
poruszających się w przestrzeni publicznej wokół nich,
zarówno w teraz jak i w przeszłości.
Władze miejskie powinny rozmieszczać czujniki i miejskie drony,
które wykrywałyby rozrabiające drony.
Zamiast nasyłać na nich własne drony-zabójców,
powinny powiadomić ludzi o ich obecności.
W strefach zaostrzonej kontroli
miejskie drony mogłyby przychwytywać je
i zaciągać do obiektów rozbrajających.
To przypomina raczej układ odpornościowy
niż uzbrojenie.
Pozwoliłoby to nam korzystać
z autonomicznych pojazdów czy dronów,
zachowując otwarte obywatelskie społeczeństwo.
Musimy zakazać rozmieszczania
i rozwijania robotów-zabójców.
Nie ulegajmy pokusie zautomatyzowanej wojny.
Autokratyczne rządy i organizacje przestępcze
ulegną jej bez wątpienia, lecz nie łączmy się z nimi.
Autonomiczna, zautomatyzowana broń
zgromadziłaby zbyt wiele mocy
w niewielu niewidzialnych rękach,
co skorodowałoby rządy reprezentacyjne.
Upewnijmy się, choćby dla demokracji,
że zabójcy-roboty pozostaną fikcją.
Dziękuję.
(Brawa)
Dziękuję. (Brawa)