Decyzje o zabijaniu nie powinny należeć do robotów

Jako powieściopisarz Daniel Suarez snuje dystopiczną opowieść o przyszłości. Na scenie TEDGlobal daje nam wgląd w rzeczywiste scenariusze, które powinniśmy znać: powstanie autonomicznego, zautomatyzowanego uzbrojenia wojennego. Zaawansowane drony, zautomatyzowana broń i narzędzia wywiadowcze zasilane przez sztuczną inteligencję mogłyby odebrać ludziom decyzje o wojnie.

Piszę fikcję i thrillery science-fiction,

więc gdy mówię "roboty mordercy",

pewnie myślicie o czymś takim.

Nie chcę jednak rozmawiać o fikcji,

ale o prawdziwych robotach zabójcach,

autonomicznych dronach bojowych.

Nie nawiązuję do dronów takich
jak Predator czy Reaper,

których cele są wybierane przez ludzi.

Mówię o w pełni zautomatyzowanej broni,

która samodzielnie decyduje o losie

istot ludzkich.

Techniczny termin to śmiercionośna autonomia.

Śmiercionośne, autonomiczne roboty-zabójcy

przybierają różne formy: latające, jeżdżące,

czy leżące jak pułapka.

Bardzo szybko stają się rzeczywistością.

To są dwie autonomiczne stacje snajperskie,

rozmieszczone w Koreańskiej
Strefie Zdemilitaryzowanej.

Oba urządzenia umieją automatycznie rozpoznać,

wycelować i strzelić do człowieka,

to po lewej na odległość ponad kilometra.

W obu przykładach człowiek bierze udział

w decyzji o śmiercionośnym strzale,

ale to wybór, a nie wymaganie techniczne.

Na tym wyborze chciałbym się skupić,

bo gdy przenosimy decyzje o śmierci

z ludzi na maszyny,

ryzykujemy nie tylko
utratę pierwiastka ludzkiego na wojnie,

ale całkowitą zmianę ukształtowań społecznych

z dala od pola bitwy.

Sposób rozwiązywania konfliktów

kształtuje nasze społeczeństwa.

I było tak zawsze.

Tak wyglądało najnowsze uzbrojenie

w 1400 r.

Było bardzo drogie w budowie i utrzymaniu,

ale pozwalało utrzymać lud w ryzach,

co potwierdzał podział sił politycznych
w społeczeństwie feudalnym.

Potęga skupiała się na samym szczycie.

Co się zmieniło? Innowacje techniczne.

Proch strzelniczy, armaty.

Zbroje i zamki szybko stały się przestarzałe,

a rodzaj armii znaczył mniej

niż jej rozmiar.

Armie rosły w siłę, a państwa narodowe

powstały jako polityczny
i logistyczny wymóg obrony.

Władcy musieli bardziej polegać na ludności,

więc musieli się także dzielić władzą.

Zaczęły się formować rządy reprezentatywne.

Narzędzia do rozwiązywania konfliktów

mają wpływ na ukształtowanie społeczne.

Automatyczna, autonomiczna broń to narzędzie,

które ogranicza ilości ludzi idących na wojnę,

ale też stwarza ryzyko
scentralizowania władzy w rękach kilku osób.

Może to zniweczyć 500 lat walki o demokrację.

Biorąc to pod uwagę możemy podjąć kroki,

by zachować nasze instytucje demokratyczne

i robić to, co umiemy najlepiej,
czyli przystosować się.

Czas ma tu znaczenie.

70 państw rozwija zdalnie sterowane

drony bojowe na swój użytek.

Jak zobaczycie, drony są prekursorami

automatycznej, autonomicznej broni.

Używanie zdalnie sterowanych dronów

stoi za 3 potężnymi czynnikami,
przenoszącymi podejmowanie decyzji

z ludzi na samą platformę bojową.

Pierwszy czynnik to lawina materiału wideo.

W 2004 r. flota dronów nagrała w sumie

71 godzin filmów zwiadowczych do analizy.

Do 2011 r. urosło to do 300 000 godzin,

co przekraczało możliwości wglądu personelu.

Nawet ta liczba ma drastycznie wzrosnąć.

Programy Pentagonu "Gorgon Stare" i "Argus"

rozmieszczą 65 niezależnie operowanych kamer,

na każdej dronowej platformie,

co znacznie przerośnie
możliwość przejrzenia nagrań przez ludzi,

co oznacza, że materiał zostanie przejrzany

przez wizualne oprogramowanie zwiadowcze.

Czyli już niedługo

drony będą decydowały,
na co ludzie mają patrzeć,

nie odwrotnie.

Następny potężny czynnik

przenoszący proces decyzyjny
z ludzi na maszyny,

to elektromagnetyczne zagłuszanie,

ograniczające połączenie między dronem

a operatorem.

Przykład tego mieliśmy w 2011 r.,

kiedy amerykański RQ-170, dron Sentinel,

trochę się zamotał nad Iranem
przez atak ogłupiający GPS.

Zdalnie sterowane drony są podatne
na ten rodzaj ataku,

co oznacza,

że na nich spocznie proces decyzyjny.

Będą znały cel misji

i zareagują wobec nowych okoliczności
bez pomocy ludzi.

Zignorują zewnętrze sygnały radiowe

i same niewiele ich wyślą.

No i ostatni, najpotężniejszy czynnik

przenoszący proces decyzyjny

z ludzi na maszyny:

wiarogodne zaprzeczenie odpowiedzialności.

Żyjemy w czasach globalnej gospodarki.

Wyspecjalizowana produkcja
występuje na większości kontynentów.

Wirtualne szpiegostwo
podkrada zaawansowane projekty,

Wirtualne szpiegostwo
podkrada zaawansowane projekty,

a jest bardzo prawdopodobne,

że końcowy projekt drona
zostanie gdzieś podrobiony

i zaleje czarny rynek.

Wówczas badanie zniszczeń

po samobójczym ataku drona
nie da prostej odpowiedzi,

kto go wysłał.

To niesie za sobą poważne ryzyko

anonimowej wojny.

Geopolityczna równowaga
mogła by się rozchwiać,

bo państwu trudno byłoby
odpowiedzieć na atak,

co zakłóciłoby dzisiejszą równowagę

i przesunęło nacisk z obrony na atak.

Działanie militarne stałyby się dostępne

nie tylko dla małych państw,

ale i dla organizacji przestępczych,
prywatnych przedsiębiorstw,

czy wpływowych osób.

Mogłoby się namnożyć
rywalizujących watażków,

podkopujących rządy prawa
i społeczeństwo obywatelskie.

Jeżeli odpowiedzialność i przejrzystość

to dwa kamienie węgielne
rządu przedstawicielskiego,

automatyczna, autonomiczna broń
może je podkopać.

Możesz myśleć,

że obywatele
najnowocześniejszych państw

mieliby przewagę
w każdej zautomatyzowanej wojnie,

że byliby mniej bezbronni,

szczególnie wobec rozwijających się państw.

Prawda jest wręcz odwrotna.

Obywatele najnowocześniejszych społeczeństw

są bardziej bezbronni
w obliczu zautomatyzowanej broni,

a powód można zsumować
jednym słowem: dane.

Dane napędzają zmodernizowane społeczeństwa.

Geolokacja komórek, metadane telekomunikacji,

media społecznościowe, email, SMSy,
dane transakcji finansowych,

dane transportowe - to mnóstwo danych
w czasie rzeczywistym,

o ruchach i interakcjach społecznych.

Jesteśmy widoczni dla maszyn

jak nigdy dotąd,

co świetnie odpowiada potrzebom namierzania
przez broń autonomiczną.

To, co widzicie,

to analiza mapy połączeń grupy społecznej.

Linie wskazują łączność społeczną
między jednostkami.

Takie mapy można wygenerować automatycznie,

na podstawie danych pozostawianych
przez współczesne społeczeństwo.

Służy to do reklamowania towarów i usług

danemu profilowi demograficznemu,
ale ma podwójne zastosowanie,

bo jest używane też w innym kontekście.

Zauważcie, że pewne jednostki są podświetlone.

To centra sieci społecznościowych.

Osoby kształtujące opinię publiczną,
organizatorów i przywódców

można automatycznie zidentyfikować

przez ich sposób komunikacji.

Handlowiec może wysyłać im próbki,

rozpowszechniać markę

za pomocą ich grupy społecznej.

Represyjny rząd może w ten sposób

znaleźć i usunąć wrogów politycznych,

zlikwidować ich, rozbić ich grupę społeczną,

a ci, którzy pozostaną, stracą zwartość społeczną

i organizację.

W świecie licznych niedrogich
zautomatyzowanych broni,

granice nie są wystarczającą ochroną

dla krytyków odległych rządów,

czy międzynarodowych organizacji kryminalnych.

Popularne ruchy, agitujące za zmianą,

można by szybko namierzać,
a liderów likwidować,

zanim ich pomysły osiągną masę krytyczną.

Idee osiągające masę krytyczną

to sedno aktywności politycznej
popularnych rządów.

Anonimowa, śmiercionośna broń
zrobiłaby z takich ataków

łatwe rozwiązanie
wszelkich skonfliktowanych interesów.

Zagroziłoby to wolności słowa,

popularnym akcjom politycznym,
czyli esencji demokracji.

Potrzebujemy międzynarodowego porozumienia

w kwestii zautomatyzowanych broni,
globalnego zakazu

rozwoju i rozmieszczania zabójczych robotów.

Mamy już międzynarodowe porozumienia

co do broni nuklearnej i biologicznej,
i chociaż nie są idealne,

przeważnie skutkują.

Automatyczne bronie mogą być
równie niebezpieczne,

bo niemal na pewno znajdą użytek

i zaszkodziłyby demokratycznym instytucjom.

W listopadzie 2012 Departament Obrony USA

wydał zarządzenie, wymagające

udziału człowieka
w każdej zabójczej decyzji,

co oznacza tymczasowy zakaz używania
broni autonomicznej w armii USA,

ale trzeba zmienić je w stałe zarządzenie.

Mogłoby to zapoczątkować
globalny ciąg zdarzeń.

Potrzebujemy międzynarodowego
modelu prawnego

w kwestii automatycznych broni.

I potrzebujemy go teraz,
zanim nastąpi niszczycielski atak

lub incydent terrorystyczny,
który spowoduje, że narody

pośpieszą się z przyjęciem tych broni,

przed przemyśleniem konsekwencji.

Autonomiczna, zautomatyzowana broń
skupia zbyt dużą moc

w zbyt niewielu rękach,
co zagraża samej demokracji.

Nie zrozumcie mnie źle, jest wiele celów

do których dronów świetnie się nadają:

monitorowanie środowiska,
poszukiwania i ratunek czy logistyka.

Mając międzynarodowe porozumienie
w sprawie automatycznych broni,

jak korzystać z autonomicznych dronów

czy pojazdów, broniąc się jednocześnie

przed nielegalną zautomatyzowaną bronią?

Tajemnica polega na przejrzystości.

Żaden robot nie powinien
oczekiwać prywatności

w miejscu publicznym.

(Brawa)

Każdy dron oraz robot powinien mieć

kryptograficzną metrykę wypaloną fabrycznie,

używaną do śledzenia jego ruchu
\w przestrzeni publicznej.

Mamy tablice rejestracyjne w samochodach,
i numery identyfikacyjne na samolotach.

Tu nie powinno być inaczej.

Każdy obywatel powinien
mieć dostęp do aplikacji,

która pokazuje liczbę dronów
i autonomicznych pojazdów

poruszających się w przestrzeni publicznej
wokół nich,

zarówno w teraz jak i w przeszłości.

Władze miejskie powinny
rozmieszczać czujniki i miejskie drony,

które wykrywałyby rozrabiające drony.

Zamiast nasyłać na nich
własne drony-zabójców,

powinny powiadomić ludzi o ich obecności.

W strefach zaostrzonej kontroli

miejskie drony mogłyby przychwytywać je

i zaciągać do obiektów rozbrajających.

To przypomina raczej układ odpornościowy

niż uzbrojenie.

Pozwoliłoby to nam korzystać

z autonomicznych pojazdów czy dronów,

zachowując otwarte obywatelskie społeczeństwo.

Musimy zakazać rozmieszczania

i rozwijania robotów-zabójców.

Nie ulegajmy pokusie zautomatyzowanej wojny.

Autokratyczne rządy i organizacje przestępcze

ulegną jej bez wątpienia,
lecz nie łączmy się z nimi.

Autonomiczna, zautomatyzowana broń

zgromadziłaby zbyt wiele mocy

w niewielu niewidzialnych rękach,

co skorodowałoby rządy reprezentacyjne.

Upewnijmy się, choćby dla demokracji,

że zabójcy-roboty pozostaną fikcją.

Dziękuję.

(Brawa)

Dziękuję. (Brawa)