WEBVTT 00:00:00.691 --> 00:00:03.849 Piszę fikcję i thrillery science-fiction, 00:00:03.849 --> 00:00:06.042 więc gdy mówię "roboty mordercy", 00:00:06.042 --> 00:00:08.403 pewnie myślicie o czymś takim. 00:00:08.403 --> 00:00:10.958 Nie chcę jednak rozmawiać o fikcji, 00:00:10.958 --> 00:00:13.906 ale o prawdziwych robotach zabójcach, 00:00:13.906 --> 00:00:17.028 autonomicznych dronach bojowych. NOTE Paragraph 00:00:17.028 --> 00:00:20.655 Nie nawiązuję do dronów takich jak Predator czy Reaper, 00:00:20.655 --> 00:00:23.915 których cele są wybierane przez ludzi. 00:00:23.915 --> 00:00:27.044 Mówię o w pełni zautomatyzowanej broni, 00:00:27.044 --> 00:00:29.698 która samodzielnie decyduje o losie 00:00:29.698 --> 00:00:32.115 istot ludzkich. 00:00:32.115 --> 00:00:36.115 Techniczny termin to śmiercionośna autonomia. NOTE Paragraph 00:00:36.115 --> 00:00:38.971 Śmiercionośne, autonomiczne roboty-zabójcy 00:00:38.971 --> 00:00:42.040 przybierają różne formy: latające, jeżdżące, 00:00:42.040 --> 00:00:44.786 czy leżące jak pułapka. 00:00:44.786 --> 00:00:47.895 Bardzo szybko stają się rzeczywistością. 00:00:47.895 --> 00:00:50.379 To są dwie autonomiczne stacje snajperskie, 00:00:50.379 --> 00:00:54.516 rozmieszczone w Koreańskiej Strefie Zdemilitaryzowanej. 00:00:54.516 --> 00:00:56.687 Oba urządzenia umieją automatycznie rozpoznać, 00:00:56.687 --> 00:01:00.211 wycelować i strzelić do człowieka, 00:01:00.211 --> 00:01:04.535 to po lewej na odległość ponad kilometra. 00:01:04.535 --> 00:01:08.124 W obu przykładach człowiek bierze udział 00:01:08.124 --> 00:01:10.496 w decyzji o śmiercionośnym strzale, 00:01:10.496 --> 00:01:15.909 ale to wybór, a nie wymaganie techniczne. 00:01:15.909 --> 00:01:19.002 Na tym wyborze chciałbym się skupić, 00:01:19.002 --> 00:01:21.643 bo gdy przenosimy decyzje o śmierci 00:01:21.643 --> 00:01:24.752 z ludzi na maszyny, 00:01:24.752 --> 00:01:28.228 ryzykujemy nie tylko utratę pierwiastka ludzkiego na wojnie, 00:01:28.228 --> 00:01:31.754 ale całkowitą zmianę ukształtowań społecznych 00:01:31.754 --> 00:01:33.978 z dala od pola bitwy. 00:01:33.978 --> 00:01:38.487 Sposób rozwiązywania konfliktów 00:01:38.487 --> 00:01:40.220 kształtuje nasze społeczeństwa. 00:01:40.220 --> 00:01:42.853 I było tak zawsze. NOTE Paragraph 00:01:42.853 --> 00:01:45.514 Tak wyglądało najnowsze uzbrojenie 00:01:45.514 --> 00:01:47.593 w 1400 r. 00:01:47.593 --> 00:01:50.737 Było bardzo drogie w budowie i utrzymaniu, 00:01:50.737 --> 00:01:53.977 ale pozwalało utrzymać lud w ryzach, 00:01:53.977 --> 00:01:57.866 co potwierdzał podział sił politycznych w społeczeństwie feudalnym. 00:01:57.866 --> 00:02:00.553 Potęga skupiała się na samym szczycie. 00:02:00.553 --> 00:02:04.081 Co się zmieniło? Innowacje techniczne. 00:02:04.081 --> 00:02:05.952 Proch strzelniczy, armaty. 00:02:05.952 --> 00:02:09.769 Zbroje i zamki szybko stały się przestarzałe, 00:02:09.769 --> 00:02:12.302 a rodzaj armii znaczył mniej 00:02:12.302 --> 00:02:16.081 niż jej rozmiar. 00:02:16.081 --> 00:02:19.719 Armie rosły w siłę, a państwa narodowe 00:02:19.719 --> 00:02:23.399 powstały jako polityczny i logistyczny wymóg obrony. 00:02:23.399 --> 00:02:25.775 Władcy musieli bardziej polegać na ludności, 00:02:25.775 --> 00:02:27.608 więc musieli się także dzielić władzą. 00:02:27.608 --> 00:02:30.207 Zaczęły się formować rządy reprezentatywne. NOTE Paragraph 00:02:30.207 --> 00:02:33.495 Narzędzia do rozwiązywania konfliktów 00:02:33.495 --> 00:02:36.799 mają wpływ na ukształtowanie społeczne. 00:02:36.799 --> 00:02:40.863 Automatyczna, autonomiczna broń to narzędzie, 00:02:40.863 --> 00:02:46.031 które ogranicza ilości ludzi idących na wojnę, 00:02:46.031 --> 00:02:50.871 ale też stwarza ryzyko scentralizowania władzy w rękach kilku osób. 00:02:50.871 --> 00:02:57.386 Może to zniweczyć 500 lat walki o demokrację. NOTE Paragraph 00:02:57.386 --> 00:02:59.143 Biorąc to pod uwagę możemy podjąć kroki, 00:02:59.143 --> 00:03:03.495 by zachować nasze instytucje demokratyczne 00:03:03.495 --> 00:03:07.474 i robić to, co umiemy najlepiej, czyli przystosować się. 00:03:07.474 --> 00:03:09.479 Czas ma tu znaczenie. 00:03:09.479 --> 00:03:12.330 70 państw rozwija zdalnie sterowane 00:03:12.330 --> 00:03:14.487 drony bojowe na swój użytek. 00:03:14.487 --> 00:03:17.080 Jak zobaczycie, drony są prekursorami 00:03:17.080 --> 00:03:21.552 automatycznej, autonomicznej broni. 00:03:21.552 --> 00:03:24.319 Używanie zdalnie sterowanych dronów 00:03:24.319 --> 00:03:27.703 stoi za 3 potężnymi czynnikami, przenoszącymi podejmowanie decyzji 00:03:27.703 --> 00:03:32.303 z ludzi na samą platformę bojową. NOTE Paragraph 00:03:32.303 --> 00:03:37.562 Pierwszy czynnik to lawina materiału wideo. 00:03:37.562 --> 00:03:41.415 W 2004 r. flota dronów nagrała w sumie 00:03:41.415 --> 00:03:46.727 71 godzin filmów zwiadowczych do analizy. 00:03:46.727 --> 00:03:51.226 Do 2011 r. urosło to do 300 000 godzin, 00:03:51.226 --> 00:03:54.375 co przekraczało możliwości wglądu personelu. 00:03:54.375 --> 00:03:58.039 Nawet ta liczba ma drastycznie wzrosnąć. 00:03:58.039 --> 00:04:00.614 Programy Pentagonu "Gorgon Stare" i "Argus" 00:04:00.614 --> 00:04:03.778 rozmieszczą 65 niezależnie operowanych kamer, 00:04:03.778 --> 00:04:05.816 na każdej dronowej platformie, 00:04:05.816 --> 00:04:09.119 co znacznie przerośnie możliwość przejrzenia nagrań przez ludzi, 00:04:09.119 --> 00:04:11.279 co oznacza, że materiał zostanie przejrzany 00:04:11.279 --> 00:04:15.327 przez wizualne oprogramowanie zwiadowcze. 00:04:15.327 --> 00:04:16.675 Czyli już niedługo 00:04:16.675 --> 00:04:19.422 drony będą decydowały, na co ludzie mają patrzeć, 00:04:19.422 --> 00:04:21.919 nie odwrotnie. NOTE Paragraph 00:04:21.919 --> 00:04:24.392 Następny potężny czynnik 00:04:24.392 --> 00:04:27.775 przenoszący proces decyzyjny z ludzi na maszyny, 00:04:27.775 --> 00:04:30.647 to elektromagnetyczne zagłuszanie, 00:04:30.647 --> 00:04:32.883 ograniczające połączenie między dronem 00:04:32.883 --> 00:04:35.697 a operatorem. 00:04:35.697 --> 00:04:38.315 Przykład tego mieliśmy w 2011 r., 00:04:38.315 --> 00:04:41.271 kiedy amerykański RQ-170, dron Sentinel, 00:04:41.271 --> 00:04:45.578 trochę się zamotał nad Iranem przez atak ogłupiający GPS. 00:04:45.578 --> 00:04:50.692 Zdalnie sterowane drony są podatne na ten rodzaj ataku, 00:04:50.692 --> 00:04:52.744 co oznacza, 00:04:52.744 --> 00:04:56.364 że na nich spocznie proces decyzyjny. 00:04:56.364 --> 00:04:59.407 Będą znały cel misji 00:04:59.407 --> 00:05:04.252 i zareagują wobec nowych okoliczności bez pomocy ludzi. 00:05:04.252 --> 00:05:06.833 Zignorują zewnętrze sygnały radiowe 00:05:06.833 --> 00:05:09.163 i same niewiele ich wyślą. NOTE Paragraph 00:05:09.163 --> 00:05:11.169 No i ostatni, najpotężniejszy czynnik 00:05:11.169 --> 00:05:15.031 przenoszący proces decyzyjny 00:05:15.031 --> 00:05:18.373 z ludzi na maszyny: 00:05:18.373 --> 00:05:21.666 wiarogodne zaprzeczenie odpowiedzialności. 00:05:21.666 --> 00:05:24.553 Żyjemy w czasach globalnej gospodarki. 00:05:24.553 --> 00:05:28.887 Wyspecjalizowana produkcja występuje na większości kontynentów. 00:05:28.887 --> 00:05:31.801 Wirtualne szpiegostwo podkrada zaawansowane projekty, 00:05:31.801 --> 00:05:33.687 Wirtualne szpiegostwo podkrada zaawansowane projekty, 00:05:33.687 --> 00:05:35.701 a jest bardzo prawdopodobne, 00:05:35.701 --> 00:05:40.435 że końcowy projekt drona zostanie gdzieś podrobiony 00:05:40.435 --> 00:05:42.605 i zaleje czarny rynek. 00:05:42.605 --> 00:05:45.065 Wówczas badanie zniszczeń 00:05:45.065 --> 00:05:48.025 po samobójczym ataku drona nie da prostej odpowiedzi, 00:05:48.025 --> 00:05:52.425 kto go wysłał. NOTE Paragraph 00:05:52.425 --> 00:05:55.225 To niesie za sobą poważne ryzyko 00:05:55.225 --> 00:05:58.160 anonimowej wojny. 00:05:58.160 --> 00:06:00.774 Geopolityczna równowaga mogła by się rozchwiać, 00:06:00.774 --> 00:06:04.265 bo państwu trudno byłoby odpowiedzieć na atak, 00:06:04.265 --> 00:06:07.113 co zakłóciłoby dzisiejszą równowagę 00:06:07.113 --> 00:06:10.877 i przesunęło nacisk z obrony na atak. 00:06:10.877 --> 00:06:14.001 Działanie militarne stałyby się dostępne 00:06:14.001 --> 00:06:16.289 nie tylko dla małych państw, 00:06:16.289 --> 00:06:18.834 ale i dla organizacji przestępczych, prywatnych przedsiębiorstw, 00:06:18.834 --> 00:06:21.313 czy wpływowych osób. 00:06:21.313 --> 00:06:24.641 Mogłoby się namnożyć rywalizujących watażków, 00:06:24.641 --> 00:06:28.321 podkopujących rządy prawa i społeczeństwo obywatelskie. 00:06:28.321 --> 00:06:31.937 Jeżeli odpowiedzialność i przejrzystość 00:06:31.937 --> 00:06:34.321 to dwa kamienie węgielne rządu przedstawicielskiego, 00:06:34.321 --> 00:06:38.641 automatyczna, autonomiczna broń może je podkopać. NOTE Paragraph 00:06:38.641 --> 00:06:40.187 Możesz myśleć, 00:06:40.187 --> 00:06:42.433 że obywatele najnowocześniejszych państw 00:06:42.433 --> 00:06:45.136 mieliby przewagę w każdej zautomatyzowanej wojnie, 00:06:45.136 --> 00:06:48.769 że byliby mniej bezbronni, 00:06:48.769 --> 00:06:53.057 szczególnie wobec rozwijających się państw. 00:06:53.057 --> 00:06:56.581 Prawda jest wręcz odwrotna. 00:06:56.581 --> 00:06:58.832 Obywatele najnowocześniejszych społeczeństw 00:06:58.832 --> 00:07:02.561 są bardziej bezbronni w obliczu zautomatyzowanej broni, 00:07:02.561 --> 00:07:07.026 a powód można zsumować jednym słowem: dane. 00:07:07.026 --> 00:07:10.507 Dane napędzają zmodernizowane społeczeństwa. 00:07:10.507 --> 00:07:13.697 Geolokacja komórek, metadane telekomunikacji, 00:07:13.697 --> 00:07:17.169 media społecznościowe, email, SMSy, dane transakcji finansowych, 00:07:17.169 --> 00:07:20.701 dane transportowe - to mnóstwo danych w czasie rzeczywistym, 00:07:20.701 --> 00:07:24.074 o ruchach i interakcjach społecznych. 00:07:24.074 --> 00:07:27.849 Jesteśmy widoczni dla maszyn 00:07:27.849 --> 00:07:30.091 jak nigdy dotąd, 00:07:30.091 --> 00:07:35.707 co świetnie odpowiada potrzebom namierzania przez broń autonomiczną. NOTE Paragraph 00:07:35.707 --> 00:07:37.445 To, co widzicie, 00:07:37.445 --> 00:07:40.691 to analiza mapy połączeń grupy społecznej. 00:07:40.691 --> 00:07:44.325 Linie wskazują łączność społeczną między jednostkami. 00:07:44.325 --> 00:07:47.205 Takie mapy można wygenerować automatycznie, 00:07:47.205 --> 00:07:51.920 na podstawie danych pozostawianych przez współczesne społeczeństwo. 00:07:51.920 --> 00:07:54.397 Służy to do reklamowania towarów i usług 00:07:54.397 --> 00:07:58.813 danemu profilowi demograficznemu, ale ma podwójne zastosowanie, 00:07:58.813 --> 00:08:02.173 bo jest używane też w innym kontekście. 00:08:02.173 --> 00:08:04.733 Zauważcie, że pewne jednostki są podświetlone. 00:08:04.733 --> 00:08:08.013 To centra sieci społecznościowych. 00:08:08.013 --> 00:08:11.603 Osoby kształtujące opinię publiczną, organizatorów i przywódców 00:08:11.603 --> 00:08:14.285 można automatycznie zidentyfikować 00:08:14.285 --> 00:08:16.667 przez ich sposób komunikacji. 00:08:16.667 --> 00:08:18.813 Handlowiec może wysyłać im próbki, 00:08:18.813 --> 00:08:21.356 rozpowszechniać markę 00:08:21.356 --> 00:08:24.185 za pomocą ich grupy społecznej. 00:08:24.185 --> 00:08:26.138 Represyjny rząd może w ten sposób 00:08:26.138 --> 00:08:30.948 znaleźć i usunąć wrogów politycznych, 00:08:30.948 --> 00:08:33.708 zlikwidować ich, rozbić ich grupę społeczną, 00:08:33.708 --> 00:08:36.877 a ci, którzy pozostaną, stracą zwartość społeczną 00:08:36.877 --> 00:08:39.498 i organizację. 00:08:39.498 --> 00:08:42.822 W świecie licznych niedrogich zautomatyzowanych broni, 00:08:42.822 --> 00:08:45.457 granice nie są wystarczającą ochroną 00:08:45.457 --> 00:08:47.403 dla krytyków odległych rządów, 00:08:47.403 --> 00:08:51.049 czy międzynarodowych organizacji kryminalnych. 00:08:51.049 --> 00:08:54.542 Popularne ruchy, agitujące za zmianą, 00:08:54.542 --> 00:08:58.151 można by szybko namierzać, a liderów likwidować, 00:08:58.151 --> 00:09:01.062 zanim ich pomysły osiągną masę krytyczną. 00:09:01.062 --> 00:09:03.653 Idee osiągające masę krytyczną 00:09:03.653 --> 00:09:07.589 to sedno aktywności politycznej popularnych rządów. 00:09:07.589 --> 00:09:11.586 Anonimowa, śmiercionośna broń zrobiłaby z takich ataków 00:09:11.586 --> 00:09:15.368 łatwe rozwiązanie wszelkich skonfliktowanych interesów. 00:09:15.368 --> 00:09:19.102 Zagroziłoby to wolności słowa, 00:09:19.102 --> 00:09:24.410 popularnym akcjom politycznym, czyli esencji demokracji. NOTE Paragraph 00:09:24.410 --> 00:09:27.324 Potrzebujemy międzynarodowego porozumienia 00:09:27.324 --> 00:09:30.864 w kwestii zautomatyzowanych broni, globalnego zakazu 00:09:30.864 --> 00:09:34.772 rozwoju i rozmieszczania zabójczych robotów. 00:09:34.772 --> 00:09:38.026 Mamy już międzynarodowe porozumienia 00:09:38.026 --> 00:09:41.412 co do broni nuklearnej i biologicznej, i chociaż nie są idealne, 00:09:41.412 --> 00:09:43.700 przeważnie skutkują. 00:09:43.700 --> 00:09:47.468 Automatyczne bronie mogą być równie niebezpieczne, 00:09:47.468 --> 00:09:50.756 bo niemal na pewno znajdą użytek 00:09:50.756 --> 00:09:55.783 i zaszkodziłyby demokratycznym instytucjom. NOTE Paragraph 00:09:55.783 --> 00:09:59.251 W listopadzie 2012 Departament Obrony USA 00:09:59.251 --> 00:10:01.709 wydał zarządzenie, wymagające 00:10:01.709 --> 00:10:06.228 udziału człowieka w każdej zabójczej decyzji, 00:10:06.228 --> 00:10:11.004 co oznacza tymczasowy zakaz używania broni autonomicznej w armii USA, 00:10:11.004 --> 00:10:14.757 ale trzeba zmienić je w stałe zarządzenie. 00:10:14.757 --> 00:10:19.133 Mogłoby to zapoczątkować globalny ciąg zdarzeń. 00:10:19.133 --> 00:10:22.978 Potrzebujemy międzynarodowego modelu prawnego 00:10:22.978 --> 00:10:25.116 w kwestii automatycznych broni. 00:10:25.116 --> 00:10:28.044 I potrzebujemy go teraz, zanim nastąpi niszczycielski atak 00:10:28.044 --> 00:10:31.196 lub incydent terrorystyczny, który spowoduje, że narody 00:10:31.196 --> 00:10:33.120 pośpieszą się z przyjęciem tych broni, 00:10:33.120 --> 00:10:36.891 przed przemyśleniem konsekwencji. 00:10:36.891 --> 00:10:39.872 Autonomiczna, zautomatyzowana broń skupia zbyt dużą moc 00:10:39.872 --> 00:10:46.155 w zbyt niewielu rękach, co zagraża samej demokracji. NOTE Paragraph 00:10:46.155 --> 00:10:48.841 Nie zrozumcie mnie źle, jest wiele celów 00:10:48.841 --> 00:10:51.459 do których dronów świetnie się nadają: 00:10:51.459 --> 00:10:55.398 monitorowanie środowiska, poszukiwania i ratunek czy logistyka. 00:10:55.398 --> 00:10:58.224 Mając międzynarodowe porozumienie w sprawie automatycznych broni, 00:10:58.224 --> 00:11:01.811 jak korzystać z autonomicznych dronów 00:11:01.811 --> 00:11:04.459 czy pojazdów, broniąc się jednocześnie 00:11:04.459 --> 00:11:08.439 przed nielegalną zautomatyzowaną bronią? NOTE Paragraph 00:11:08.439 --> 00:11:13.180 Tajemnica polega na przejrzystości. 00:11:13.180 --> 00:11:16.193 Żaden robot nie powinien oczekiwać prywatności 00:11:16.193 --> 00:11:19.644 w miejscu publicznym. NOTE Paragraph 00:11:19.644 --> 00:11:24.692 (Brawa) NOTE Paragraph 00:11:24.692 --> 00:11:26.737 Każdy dron oraz robot powinien mieć 00:11:26.737 --> 00:11:29.620 kryptograficzną metrykę wypaloną fabrycznie, 00:11:29.620 --> 00:11:32.543 używaną do śledzenia jego ruchu \w przestrzeni publicznej. 00:11:32.543 --> 00:11:35.924 Mamy tablice rejestracyjne w samochodach, i numery identyfikacyjne na samolotach. 00:11:35.924 --> 00:11:37.765 Tu nie powinno być inaczej. 00:11:37.765 --> 00:11:39.777 Każdy obywatel powinien mieć dostęp do aplikacji, 00:11:39.777 --> 00:11:42.902 która pokazuje liczbę dronów i autonomicznych pojazdów 00:11:42.902 --> 00:11:45.331 poruszających się w przestrzeni publicznej wokół nich, 00:11:45.331 --> 00:11:48.064 zarówno w teraz jak i w przeszłości. 00:11:48.064 --> 00:11:51.612 Władze miejskie powinny rozmieszczać czujniki i miejskie drony, 00:11:51.612 --> 00:11:53.956 które wykrywałyby rozrabiające drony. 00:11:53.956 --> 00:11:57.132 Zamiast nasyłać na nich własne drony-zabójców, 00:11:57.132 --> 00:12:00.124 powinny powiadomić ludzi o ich obecności. 00:12:00.124 --> 00:12:02.730 W strefach zaostrzonej kontroli 00:12:02.730 --> 00:12:04.639 miejskie drony mogłyby przychwytywać je 00:12:04.639 --> 00:12:07.480 i zaciągać do obiektów rozbrajających. NOTE Paragraph 00:12:07.480 --> 00:12:10.507 To przypomina raczej układ odpornościowy 00:12:10.507 --> 00:12:11.828 niż uzbrojenie. 00:12:11.828 --> 00:12:14.420 Pozwoliłoby to nam korzystać 00:12:14.420 --> 00:12:16.452 z autonomicznych pojazdów czy dronów, 00:12:16.452 --> 00:12:20.747 zachowując otwarte obywatelskie społeczeństwo. NOTE Paragraph 00:12:20.747 --> 00:12:23.746 Musimy zakazać rozmieszczania 00:12:23.746 --> 00:12:25.608 i rozwijania robotów-zabójców. 00:12:25.608 --> 00:12:30.458 Nie ulegajmy pokusie zautomatyzowanej wojny. 00:12:30.458 --> 00:12:33.176 Autokratyczne rządy i organizacje przestępcze 00:12:33.176 --> 00:12:36.132 ulegną jej bez wątpienia, lecz nie łączmy się z nimi. 00:12:36.132 --> 00:12:38.023 Autonomiczna, zautomatyzowana broń 00:12:38.023 --> 00:12:40.074 zgromadziłaby zbyt wiele mocy 00:12:40.074 --> 00:12:42.556 w niewielu niewidzialnych rękach, 00:12:42.556 --> 00:12:45.811 co skorodowałoby rządy reprezentacyjne. 00:12:45.811 --> 00:12:48.772 Upewnijmy się, choćby dla demokracji, 00:12:48.772 --> 00:12:51.376 że zabójcy-roboty pozostaną fikcją. NOTE Paragraph 00:12:51.376 --> 00:12:52.486 Dziękuję. NOTE Paragraph 00:12:52.486 --> 00:12:57.051 (Brawa) 00:12:57.051 --> 00:13:01.667 Dziękuję. (Brawa)