Scriu romane științifico-fantastice.
Dacă spun „roboți ucigași"
probabil vă gândiți la ceva de genul ăsta.
Dar nu sunt aici să vorbesc despre ficțiune.
Vreau să vă vorbesc despre roboți ucigași adevărați,
dronele de luptă autonome.
Nu drone precum Predator sau Reaper,
unde oamenii iau deciziile.
E vorba de arme robotice complet autonome
care iau decizii letale pentru ființele umane
de unele singure.
Există un termen tehnic pentru asta: autonomie letală.
Roboții ucigași autonomi
pot avea multe forme -- pot zbura, conduce,
sau doar rămâne în așteptare.
De fapt, încep să devină realitate.
Astea sunt două stații-lunetist automate
trimise în zona demilitarizată dintre Coreea de Nord și de Sud.
Ambele pot identifica automat
și trage în ținte umane,
cea din stânga până la un kilometru distanță.
În ambele cazuri mai avem un om în ecuație,
care ia decizia deschiderii focului,
dar nu e o constrângere tehnologică. E o opțiune.
Despre această opțiune vreau să discut,
pentru că prin transferarea deciziei letale
de la oameni la software,
nu riscăm doar dispariția oricărei umanități din război,
ci și modificarea integrală a peisajului social,
departe de câmpul de luptă.
Felul în care oamenii rezolvă conflictele
dă formă peisajului social.
Așa a fost întotdeauna în istorie.
De ex., acestea erau sisteme de arme ultramoderne
în 1400 d.H.
Construirea și întreținerea lor erau foarte scumpe,
dar prin ele puteai domina mulțimile,
și distribuirea puterii politice în societatea feudală.
Puterea era concentrată la vârf.
Ce s-a schimbat? Inovația tehnologică.
Praf de pușcă, tunuri.
Armurile și castelele au devenit inutile,
iar pe cine aduceai pe câmpul de luptă conta mai puțin
decât câți oameni aduceai.
În timp ce armatele creșteau, a apărut statul național,
ca cerință politică și logistică a apărării.
Pentru că liderii se bazau din ce în ce mai mult pe populație,
au început să împartă puterea.
A început formarea guvernului reprezentativ.
Armele folosite în rezolvarea conflictelor
dau formă peisajului social.
Armele robotice autonome sunt o astfel de unealtă,
dar, incluzând puțini oameni în război,
prezintă riscul recentralizării puterii în mâna câtorva,
punând capăt unei tendințe de cinci secole spre democrație.
Știind asta, putem lua pași decisivi
pentru a ne păstra instituțiile democratice,
prin ceea ce oamenii fac cel mai bine, adaptându-se.
Dar timpul e un factor.
Șaptezeci de țări construiesc
drone de război autonome,
iar dronele pilotate de la distanță, veți vedea,
sunt precursorii armelor robotice indepedente.
Odată ce ai trimis în luptă drone pilotate de la distanță,
există trei factori ce transmit luarea de decizii
de la oameni către platforma armată însăși.
Primul este mulțimea de video înregistrări colectate.
În 2004, flota de drone a SUA a capturat pentru analiză
71 de ore de material video de supraveghere.
Până în 2011, ajunsese la 300,000 de ore,
depășind capacitatea omului de a le urmări,
dar și acest număr e pe cale să crească alarmant.
Programele Gorgon Stare și Argus ale Pentagonului
vor monta 65 de camere independente
pe fiecare platformă de drone,
ceea ce ar depăși cu mult capacitatea umană de a le analiza.
Va fi nevoie, deci, de software de urmărire vizuală
pentru a scana obiectele de interes.
În curând,
dronele le vor spune oamenilor ce să privească,
nu invers.
Mai există un motiv
pentru cedarea deciziei către mașini,
și anume blocajul electromagnetic,
ce distruge legătura dintre dronă
și operatorul ei.
Avem un astfel de exemplu din 2011
când o dronă American RQ-170 Sentinel
a fost derutată din cauza unui atac GPS în Iran,
dar orice dronă pilotată teleghidat e susceptibilă,
ceea ce face necesar ca dronele
să aibă mai multă putere de a lua decizii.
Vor ști obiectivul misiunii
și vor reacționa la împrejurări noi fără ajutor uman.
Vor ignora semnalele radio externe
și vor trimite puține semnale, la rândul lor.
Asta ne aduce la al treilea
și cel mai puternic motiv de transferare
a deciziei către arme:
posibilitatea de a nega plauzibil.
Trăim într-o economie globală.
Fabricarea de înaltă tehnologie are loc pe mai toate continentele.
Spionajul cibernetic duce designuri avansate
în locuri necunoscute,
iar în acest cadru, e foarte probabil
ca un design de succes pentru o dronă să fie furat dintr-o fabrică
și să fie larg folosit pe piața neagră.
Astfel, analizând rămășițele unui atac
sinucigaș cu dronă, va fi greu
să determini cine a trimis arma.
Devine astfel realitate posibilitatea
războiului anonim.
Asta ar putea da peste cap echilibrul geopolitic,
ar putea crea greutăți unei națiuni în cazul unui răspuns armat
împotriva unui atacator, înclinând balanța
către ofensivă și nu defensivă în secolul XXI.
Ar putea transforma acțiunea militară într-o opțiune viabilă
nu doar pentru micile state,
dar și pentru organizații criminale, afaceri private,
chiar pentru indivizi puternici.
Ar putea crea o lume a dictatorilor militari rivali,
subminând statul de drept și societatea civilă.
Dacă responsabilitatea și transparența
sunt baza guvernului reprezentativ,
armele robotice autonome le-ar putea submina.
Puteți crede
că cetățenii națiunilor cu înaltă tehnologie
ar deține avantajul în orice război robotic,
că cetățenii acestor state ar fi mai puțin vulnerabili,
în special împotriva țărilor în curs de dezvoltare.
Este exact invers, însă.
Cred că cetățenii societăților cu înaltă tehnologie
sunt mai vulnerabili armelor robotice
pentru un singur motiv: informația.
Informația stă la baza societățlor de înaltă tehnologie.
Geolocația telefoanelor mobile, metadata din telecomunicații,
social media, email, SMS, date ale tranzacțiilor financiare,
date despre transport, o grămadă de informații în timp real
despre mișcările și interacțiunile sociale ale oamenilor.
Pe scurt, suntem mai vizibili pentru mașini
decât orice alți oameni din istorie,
ceea ce se potrivește perfect stabilirii țintei armelor independente.
Ceea ce vedeți
e o hartă a legăturilor dintr-un grup social.
Liniile reprezintă conexiunea dintre indivizi.
Astfel de hărți pot fi generate automat
pe baza amprentelor informaționale lăsate de omul modern.
Se folosește, de obicei, pentru a vinde bunuri și servicii
către grupuri-țintă, dar e o tehnologie cu dublă folosință,
pentru că stabilirea de ținte se face în alt context.
Observați că anumiți oameni sunt marcați.
Aceștia sunt portaluri ale rețelelor de socializare.
Sunt organizatori, formatori de opinie, lideri
și pot fi identificați automat
prin modelul lor de comunicare.
Dacă lucrezi în marketing, le-ai putea oferi mostre
pentru a lărgi renumele firmei
în grupul lor social.
Dar, dacă ești un guvern represiv ce caută
inamici politici, ai putea încerca să îi elimini.
Elimină-i pe ei, distruge-le grupul social,
iar cei ce rămân își pierd coeziunea socială
și organizarea.
Într-o lume în care armele robotice ieftine se înmulțesc,
granițele oferă foarte puțină protecție
criticilor guvernelor din străinătate
sau organizațiilor criminale transnaționale.
Mișcările populare pentru schimbare
ar fi identificate rapide, iar liderul lor eliminat,
înainte ca ideile lor să devină cunoscute larg.
Iar un public larg pentru idei
e elementul central al activismului politic în guvernul popular.
Armele letale anonime ar putea face ca acțiuni letale
să devină o alegere ușoară în orice conflict de interese.
Iar asta ar îngheța libertatea de exprimare
și acțiunea politică populară, însăși inima democrației.
De aceea e nevoie de un tratat internațional
asupra armelor robotice și, mai ales, o interdicție globală
asupra dezvoltării și folosirii roboților ucigași.
Avem deja tratate internaționale despre
arme nucleare și biologice care, deși imperfecte,
funcționează, în mare parte.
Armele robotice pot fi la fel de periculoase,
pentru că folosirea lor e aproape certă
și ar fi dăunătoare instituțiilor noastre democratice.
În noiembrie 2012, Departamentul de Apărare SUA
a lansat o directivă care cere
prezența unui om la luarea oricărei decizii letale.
Asta a dus la blocarea temporară a armelor autonome în armata SUA,
dar directiva trebuie să devină permanentă.
În plus, ar putea să dea startul unei acțiuni globale.
Pentru că avem nevoie de un cadru legal internațional
pentru arme robotice.
E nevoie de el acum, înaintea unui atac devastator
sau a unui incident terorist care să facă întreaga lume
să adopte rapid aceste arme
înainte de a se gândi la consecințe.
Armele robotice autonome concentrează prea multă putere
în mâinile a prea puținor oameni, periclitând democrația.
Nu mă înțelegeți greșit, cred că-s o groază
de utilizări minunate pentru dronele civile neînarmate:
monitorizarea mediului, căutări și operațiuni de salvare, logistică.
Cu un tratat internațional asupra armelor robotice,
cum exploatăm beneficiile dronelor și a vehiculelor
autonome, protejându-ne în același timp
de armele robotice ilegale?
Cred că secretul e transparența.
Niciun robot nu ar trebui să fie privat
într-un loc public.
(Aplauze)
Fiecare robot și fiecare dronă ar trebui să aibă
o identificare semnată criptografic încă din fabrică,
folosită pentru a-i urmări mișcările în spațiul public.
Avem plăcuțe de înmatriculare pe mașini, pe avioane.
Nu e nicio diferență.
Fiecare cetățean ar trebui să poată descărca o aplicație
care să îi arate populația de drone și vehicule autonome
deplasându-se în spații publice în jurul lor,
acum și în viitor.
Iar liderii municipali ar trebui să trimită senzori și drone civice
pentru detectarea dronelor ilegale,
dar nu să trimită drone ucigașe să le distrugă,
ci să anunțe oamenii despre prezența lor.
Iar în zone de înaltă securitate,
poate că dronele civile le-ar prinde
și le-ar duce către o locație de dezactivare a bombelor.
Observați, e mai mult un sistem de imunitate,
decât unul armat.
Ne-ar permite să ne folosim de
vehiculele și dronele autonome,
fără a ne pierde societatea civilă transparentă.
Trebuie interzisă folosirea și crearea
de roboți ucigași.
Să nu cedăm tentației de a automatiza războiul.
Guvernele autocrate și organizațiile criminale
o vor face, dar noi să nu ne alăturăm.
Armele robotice autonome
ar concentra prea multă putere
în mâinile a prea puțini oameni,
iar asta ar degrada guvernul reprezentativ.
Să ne asigurăm, măcar de dragul democrației,
că roboții ucigași vor rămâne ficțiune.
Mulțumesc.
(Aplauze)
Mulțumesc. (Aplauze)