Scriu romane științifico-fantastice. Dacă spun „roboți ucigași" probabil vă gândiți la ceva de genul ăsta. Dar nu sunt aici să vorbesc despre ficțiune. Vreau să vă vorbesc despre roboți ucigași adevărați, dronele de luptă autonome. Nu drone precum Predator sau Reaper, unde oamenii iau deciziile. E vorba de arme robotice complet autonome care iau decizii letale pentru ființele umane de unele singure. Există un termen tehnic pentru asta: autonomie letală. Roboții ucigași autonomi pot avea multe forme -- pot zbura, conduce, sau doar rămâne în așteptare. De fapt, încep să devină realitate. Astea sunt două stații-lunetist automate trimise în zona demilitarizată dintre Coreea de Nord și de Sud. Ambele pot identifica automat și trage în ținte umane, cea din stânga până la un kilometru distanță. În ambele cazuri mai avem un om în ecuație, care ia decizia deschiderii focului, dar nu e o constrângere tehnologică. E o opțiune. Despre această opțiune vreau să discut, pentru că prin transferarea deciziei letale de la oameni la software, nu riscăm doar dispariția oricărei umanități din război, ci și modificarea integrală a peisajului social, departe de câmpul de luptă. Felul în care oamenii rezolvă conflictele dă formă peisajului social. Așa a fost întotdeauna în istorie. De ex., acestea erau sisteme de arme ultramoderne în 1400 d.H. Construirea și întreținerea lor erau foarte scumpe, dar prin ele puteai domina mulțimile, și distribuirea puterii politice în societatea feudală. Puterea era concentrată la vârf. Ce s-a schimbat? Inovația tehnologică. Praf de pușcă, tunuri. Armurile și castelele au devenit inutile, iar pe cine aduceai pe câmpul de luptă conta mai puțin decât câți oameni aduceai. În timp ce armatele creșteau, a apărut statul național, ca cerință politică și logistică a apărării. Pentru că liderii se bazau din ce în ce mai mult pe populație, au început să împartă puterea. A început formarea guvernului reprezentativ. Armele folosite în rezolvarea conflictelor dau formă peisajului social. Armele robotice autonome sunt o astfel de unealtă, dar, incluzând puțini oameni în război, prezintă riscul recentralizării puterii în mâna câtorva, punând capăt unei tendințe de cinci secole spre democrație. Știind asta, putem lua pași decisivi pentru a ne păstra instituțiile democratice, prin ceea ce oamenii fac cel mai bine, adaptându-se. Dar timpul e un factor. Șaptezeci de țări construiesc drone de război autonome, iar dronele pilotate de la distanță, veți vedea, sunt precursorii armelor robotice indepedente. Odată ce ai trimis în luptă drone pilotate de la distanță, există trei factori ce transmit luarea de decizii de la oameni către platforma armată însăși. Primul este mulțimea de video înregistrări colectate. În 2004, flota de drone a SUA a capturat pentru analiză 71 de ore de material video de supraveghere. Până în 2011, ajunsese la 300,000 de ore, depășind capacitatea omului de a le urmări, dar și acest număr e pe cale să crească alarmant. Programele Gorgon Stare și Argus ale Pentagonului vor monta 65 de camere independente pe fiecare platformă de drone, ceea ce ar depăși cu mult capacitatea umană de a le analiza. Va fi nevoie, deci, de software de urmărire vizuală pentru a scana obiectele de interes. În curând, dronele le vor spune oamenilor ce să privească, nu invers. Mai există un motiv pentru cedarea deciziei către mașini, și anume blocajul electromagnetic, ce distruge legătura dintre dronă și operatorul ei. Avem un astfel de exemplu din 2011 când o dronă American RQ-170 Sentinel a fost derutată din cauza unui atac GPS în Iran, dar orice dronă pilotată teleghidat e susceptibilă, ceea ce face necesar ca dronele să aibă mai multă putere de a lua decizii. Vor ști obiectivul misiunii și vor reacționa la împrejurări noi fără ajutor uman. Vor ignora semnalele radio externe și vor trimite puține semnale, la rândul lor. Asta ne aduce la al treilea și cel mai puternic motiv de transferare a deciziei către arme: posibilitatea de a nega plauzibil. Trăim într-o economie globală. Fabricarea de înaltă tehnologie are loc pe mai toate continentele. Spionajul cibernetic duce designuri avansate în locuri necunoscute, iar în acest cadru, e foarte probabil ca un design de succes pentru o dronă să fie furat dintr-o fabrică și să fie larg folosit pe piața neagră. Astfel, analizând rămășițele unui atac sinucigaș cu dronă, va fi greu să determini cine a trimis arma. Devine astfel realitate posibilitatea războiului anonim. Asta ar putea da peste cap echilibrul geopolitic, ar putea crea greutăți unei națiuni în cazul unui răspuns armat împotriva unui atacator, înclinând balanța către ofensivă și nu defensivă în secolul XXI. Ar putea transforma acțiunea militară într-o opțiune viabilă nu doar pentru micile state, dar și pentru organizații criminale, afaceri private, chiar pentru indivizi puternici. Ar putea crea o lume a dictatorilor militari rivali, subminând statul de drept și societatea civilă. Dacă responsabilitatea și transparența sunt baza guvernului reprezentativ, armele robotice autonome le-ar putea submina. Puteți crede că cetățenii națiunilor cu înaltă tehnologie ar deține avantajul în orice război robotic, că cetățenii acestor state ar fi mai puțin vulnerabili, în special împotriva țărilor în curs de dezvoltare. Este exact invers, însă. Cred că cetățenii societăților cu înaltă tehnologie sunt mai vulnerabili armelor robotice pentru un singur motiv: informația. Informația stă la baza societățlor de înaltă tehnologie. Geolocația telefoanelor mobile, metadata din telecomunicații, social media, email, SMS, date ale tranzacțiilor financiare, date despre transport, o grămadă de informații în timp real despre mișcările și interacțiunile sociale ale oamenilor. Pe scurt, suntem mai vizibili pentru mașini decât orice alți oameni din istorie, ceea ce se potrivește perfect stabilirii țintei armelor independente. Ceea ce vedeți e o hartă a legăturilor dintr-un grup social. Liniile reprezintă conexiunea dintre indivizi. Astfel de hărți pot fi generate automat pe baza amprentelor informaționale lăsate de omul modern. Se folosește, de obicei, pentru a vinde bunuri și servicii către grupuri-țintă, dar e o tehnologie cu dublă folosință, pentru că stabilirea de ținte se face în alt context. Observați că anumiți oameni sunt marcați. Aceștia sunt portaluri ale rețelelor de socializare. Sunt organizatori, formatori de opinie, lideri și pot fi identificați automat prin modelul lor de comunicare. Dacă lucrezi în marketing, le-ai putea oferi mostre pentru a lărgi renumele firmei în grupul lor social. Dar, dacă ești un guvern represiv ce caută inamici politici, ai putea încerca să îi elimini. Elimină-i pe ei, distruge-le grupul social, iar cei ce rămân își pierd coeziunea socială și organizarea. Într-o lume în care armele robotice ieftine se înmulțesc, granițele oferă foarte puțină protecție criticilor guvernelor din străinătate sau organizațiilor criminale transnaționale. Mișcările populare pentru schimbare ar fi identificate rapide, iar liderul lor eliminat, înainte ca ideile lor să devină cunoscute larg. Iar un public larg pentru idei e elementul central al activismului politic în guvernul popular. Armele letale anonime ar putea face ca acțiuni letale să devină o alegere ușoară în orice conflict de interese. Iar asta ar îngheța libertatea de exprimare și acțiunea politică populară, însăși inima democrației. De aceea e nevoie de un tratat internațional asupra armelor robotice și, mai ales, o interdicție globală asupra dezvoltării și folosirii roboților ucigași. Avem deja tratate internaționale despre arme nucleare și biologice care, deși imperfecte, funcționează, în mare parte. Armele robotice pot fi la fel de periculoase, pentru că folosirea lor e aproape certă și ar fi dăunătoare instituțiilor noastre democratice. În noiembrie 2012, Departamentul de Apărare SUA a lansat o directivă care cere prezența unui om la luarea oricărei decizii letale. Asta a dus la blocarea temporară a armelor autonome în armata SUA, dar directiva trebuie să devină permanentă. În plus, ar putea să dea startul unei acțiuni globale. Pentru că avem nevoie de un cadru legal internațional pentru arme robotice. E nevoie de el acum, înaintea unui atac devastator sau a unui incident terorist care să facă întreaga lume să adopte rapid aceste arme înainte de a se gândi la consecințe. Armele robotice autonome concentrează prea multă putere în mâinile a prea puținor oameni, periclitând democrația. Nu mă înțelegeți greșit, cred că-s o groază de utilizări minunate pentru dronele civile neînarmate: monitorizarea mediului, căutări și operațiuni de salvare, logistică. Cu un tratat internațional asupra armelor robotice, cum exploatăm beneficiile dronelor și a vehiculelor autonome, protejându-ne în același timp de armele robotice ilegale? Cred că secretul e transparența. Niciun robot nu ar trebui să fie privat într-un loc public. (Aplauze) Fiecare robot și fiecare dronă ar trebui să aibă o identificare semnată criptografic încă din fabrică, folosită pentru a-i urmări mișcările în spațiul public. Avem plăcuțe de înmatriculare pe mașini, pe avioane. Nu e nicio diferență. Fiecare cetățean ar trebui să poată descărca o aplicație care să îi arate populația de drone și vehicule autonome deplasându-se în spații publice în jurul lor, acum și în viitor. Iar liderii municipali ar trebui să trimită senzori și drone civice pentru detectarea dronelor ilegale, dar nu să trimită drone ucigașe să le distrugă, ci să anunțe oamenii despre prezența lor. Iar în zone de înaltă securitate, poate că dronele civile le-ar prinde și le-ar duce către o locație de dezactivare a bombelor. Observați, e mai mult un sistem de imunitate, decât unul armat. Ne-ar permite să ne folosim de vehiculele și dronele autonome, fără a ne pierde societatea civilă transparentă. Trebuie interzisă folosirea și crearea de roboți ucigași. Să nu cedăm tentației de a automatiza războiul. Guvernele autocrate și organizațiile criminale o vor face, dar noi să nu ne alăturăm. Armele robotice autonome ar concentra prea multă putere în mâinile a prea puțini oameni, iar asta ar degrada guvernul reprezentativ. Să ne asigurăm, măcar de dragul democrației, că roboții ucigași vor rămâne ficțiune. Mulțumesc. (Aplauze) Mulțumesc. (Aplauze)