Decizia de a ucide nu trebuie să aparțină unui robot

Fiind romancier, Daniel Suarez creează povestiri distopice despre viitor. Dar, pe scena TEDGlobal ne vorbește despre un scenariu real, despre care ar trebui să știm cu toții mai multe: apariția armelor robotice autonome. Dronele și armele automate și uneltele de spionaj cu inteligență artificială, ar putea răpi decizia de a crea un război din mâinile oamenilor.

Scriu romane științifico-fantastice.

Dacă spun „roboți ucigași"

probabil vă gândiți la ceva de genul ăsta.

Dar nu sunt aici să vorbesc despre ficțiune.

Vreau să vă vorbesc despre roboți ucigași adevărați,

dronele de luptă autonome.

Nu drone precum Predator sau Reaper,

unde oamenii iau deciziile.

E vorba de arme robotice complet autonome

care iau decizii letale pentru ființele umane

de unele singure.

Există un termen tehnic pentru asta:
autonomie letală.

Roboții ucigași autonomi

pot avea multe forme -- pot zbura, conduce,

sau doar rămâne în așteptare.

De fapt, încep să devină realitate.

Astea sunt două stații-lunetist automate

trimise în zona demilitarizată dintre Coreea de Nord și de Sud.

Ambele pot identifica automat

și trage în ținte umane,

cea din stânga până la un kilometru distanță.

În ambele cazuri mai avem un om în ecuație,

care ia decizia deschiderii focului,

dar nu e o constrângere tehnologică.
E o opțiune.

Despre această opțiune vreau să discut,

pentru că prin transferarea deciziei letale

de la oameni la software,

nu riscăm doar dispariția oricărei umanități din război,

ci și modificarea integrală a peisajului social,

departe de câmpul de luptă.

Felul în care oamenii rezolvă conflictele

dă formă peisajului social.

Așa a fost întotdeauna în istorie.

De ex., acestea erau sisteme de arme ultramoderne

în 1400 d.H.

Construirea și întreținerea lor erau foarte scumpe,

dar prin ele puteai domina mulțimile,

și distribuirea puterii politice în societatea feudală.

Puterea era concentrată la vârf.

Ce s-a schimbat? Inovația tehnologică.

Praf de pușcă, tunuri.

Armurile și castelele au devenit inutile,

iar pe cine aduceai pe câmpul de luptă conta mai puțin

decât câți oameni aduceai.

În timp ce armatele creșteau, a apărut statul național,

ca cerință politică și logistică a apărării.

Pentru că liderii se bazau din ce în ce mai mult pe populație,

au început să împartă puterea.

A început formarea guvernului reprezentativ.

Armele folosite în rezolvarea conflictelor

dau formă peisajului social.

Armele robotice autonome sunt o astfel de unealtă,

dar, incluzând puțini oameni în război,

prezintă riscul recentralizării puterii în mâna câtorva,

punând capăt unei tendințe de cinci secole spre democrație.

Știind asta, putem lua pași decisivi

pentru a ne păstra instituțiile democratice,

prin ceea ce oamenii fac cel mai bine, adaptându-se.

Dar timpul e un factor.

Șaptezeci de țări construiesc

drone de război autonome,

iar dronele pilotate de la distanță, veți vedea,

sunt precursorii armelor robotice indepedente.

Odată ce ai trimis în luptă drone pilotate de la distanță,

există trei factori ce transmit luarea de decizii

de la oameni către platforma armată însăși.

Primul este mulțimea de video înregistrări colectate.

În 2004, flota de drone a SUA a capturat pentru analiză

71 de ore de material video de supraveghere.

Până în 2011, ajunsese la 300,000 de ore,

depășind capacitatea omului de a le urmări,

dar și acest număr e pe cale să crească alarmant.

Programele Gorgon Stare și Argus ale Pentagonului

vor monta 65 de camere independente

pe fiecare platformă de drone,

ceea ce ar depăși cu mult capacitatea umană de a le analiza.

Va fi nevoie, deci, de software de urmărire vizuală

pentru a scana obiectele de interes.

În curând,

dronele le vor spune oamenilor ce să privească,

nu invers.

Mai există un motiv

pentru cedarea deciziei către mașini,

și anume blocajul electromagnetic,

ce distruge legătura dintre dronă

și operatorul ei.

Avem un astfel de exemplu din 2011

când o dronă American RQ-170 Sentinel

a fost derutată din cauza unui atac GPS în Iran,

dar orice dronă pilotată teleghidat e susceptibilă,

ceea ce face necesar ca dronele

să aibă mai multă putere de a lua decizii.

Vor ști obiectivul misiunii

și vor reacționa la împrejurări noi fără ajutor uman.

Vor ignora semnalele radio externe

și vor trimite puține semnale, la rândul lor.

Asta ne aduce la al treilea

și cel mai puternic motiv de transferare

a deciziei către arme:

posibilitatea de a nega plauzibil.

Trăim într-o economie globală.

Fabricarea de înaltă tehnologie are loc pe mai toate continentele.

Spionajul cibernetic duce designuri avansate

în locuri necunoscute,

iar în acest cadru, e foarte probabil

ca un design de succes pentru o dronă să fie furat dintr-o fabrică

și să fie larg folosit pe piața neagră.

Astfel, analizând rămășițele unui atac

sinucigaș cu dronă, va fi greu

să determini cine a trimis arma.

Devine astfel realitate posibilitatea

războiului anonim.

Asta ar putea da peste cap echilibrul geopolitic,

ar putea crea greutăți unei națiuni
în cazul unui răspuns armat

împotriva unui atacator, înclinând balanța

către ofensivă și nu defensivă în secolul XXI.

Ar putea transforma acțiunea militară într-o opțiune viabilă

nu doar pentru micile state,

dar și pentru organizații criminale, afaceri private,

chiar pentru indivizi puternici.

Ar putea crea o lume a dictatorilor militari rivali,

subminând statul de drept și societatea civilă.

Dacă responsabilitatea și transparența

sunt baza guvernului reprezentativ,

armele robotice autonome le-ar putea submina.

Puteți crede

că cetățenii națiunilor cu înaltă tehnologie

ar deține avantajul în orice război robotic,

că cetățenii acestor state ar fi mai puțin vulnerabili,

în special împotriva țărilor în curs de dezvoltare.

Este exact invers, însă.

Cred că cetățenii societăților cu înaltă tehnologie

sunt mai vulnerabili armelor robotice

pentru un singur motiv: informația.

Informația stă la baza societățlor de înaltă tehnologie.

Geolocația telefoanelor mobile, metadata din telecomunicații,

social media, email, SMS, date ale tranzacțiilor financiare,

date despre transport, o grămadă de informații în timp real

despre mișcările și interacțiunile sociale ale oamenilor.

Pe scurt, suntem mai vizibili pentru mașini

decât orice alți oameni din istorie,

ceea ce se potrivește perfect stabilirii țintei armelor independente.

Ceea ce vedeți

e o hartă a legăturilor dintr-un grup social.

Liniile reprezintă conexiunea dintre indivizi.

Astfel de hărți pot fi generate automat

pe baza amprentelor informaționale lăsate de omul modern.

Se folosește, de obicei, pentru a vinde bunuri și servicii

către grupuri-țintă, dar e o tehnologie cu dublă folosință,

pentru că stabilirea de ținte se face în alt context.

Observați că anumiți oameni sunt marcați.

Aceștia sunt portaluri ale rețelelor de socializare.

Sunt organizatori, formatori de opinie, lideri

și pot fi identificați automat

prin modelul lor de comunicare.

Dacă lucrezi în marketing, le-ai putea oferi mostre

pentru a lărgi renumele firmei

în grupul lor social.

Dar, dacă ești un guvern represiv ce caută

inamici politici, ai putea încerca să îi elimini.

Elimină-i pe ei, distruge-le grupul social,

iar cei ce rămân își pierd coeziunea socială

și organizarea.

Într-o lume în care armele robotice ieftine se înmulțesc,

granițele oferă foarte puțină protecție

criticilor guvernelor din străinătate

sau organizațiilor criminale transnaționale.

Mișcările populare pentru schimbare

ar fi identificate rapide, iar liderul lor eliminat,

înainte ca ideile lor să devină cunoscute larg.

Iar un public larg pentru idei

e elementul central al activismului politic în guvernul popular.

Armele letale anonime ar putea face ca acțiuni letale

să devină o alegere ușoară în orice conflict de interese.

Iar asta ar îngheța libertatea de exprimare

și acțiunea politică populară, însăși inima democrației.

De aceea e nevoie de un tratat internațional

asupra armelor robotice și, mai ales, o interdicție globală

asupra dezvoltării și folosirii roboților ucigași.

Avem deja tratate internaționale despre

arme nucleare și biologice care, deși imperfecte,

funcționează, în mare parte.

Armele robotice pot fi la fel de periculoase,

pentru că folosirea lor e aproape certă

și ar fi dăunătoare instituțiilor noastre democratice.

În noiembrie 2012, Departamentul de Apărare SUA

a lansat o directivă care cere

prezența unui om la luarea oricărei decizii letale.

Asta a dus la blocarea temporară a armelor autonome în armata SUA,

dar directiva trebuie să devină permanentă.

În plus, ar putea să dea startul unei acțiuni globale.

Pentru că avem nevoie de un cadru legal internațional

pentru arme robotice.

E nevoie de el acum, înaintea unui atac devastator

sau a unui incident terorist care să facă întreaga lume

să adopte rapid aceste arme

înainte de a se gândi la consecințe.

Armele robotice autonome concentrează prea multă putere

în mâinile a prea puținor oameni,
periclitând democrația.

Nu mă înțelegeți greșit, cred că-s o groază

de utilizări minunate pentru dronele civile neînarmate:

monitorizarea mediului, căutări și operațiuni de salvare, logistică.

Cu un tratat internațional asupra armelor robotice,

cum exploatăm beneficiile dronelor și a vehiculelor

autonome, protejându-ne în același timp

de armele robotice ilegale?

Cred că secretul e transparența.

Niciun robot nu ar trebui să fie privat

într-un loc public.

(Aplauze)

Fiecare robot și fiecare dronă ar trebui să aibă

o identificare semnată criptografic încă din fabrică,

folosită pentru a-i urmări mișcările în spațiul public.

Avem plăcuțe de înmatriculare pe mașini, pe avioane.

Nu e nicio diferență.

Fiecare cetățean ar trebui să poată descărca o aplicație

care să îi arate populația de drone și vehicule autonome

deplasându-se în spații publice în jurul lor,

acum și în viitor.

Iar liderii municipali ar trebui să trimită senzori și drone civice

pentru detectarea dronelor ilegale,

dar nu să trimită drone ucigașe să le distrugă,

ci să anunțe oamenii despre prezența lor.

Iar în zone de înaltă securitate,

poate că dronele civile le-ar prinde

și le-ar duce către o locație de dezactivare a bombelor.

Observați, e mai mult un sistem de imunitate,

decât unul armat.

Ne-ar permite să ne folosim de

vehiculele și dronele autonome,

fără a ne pierde societatea civilă transparentă.

Trebuie interzisă folosirea și crearea

de roboți ucigași.

Să nu cedăm tentației de a automatiza războiul.

Guvernele autocrate și organizațiile criminale

o vor face, dar noi să nu ne alăturăm.

Armele robotice autonome

ar concentra prea multă putere

în mâinile a prea puțini oameni,

iar asta ar degrada guvernul reprezentativ.

Să ne asigurăm, măcar de dragul democrației,

că roboții ucigași vor rămâne ficțiune.

Mulțumesc.

(Aplauze)

Mulțumesc. (Aplauze)