0:00:00.691,0:00:03.849
Scriu romane științifico-fantastice.

0:00:03.849,0:00:06.042
Dacă spun „roboți ucigași"

0:00:06.042,0:00:08.403
probabil vă gândiți la ceva de genul ăsta.

0:00:08.403,0:00:10.958
Dar nu sunt aici să vorbesc despre ficțiune.

0:00:10.958,0:00:13.906
Vreau să vă vorbesc despre roboți ucigași adevărați,

0:00:13.906,0:00:17.028
dronele de luptă autonome.

0:00:17.028,0:00:20.655
Nu drone precum Predator sau Reaper,

0:00:20.655,0:00:23.915
unde oamenii iau deciziile.

0:00:23.915,0:00:27.044
E vorba de arme robotice complet autonome

0:00:27.044,0:00:29.698
care iau decizii letale pentru ființele umane

0:00:29.698,0:00:32.115
de unele singure.

0:00:32.115,0:00:36.115
Există un termen tehnic pentru asta: [br]autonomie letală.

0:00:36.115,0:00:38.971
Roboții ucigași autonomi

0:00:38.971,0:00:42.040
pot avea multe forme -- pot zbura, conduce,

0:00:42.040,0:00:44.786
sau doar rămâne în așteptare.

0:00:44.786,0:00:47.895
De fapt, încep să devină realitate.

0:00:47.895,0:00:50.379
Astea sunt două stații-lunetist automate

0:00:50.379,0:00:54.516
trimise în zona demilitarizată dintre Coreea de Nord și de Sud.

0:00:54.516,0:00:56.687
Ambele pot identifica automat

0:00:56.687,0:01:00.211
și trage în ținte umane,

0:01:00.211,0:01:04.535
cea din stânga până la un kilometru distanță.

0:01:04.535,0:01:08.124
În ambele cazuri mai avem un om în ecuație,

0:01:08.124,0:01:10.496
care ia decizia deschiderii focului,

0:01:10.496,0:01:15.909
dar nu e o constrângere tehnologică. [br]E o opțiune.

0:01:15.909,0:01:19.002
Despre această opțiune vreau să discut,

0:01:19.002,0:01:21.643
pentru că prin transferarea deciziei letale

0:01:21.643,0:01:24.752
de la oameni la software,

0:01:24.752,0:01:28.228
nu riscăm doar dispariția oricărei umanități din război,

0:01:28.228,0:01:31.754
ci și modificarea integrală a peisajului social,

0:01:31.754,0:01:33.978
departe de câmpul de luptă.

0:01:33.978,0:01:38.487
Felul în care oamenii rezolvă conflictele

0:01:38.487,0:01:40.220
dă formă peisajului social.

0:01:40.220,0:01:42.853
Așa a fost întotdeauna în istorie.

0:01:42.853,0:01:45.514
De ex., acestea erau sisteme de arme ultramoderne

0:01:45.514,0:01:47.593
în 1400 d.H.

0:01:47.593,0:01:50.737
Construirea și întreținerea lor erau foarte scumpe,

0:01:50.737,0:01:53.977
dar prin ele puteai domina mulțimile,

0:01:53.977,0:01:57.866
și distribuirea puterii politice în societatea feudală.

0:01:57.866,0:02:00.553
Puterea era concentrată la vârf.

0:02:00.553,0:02:04.081
Ce s-a schimbat? Inovația tehnologică.

0:02:04.081,0:02:05.952
Praf de pușcă, tunuri.

0:02:05.952,0:02:09.769
Armurile și castelele au devenit inutile,

0:02:09.769,0:02:12.302
iar pe cine aduceai pe câmpul de luptă conta mai puțin

0:02:12.302,0:02:16.081
decât câți oameni aduceai.

0:02:16.081,0:02:19.719
În timp ce armatele creșteau, a apărut statul național,

0:02:19.719,0:02:23.399
ca cerință politică și logistică a apărării.

0:02:23.399,0:02:25.775
Pentru că liderii se bazau din ce în ce mai mult pe populație,

0:02:25.775,0:02:27.608
au început să împartă puterea.

0:02:27.608,0:02:30.207
A început formarea guvernului reprezentativ.

0:02:30.207,0:02:33.495
Armele folosite în rezolvarea conflictelor

0:02:33.495,0:02:36.799
dau formă peisajului social.

0:02:36.799,0:02:40.863
Armele robotice autonome sunt o astfel de unealtă,

0:02:40.863,0:02:46.031
dar, incluzând puțini oameni în război,

0:02:46.031,0:02:50.871
prezintă riscul recentralizării puterii în mâna câtorva,

0:02:50.871,0:02:57.386
punând capăt unei tendințe de cinci secole spre democrație.

0:02:57.386,0:02:59.143
Știind asta, putem lua pași decisivi

0:02:59.143,0:03:03.495
pentru a ne păstra instituțiile democratice,

0:03:03.495,0:03:07.474
prin ceea ce oamenii fac cel mai bine, adaptându-se.

0:03:07.474,0:03:09.479
Dar timpul e un factor.

0:03:09.479,0:03:12.330
Șaptezeci de țări construiesc

0:03:12.330,0:03:14.487
drone de război autonome,

0:03:14.487,0:03:17.080
iar dronele pilotate de la distanță, veți vedea,

0:03:17.080,0:03:21.552
sunt precursorii armelor robotice indepedente.

0:03:21.552,0:03:24.319
Odată ce ai trimis în luptă drone pilotate de la distanță,

0:03:24.319,0:03:27.703
există trei factori ce transmit luarea de decizii

0:03:27.703,0:03:32.303
de la oameni către platforma armată însăși.

0:03:32.303,0:03:37.562
Primul este mulțimea de video înregistrări colectate.

0:03:37.562,0:03:41.415
În 2004, flota de drone a SUA a capturat pentru analiză

0:03:41.415,0:03:46.727
71 de ore de material video de supraveghere.

0:03:46.727,0:03:51.226
Până în 2011, ajunsese la 300,000 de ore,

0:03:51.226,0:03:54.375
depășind capacitatea omului de a le urmări,

0:03:54.375,0:03:58.039
dar și acest număr e pe cale să crească alarmant.

0:03:58.039,0:04:00.614
Programele Gorgon Stare și Argus ale Pentagonului

0:04:00.614,0:04:03.778
vor monta 65 de camere independente

0:04:03.778,0:04:05.816
pe fiecare platformă de drone,

0:04:05.816,0:04:09.119
ceea ce ar depăși cu mult capacitatea umană de a le analiza.

0:04:09.119,0:04:11.279
Va fi nevoie, deci, de software de urmărire vizuală

0:04:11.279,0:04:15.327
pentru a scana obiectele de interes.

0:04:15.327,0:04:16.675
În curând,

0:04:16.675,0:04:19.422
dronele le vor spune oamenilor ce să privească,

0:04:19.422,0:04:21.919
nu invers.

0:04:21.919,0:04:24.392
Mai există un motiv

0:04:24.392,0:04:27.775
pentru cedarea deciziei către mașini,

0:04:27.775,0:04:30.647
și anume blocajul electromagnetic,

0:04:30.647,0:04:32.883
ce distruge legătura dintre dronă

0:04:32.883,0:04:35.697
și operatorul ei.

0:04:35.697,0:04:38.315
Avem un astfel de exemplu din 2011

0:04:38.315,0:04:41.271
când o dronă American RQ-170 Sentinel

0:04:41.271,0:04:45.578
a fost derutată din cauza unui atac GPS în Iran,

0:04:45.578,0:04:50.692
dar orice dronă pilotată teleghidat e susceptibilă,

0:04:50.692,0:04:52.744
ceea ce face necesar ca dronele

0:04:52.744,0:04:56.364
să aibă mai multă putere de a lua decizii.

0:04:56.364,0:04:59.407
Vor ști obiectivul misiunii

0:04:59.407,0:05:04.252
și vor reacționa la împrejurări noi fără ajutor uman.

0:05:04.252,0:05:06.833
Vor ignora semnalele radio externe

0:05:06.833,0:05:09.163
și vor trimite puține semnale, la rândul lor.

0:05:09.163,0:05:11.169
Asta ne aduce la al treilea

0:05:11.169,0:05:15.031
și cel mai puternic motiv de transferare

0:05:15.031,0:05:18.373
a deciziei către arme:

0:05:18.373,0:05:21.666
posibilitatea de a nega plauzibil.

0:05:21.666,0:05:24.553
Trăim într-o economie globală.

0:05:24.553,0:05:28.887
Fabricarea de înaltă tehnologie are loc pe mai toate continentele.

0:05:28.887,0:05:31.801
Spionajul cibernetic duce designuri avansate

0:05:31.801,0:05:33.687
în locuri necunoscute,

0:05:33.687,0:05:35.701
iar în acest cadru, e foarte probabil

0:05:35.701,0:05:40.435
ca un design de succes pentru o dronă să fie furat dintr-o fabrică

0:05:40.435,0:05:42.605
și să fie larg folosit pe piața neagră.

0:05:42.605,0:05:45.065
Astfel, analizând rămășițele unui atac

0:05:45.065,0:05:48.025
sinucigaș cu dronă, va fi greu

0:05:48.025,0:05:52.425
să determini cine a trimis arma.

0:05:52.425,0:05:55.225
Devine astfel realitate posibilitatea

0:05:55.225,0:05:58.160
războiului anonim.

0:05:58.160,0:06:00.774
Asta ar putea da peste cap echilibrul geopolitic,

0:06:00.774,0:06:04.265
ar putea crea greutăți unei națiuni [br]în cazul unui răspuns armat

0:06:04.265,0:06:07.113
împotriva unui atacator, înclinând balanța

0:06:07.113,0:06:10.877
către ofensivă și nu defensivă în secolul XXI.

0:06:10.877,0:06:14.001
Ar putea transforma acțiunea militară într-o opțiune viabilă

0:06:14.001,0:06:16.289
nu doar pentru micile state,

0:06:16.289,0:06:18.834
dar și pentru organizații criminale, afaceri private,

0:06:18.834,0:06:21.313
chiar pentru indivizi puternici.

0:06:21.313,0:06:24.641
Ar putea crea o lume a dictatorilor militari rivali,

0:06:24.641,0:06:28.321
subminând statul de drept și societatea civilă.

0:06:28.321,0:06:31.937
Dacă responsabilitatea și transparența

0:06:31.937,0:06:34.321
sunt baza guvernului reprezentativ,

0:06:34.321,0:06:38.641
armele robotice autonome le-ar putea submina.

0:06:38.641,0:06:40.187
Puteți crede

0:06:40.187,0:06:42.433
că cetățenii națiunilor cu înaltă tehnologie

0:06:42.433,0:06:45.136
ar deține avantajul în orice război robotic,

0:06:45.136,0:06:48.769
că cetățenii acestor state ar fi mai puțin vulnerabili,

0:06:48.769,0:06:53.057
în special împotriva țărilor în curs de dezvoltare.

0:06:53.057,0:06:56.581
Este exact invers, însă.

0:06:56.581,0:06:58.832
Cred că cetățenii societăților cu înaltă tehnologie

0:06:58.832,0:07:02.561
sunt mai vulnerabili armelor robotice

0:07:02.561,0:07:07.026
pentru un singur motiv: informația.

0:07:07.026,0:07:10.507
Informația stă la baza societățlor de înaltă tehnologie.

0:07:10.507,0:07:13.697
Geolocația telefoanelor mobile, metadata din telecomunicații,

0:07:13.697,0:07:17.169
social media, email, SMS, date ale tranzacțiilor financiare,

0:07:17.169,0:07:20.701
date despre transport, o grămadă de informații în timp real

0:07:20.701,0:07:24.074
despre mișcările și interacțiunile sociale ale oamenilor.

0:07:24.074,0:07:27.849
Pe scurt, suntem mai vizibili pentru mașini

0:07:27.849,0:07:30.091
decât orice alți oameni din istorie,

0:07:30.091,0:07:35.707
ceea ce se potrivește perfect stabilirii țintei armelor independente.

0:07:35.707,0:07:37.445
Ceea ce vedeți

0:07:37.445,0:07:40.691
e o hartă a legăturilor dintr-un grup social.

0:07:40.691,0:07:44.325
Liniile reprezintă conexiunea dintre indivizi.

0:07:44.325,0:07:47.205
Astfel de hărți pot fi generate automat

0:07:47.205,0:07:51.920
pe baza amprentelor informaționale lăsate de omul modern.

0:07:51.920,0:07:54.397
Se folosește, de obicei, pentru a vinde bunuri și servicii

0:07:54.397,0:07:58.813
către grupuri-țintă, dar e o tehnologie cu dublă folosință,

0:07:58.813,0:08:02.173
pentru că stabilirea de ținte se face în alt context.

0:08:02.173,0:08:04.733
Observați că anumiți oameni sunt marcați.

0:08:04.733,0:08:08.013
Aceștia sunt portaluri ale rețelelor de socializare.

0:08:08.013,0:08:11.603
Sunt organizatori, formatori de opinie, lideri

0:08:11.603,0:08:14.285
și pot fi identificați automat

0:08:14.285,0:08:16.667
prin modelul lor de comunicare.

0:08:16.667,0:08:18.813
Dacă lucrezi în marketing, le-ai putea oferi mostre

0:08:18.813,0:08:21.356
pentru a lărgi renumele firmei

0:08:21.356,0:08:24.185
în grupul lor social.

0:08:24.185,0:08:26.138
Dar, dacă ești un guvern represiv ce caută

0:08:26.138,0:08:30.948
inamici politici, ai putea încerca să îi elimini.

0:08:30.948,0:08:33.708
Elimină-i pe ei, distruge-le grupul social,

0:08:33.708,0:08:36.877
iar cei ce rămân își pierd coeziunea socială

0:08:36.877,0:08:39.498
și organizarea.

0:08:39.498,0:08:42.822
Într-o lume în care armele robotice ieftine se înmulțesc,

0:08:42.822,0:08:45.457
granițele oferă foarte puțină protecție

0:08:45.457,0:08:47.403
criticilor guvernelor din străinătate

0:08:47.403,0:08:51.049
sau organizațiilor criminale transnaționale.

0:08:51.049,0:08:54.542
Mișcările populare pentru schimbare

0:08:54.542,0:08:58.151
ar fi identificate rapide, iar liderul lor eliminat,

0:08:58.151,0:09:01.062
înainte ca ideile lor să devină cunoscute larg.

0:09:01.062,0:09:03.653
Iar un public larg pentru idei

0:09:03.653,0:09:07.589
e elementul central al activismului politic în guvernul popular.

0:09:07.589,0:09:11.586
Armele letale anonime ar putea face ca acțiuni letale

0:09:11.586,0:09:15.368
să devină o alegere ușoară în orice conflict de interese.

0:09:15.368,0:09:19.102
Iar asta ar îngheța libertatea de exprimare

0:09:19.102,0:09:24.410
și acțiunea politică populară, însăși inima democrației.

0:09:24.410,0:09:27.324
De aceea e nevoie de un tratat internațional

0:09:27.324,0:09:30.864
asupra armelor robotice și, mai ales, o interdicție globală

0:09:30.864,0:09:34.772
asupra dezvoltării și folosirii roboților ucigași.

0:09:34.772,0:09:38.026
Avem deja tratate internaționale despre

0:09:38.026,0:09:41.412
arme nucleare și biologice care, deși imperfecte,

0:09:41.412,0:09:43.700
funcționează, în mare parte.

0:09:43.700,0:09:47.468
Armele robotice pot fi la fel de periculoase,

0:09:47.468,0:09:50.756
pentru că folosirea lor e aproape certă

0:09:50.756,0:09:55.783
și ar fi dăunătoare instituțiilor noastre democratice.

0:09:55.783,0:09:59.251
În noiembrie 2012, Departamentul de Apărare SUA

0:09:59.251,0:10:01.709
a lansat o directivă care cere

0:10:01.709,0:10:06.228
prezența unui om la luarea oricărei decizii letale.

0:10:06.228,0:10:11.004
Asta a dus la blocarea temporară a armelor autonome în armata SUA,

0:10:11.004,0:10:14.757
dar directiva trebuie să devină permanentă.

0:10:14.757,0:10:19.133
În plus, ar putea să dea startul unei acțiuni globale.

0:10:19.133,0:10:22.978
Pentru că avem nevoie de un cadru legal internațional

0:10:22.978,0:10:25.116
pentru arme robotice.

0:10:25.116,0:10:28.044
E nevoie de el acum, înaintea unui atac devastator

0:10:28.044,0:10:31.196
sau a unui incident terorist care să facă întreaga lume

0:10:31.196,0:10:33.120
să adopte rapid aceste arme

0:10:33.120,0:10:36.891
înainte de a se gândi la consecințe.

0:10:36.891,0:10:39.872
Armele robotice autonome concentrează prea multă putere

0:10:39.872,0:10:46.155
în mâinile a prea puținor oameni, [br]periclitând democrația.

0:10:46.155,0:10:48.841
Nu mă înțelegeți greșit, cred că-s o groază

0:10:48.841,0:10:51.459
de utilizări minunate pentru dronele civile neînarmate:

0:10:51.459,0:10:55.398
monitorizarea mediului, căutări și operațiuni de salvare, logistică.

0:10:55.398,0:10:58.224
Cu un tratat internațional asupra armelor robotice,

0:10:58.224,0:11:01.811
cum exploatăm beneficiile dronelor și a vehiculelor

0:11:01.811,0:11:04.459
autonome, protejându-ne în același timp

0:11:04.459,0:11:08.439
de armele robotice ilegale?

0:11:08.439,0:11:13.180
Cred că secretul e transparența.

0:11:13.180,0:11:16.193
Niciun robot nu ar trebui să fie privat

0:11:16.193,0:11:19.644
într-un loc public.

0:11:19.644,0:11:24.692
(Aplauze)

0:11:24.692,0:11:26.737
Fiecare robot și fiecare dronă ar trebui să aibă

0:11:26.737,0:11:29.620
o identificare semnată criptografic încă din fabrică,

0:11:29.620,0:11:32.543
folosită pentru a-i urmări mișcările în spațiul public.

0:11:32.543,0:11:35.924
Avem plăcuțe de înmatriculare pe mașini, pe avioane.

0:11:35.924,0:11:37.765
Nu e nicio diferență.

0:11:37.765,0:11:39.777
Fiecare cetățean ar trebui să poată descărca o aplicație

0:11:39.777,0:11:42.902
care să îi arate populația de drone și vehicule autonome

0:11:42.902,0:11:45.331
deplasându-se în spații publice în jurul lor,

0:11:45.331,0:11:48.064
acum și în viitor.

0:11:48.064,0:11:51.612
Iar liderii municipali ar trebui să trimită senzori și drone civice

0:11:51.612,0:11:53.956
pentru detectarea dronelor ilegale,

0:11:53.956,0:11:57.132
dar nu să trimită drone ucigașe să le distrugă,

0:11:57.132,0:12:00.124
ci să anunțe oamenii despre prezența lor.

0:12:00.124,0:12:02.730
Iar în zone de înaltă securitate,

0:12:02.730,0:12:04.639
poate că dronele civile le-ar prinde

0:12:04.639,0:12:07.480
și le-ar duce către o locație de dezactivare a bombelor.

0:12:07.480,0:12:10.507
Observați, e mai mult un sistem de imunitate,

0:12:10.507,0:12:11.828
decât unul armat.

0:12:11.828,0:12:14.420
Ne-ar permite să ne folosim de

0:12:14.420,0:12:16.452
vehiculele și dronele autonome,

0:12:16.452,0:12:20.747
fără a ne pierde societatea civilă transparentă.

0:12:20.747,0:12:23.746
Trebuie interzisă folosirea și crearea

0:12:23.746,0:12:25.608
de roboți ucigași.

0:12:25.608,0:12:30.458
Să nu cedăm tentației de a automatiza războiul.

0:12:30.458,0:12:33.176
Guvernele autocrate și organizațiile criminale

0:12:33.176,0:12:36.132
o vor face, dar noi să nu ne alăturăm.

0:12:36.132,0:12:38.023
Armele robotice autonome

0:12:38.023,0:12:40.074
ar concentra prea multă putere

0:12:40.074,0:12:42.556
în mâinile a prea puțini oameni,

0:12:42.556,0:12:45.811
iar asta ar degrada guvernul reprezentativ.

0:12:45.811,0:12:48.772
Să ne asigurăm, măcar de dragul democrației,

0:12:48.772,0:12:51.376
că roboții ucigași vor rămâne ficțiune.

0:12:51.376,0:12:52.486
Mulțumesc.

0:12:52.486,0:12:57.051
(Aplauze)

0:12:57.051,0:13:01.667
Mulțumesc. (Aplauze)