Kakve bi moralne odluke automobili bez vozača trebali donositi?

Treba li vaš automobil bez vozača usmrtiti vas, ako će tako spasiti pet pješaka? U ovim počecima socijalnih dilema automobila bez vozača, Iyad Rahwan istražuje kako će tehnologija propitivati našu moralnost i objašnjava svoj rad u prikupljanju podataka od pravih ljudi na temu etičkih kompromisa koje smo spremni (ili nismo spremni) napraviti.

Danas ću govoriti o tehnologiji i društvu.

Odjel za transport je procijenio
da je prošle godine

35,000 ljudi umrlo
u prometnim nesrećama samo u SAD-u.

Diljem svijeta, 1,2 milijuna ljudi umre
svake godine u prometnim nesrećama.

Kad bi postojao način na koji bismo mogli
eliminirati 90 posto tih nesreća,

biste li ga podržali?

Naravno da biste.

Upravo ovo obećava postići
tehnologija automobila bez vozača

eliminirajući glavni uzrok nesreća --

ljudsku pogrešku.

Sada zamislite sebe u automobilu
bez vozača u 2030. godini,

kako sjedite otraga i gledate ovaj
zastarjeli TEDxCambridge video.

(Smijeh)

Odjednom,

automobilu se dogodio mehanički kvar
i ne može se zaustaviti.

Ako automobil nastavi voziti,

sudarit će se s hrpom pješaka
koji prelaze ulicu,

ali automobil može i skrenuti,

udarajući nekoga tko stoji sa strane,

usmrćujući ga kako bi spasio pješake.

Što automobil treba učiniti
i tko o tome treba odlučiti?

Što ako bi, umjesto toga,
automobil mogao skrenuti u zid,

sudarajući se i ubijajući tebe, putnika,

kako bi spasio te pješake?

Ovaj scenarij je inspiriran
problemom trolejbusa,

kojeg su se dosjetili filozofi
prije nekoliko desetljeća,

da bi promišljali o etici.

Zato je važan način
na koji razmišljamo o ovom problemu.

Možemo, na primjer,
uopće ne razmišljati o njemu.

Možemo reći kako je taj scenarij nerealan,

iznimno nevjerojatan
ili jednostavno blesav.

Ali, ja smatram da takva osuda
promašuje poantu

jer shvaća taj scenarij previše doslovno.

Naravno da nijedna nesreća
neće izgledati ovako;

nijedna nesreća nema dvije ili tri opcije

u kojima svi nekako stradaju.

Umjesto toga, automobil
će izračunati nešto

poput vjerojatnosti udaranja
u određenu skupinu ljudi,

ako skrenete u jednom smjeru
naspram drugog smjera,

mogli biste neznatno povećati rizik
za putnike ili druge vozače

naspram pješaka.

To će biti složenija kalkulacija,

ali će i dalje uključivati kompromise,

a za kompromis je često potrebna
moralna prosudba.

Možemo onda reći
„Pa, nemojmo se brinuti oko toga.

Pričekajmo dok tehnologija ne bude
potpuno spremna i 100 posto sigurna.“

Pretpostavimo da zaista možemo uspjeti
eliminirati 90 posto tih nesreća,

ili čak 99 posto u idućih 10 godina.

Što ako uklanjanje tog zadnjeg
postotka nesreća

zahtijeva još dodatnih
50 godina istraživanja?

Zar ne trebamo usvojiti tehnologiju?

To je 60 milijuna ljudi poginulih
u automobilskim nesrećama,

ako zadržimo trenutnu stopu.

Stoga poanta je da,

čekanje potpune sigurnosti
je također izbor

i isto uključuje kompromise.

Ljudi prisutni na društvenim mrežama
pronalaze svakakve načine

kako ne misliti o ovom problemu.

Jedna je osoba predložila da
automobil samo skrene nekako

između putnika --

(Smijeh)

i promatrača.

Naravno, ako to automobil može učiniti,
onda to i treba učiniti.

Nas zanimaju scenariji
u kojima ovo nije moguće.

I moj osobni favorit bio je
prijedlog blogera

da u automobilu imamo
gumb za izbacivanje koji pritisnemo --

(Smijeh)

netom prije no što se
automobil sam uništi.

(Smijeh)

Dakle, ako priznamo da će automobili
morati raditi kompromise na cesti,

kako ćemo razmišljati o tim kompromisima

i kako ćemo donijeti odluku?

Pa, možda bismo trebali provesti anketu
da saznamo što društvo želi,

jer naposljetku,

regulacije i zakon su odraz
društvenih vrijednosti.

Stoga smo učinili ovo.

S mojim suradnicima,

Jean-Françoisem Bonnefonom i
Azimom Shariffom,

proveli smo istraživanje

u kojem smo predstavili ljudima
ove vrste scenarija.

Dali smo im dvije mogućnosti
inspirirane dvama filozofima:

Jeremyem Benthamom i Immanuelom Kantom.

Bentham kaže da automobil
treba pratiti utilitarnu etiku:

treba poduzeti akciju koja će
minimalizirati totalnu štetu --

čak i ako će ta akcija ubiti promatrača

te čak i ako će ta akcija ubiti putnika.

Immanuel Kant kaže da automobil
treba pratiti moralna načela,

poput „Ne ubij.“

Zato ne bismo trebali poduzeti akciju
koja eksplicitno šteti ljudskom biću

i trebali bismo pustiti
da automobil ide svojim putem,

čak i ako će to ozlijediti više ljudi.

Što vi mislite?

Bentham ili Kant?

Evo što smo mi pronašli.

Većina ljudi je stala na stranu Benthama.

Stoga se čini kako većina želi
da automobili budu korisni,

da smanje totalnu štetu

i to bismo svi trebali činiti.

Riješen problem.

Ali, postoji mala kvaka.

Kad smo pitali ljude bi li kupili
takve automobile,

odgovorili su: „ Apsolutno ne.“

(Smijeh)

Oni bi htjeli kupiti automobile
koji njih štite pod svaku cijenu,

ali žele da svi ostali kupe automobile
koji minimaliziraju štetu.

(Smijeh)

Već prije smo se sreli s ovim problemom.

Zove se društvena dilema.

I da bismo razumjeli društvena dilemu,

moramo se vratiti malo u prošlost.

U 1800-ima,

engleski ekonomist William Forster Lloyd
objavio je pamflet

koji opisuje idući scenarij.

Imate grupu farmera,

engleskih farmera,

koji dijele zajedničko zemljište
za ispašu njihovih ovaca.

Sada, ako svaki farmer dovodi
određeni broj ovaca --

recimo tri ovce --

zemljište će biti pomlađeno,

farmeri sretni,

ovce sretne,

sve je dobro.

Sada, ako jedan farmer dovede
jednu ovcu više,

tom će farmeru ići malo bolje
i nitko drugi neće biti oštećen.

Međutim, ako svaki farmer donese
tu individualno racionalnu odluku,

zemljište će postati pretrpano
i bit će istrošeno

na štetu svih farmera

i naravno, na štetu ovaca.

Možemo vidjeti ovaj problem
u raznim područjima:

u poteškoćama u vođenju
pretjeranog ribolova

ili u smanjenju emisija ugljika
za ublažavanje klimatskih promjena.

Kada je u pitanju regulacija
automobila bez vozača,

zajedničko je, zapravo, javna sigurnost --

to je opće dobro --

a farmeri su putnici

ili vlasnici automobila koji odabiru
voziti se u tim automobilima.

I odabirući individualno racionalni odabir

davanja prioriteta vlastitoj sigurnosti,

oni bi kolektivno mogli
umanjiti opće dobro,

koje je smanjene totalne štete.

To se naziva tragedija zajedništva,

tradicionalno,

ali ja mislim da u slučaju
automobila bez vozača,

problem je možda malo više podmukao

jer ne postoji nužno
individualno ljudsko biće

koje donosi te odluke.

Proizvođači automobila mogu jednostavno
programirati automobile

tako da maksimalno povećaju
sigurnost svojih klijenata

te bi takvi automobili mogli
automatski samostalno naučiti

da to zahtijeva povećanje
rizika za pješake.

Da upotrijebim metaforu s ovcom,

to je kao da sada imamo
električnu ovcu s vlastitim umom.

(Smijeh)

I one mogu otići i jesti bez da uopće
njihov farmer to zna.

Dakle, ovo bismo mogli nazvati
tragedijom zajedničkog algoritma

te nam ona nudi nove vrste izazova.

Obično, tradicionalno,

ove vrste društvenih dilema
rješavamo koristeći propise,

stoga se sastanu ili vlade ili zajednice

i kolektivno odluče kakav ishod žele

i kakva ograničenja
individualnog ponašanja

trebaju provoditi.

Te tada, koristeći praćenje i provedbu,

mogu osigurati očuvanje javne sigurnosti.

Stoga, zašto mi ne bismo samo,

kao regulatori,

zahtijevali da svi automobili
potpuno smanje štetu?

Uostalom, to je ono
što ljudi kažu da žele.

I još važnije,

mogu biti siguran da kao pojedinac,

ukoliko kupim automobil koji bi me mogao
žrtvovati u vrlo rijetkom slučaju,

nisam jedina naivčina čineći to

dok svi ostali uživaju bezuvjetnu zaštitu.

U našoj anketi, pitali smo ljude
bi li podržali propise

i evo što smo saznali.

Prvo, ljudi su rekli ne propisima;

i drugo, rekli su:

„Pa, ako regulirate automobile da to čine
i da potpuno smanje štetu,

ja neću kupiti te automobile.“

Dakle, ironično,

regulirajući automobile u svrhu
potpunog smanjenja štete,

možemo zapravo završiti s više štete

jer se možda ljudi neće odlučiti
za sigurniju tehnologiju,

čak i ako je puno sigurnija
od ljudskih vozača.

Nemam konačan odgovor na ovu zagonetku,

ali mislim da, za početak,

trebamo društvo da se zajedno okupi

kako bismo odlučili
s kojim kompromisima se slažemo

i kako bismo osmislili
načine donošenja tih kompromisa.

Za početak, moji sjajni studenti,

Edmond Awad i Sohan Dsouza,

napravili su internetsku stranicu
Moral Machine,

koja vam postavlja nasumične događaje --

obično gomilu nasumičnih dilema u nizu,

gdje vi trebate odlučiti što bi automobil
trebao napraviti u određenoj situaciji.

U ponudi imamo žrtve raznih dobi i vrsta.

Dosad smo prikupili
više od pet milijuna odluka

od preko milijun ljudi diljem svijeta

putem te internetske stranice.

Ovo nam od početka pomaže u razumijevanju

s kakvim kompromisima se ljudi slažu

te što je njima važno --

čak i u različitim kulturama.

No, važnije od toga,

ljudima se time pomaže u shvaćanju

težine donošenja tih odluka

te da su oni koji donose odluke
zaduženi za nemoguće izbore.

I možda će upravo ovo pomoći nama
kao društvu u razumijevanju kompromisa

koji će biti ostvareni u konačnici
pri donošenju propisa.

I zaista, bio sam sretan saznajući

da je prvi skup propisa

iz Odjela za transport --

objavljen prošli tjedan --

obuhvaćao kontrolni popis of 15 točaka
za sve proizvođače automobila

te da je broj 14 uzimao u obzir etiku --

kako ćete se vi nositi s tim.

Također, potičemo ljude da promišljaju
o vlastitim odlukama

tako što im dajemo sažetak
njihovih odabira.

Dat ću vam jedan primjer --

samo ću vas upozoriti
da ovo nije tipičan primjer,

tipičan korisnik.

Ovo je najviše žrtvovan
i najviše spašen lik za ovu osobu.

(Smijeh)

Neki od vas bi se mogli složiti s njim,

ili s njom, ne znamo.

No također, čini se da ova osoba ipak malo
više preferira putnike nego pješake

u svojim odlukama

te da vrlo rado kažnjava neoprezno
prelaženje ulice.

(Smijeh)

Dakle, zaključimo.

Započeli smo pitanjem --
nazovimo to moralnom dilemom --

kako bi automobil trebao postupiti
u određenoj situaciji:

skrenuti ili ostati?

Ali onda smo shvatili da je problem
bio u nečem drugom.

U tome kako pridobiti društvo da donese
zajedničku odluku i provede

kompromise s kojim se slaže.

To je društvena dilema.

1940., Isaac Asimov je napisao svoje
slavne zakone robotike --

tri zakona robotike.

Robot nikada ne smije
naškoditi ljudskom biću,

robot nikada ne smije
ne poslušati ljudsko biće

i robot nikada ne smije
dopustiti sebi štetu --

tim redoslijedom važnosti.

No, nakon otprilike 40 godina

i nakon toliko slučajeva koji guraju
ove zakone do krajnjih granica,

Asimov je predstavio nulti zakon,

koji ima prednost
spram svih ostalih zakona

i glasi da robot nikada ne smije
naškoditi čovječnosti u cijelosti.

Ne znam što ovo znači u kontekstu
automobila bez vozača

ili u bilo kojoj specifičnoj situaciji,

i ne znam kako bismo to mogli primijeniti,

ali smatram da prepoznavanjem

kako regulacija automobila bez vozača
nije samo problem tehnologije

već i čitavog društva i njegove suradnje,

nadam se, možemo barem početi
postavljati prava pitanja.

Hvala vam.

(Pljesak)