Danas ću govoriti o tehnologiji i društvu.
Odjel za transport je procijenio da je prošle godine
35,000 ljudi umrlo u prometnim nesrećama samo u SAD-u.
Diljem svijeta, 1,2 milijuna ljudi umre svake godine u prometnim nesrećama.
Kad bi postojao način na koji bismo mogli eliminirati 90 posto tih nesreća,
biste li ga podržali?
Naravno da biste.
Upravo ovo obećava postići tehnologija automobila bez vozača
eliminirajući glavni uzrok nesreća --
ljudsku pogrešku.
Sada zamislite sebe u automobilu bez vozača u 2030. godini,
kako sjedite otraga i gledate ovaj zastarjeli TEDxCambridge video.
(Smijeh)
Odjednom,
automobilu se dogodio mehanički kvar i ne može se zaustaviti.
Ako automobil nastavi voziti,
sudarit će se s hrpom pješaka koji prelaze ulicu,
ali automobil može i skrenuti,
udarajući nekoga tko stoji sa strane,
usmrćujući ga kako bi spasio pješake.
Što automobil treba učiniti i tko o tome treba odlučiti?
Što ako bi, umjesto toga, automobil mogao skrenuti u zid,
sudarajući se i ubijajući tebe, putnika,
kako bi spasio te pješake?
Ovaj scenarij je inspiriran problemom trolejbusa,
kojeg su se dosjetili filozofi prije nekoliko desetljeća,
da bi promišljali o etici.
Zato je važan način na koji razmišljamo o ovom problemu.
Možemo, na primjer, uopće ne razmišljati o njemu.
Možemo reći kako je taj scenarij nerealan,
iznimno nevjerojatan ili jednostavno blesav.
Ali, ja smatram da takva osuda promašuje poantu
jer shvaća taj scenarij previše doslovno.
Naravno da nijedna nesreća neće izgledati ovako;
nijedna nesreća nema dvije ili tri opcije
u kojima svi nekako stradaju.
Umjesto toga, automobil će izračunati nešto
poput vjerojatnosti udaranja u određenu skupinu ljudi,
ako skrenete u jednom smjeru naspram drugog smjera,
mogli biste neznatno povećati rizik za putnike ili druge vozače
naspram pješaka.
To će biti složenija kalkulacija,
ali će i dalje uključivati kompromise,
a za kompromis je često potrebna moralna prosudba.
Možemo onda reći „Pa, nemojmo se brinuti oko toga.
Pričekajmo dok tehnologija ne bude potpuno spremna i 100 posto sigurna.“
Pretpostavimo da zaista možemo uspjeti eliminirati 90 posto tih nesreća,
ili čak 99 posto u idućih 10 godina.
Što ako uklanjanje tog zadnjeg postotka nesreća
zahtijeva još dodatnih 50 godina istraživanja?
Zar ne trebamo usvojiti tehnologiju?
To je 60 milijuna ljudi poginulih u automobilskim nesrećama,
ako zadržimo trenutnu stopu.
Stoga poanta je da,
čekanje potpune sigurnosti je također izbor
i isto uključuje kompromise.
Ljudi prisutni na društvenim mrežama pronalaze svakakve načine
kako ne misliti o ovom problemu.
Jedna je osoba predložila da automobil samo skrene nekako
između putnika --
(Smijeh)
i promatrača.
Naravno, ako to automobil može učiniti, onda to i treba učiniti.
Nas zanimaju scenariji u kojima ovo nije moguće.
I moj osobni favorit bio je prijedlog blogera
da u automobilu imamo gumb za izbacivanje koji pritisnemo --
(Smijeh)
netom prije no što se automobil sam uništi.
(Smijeh)
Dakle, ako priznamo da će automobili morati raditi kompromise na cesti,
kako ćemo razmišljati o tim kompromisima
i kako ćemo donijeti odluku?
Pa, možda bismo trebali provesti anketu da saznamo što društvo želi,
jer naposljetku,
regulacije i zakon su odraz društvenih vrijednosti.
Stoga smo učinili ovo.
S mojim suradnicima,
Jean-Françoisem Bonnefonom i Azimom Shariffom,
proveli smo istraživanje
u kojem smo predstavili ljudima ove vrste scenarija.
Dali smo im dvije mogućnosti inspirirane dvama filozofima:
Jeremyem Benthamom i Immanuelom Kantom.
Bentham kaže da automobil treba pratiti utilitarnu etiku:
treba poduzeti akciju koja će minimalizirati totalnu štetu --
čak i ako će ta akcija ubiti promatrača
te čak i ako će ta akcija ubiti putnika.
Immanuel Kant kaže da automobil treba pratiti moralna načela,
poput „Ne ubij.“
Zato ne bismo trebali poduzeti akciju koja eksplicitno šteti ljudskom biću
i trebali bismo pustiti da automobil ide svojim putem,
čak i ako će to ozlijediti više ljudi.
Što vi mislite?
Bentham ili Kant?
Evo što smo mi pronašli.
Većina ljudi je stala na stranu Benthama.
Stoga se čini kako većina želi da automobili budu korisni,
da smanje totalnu štetu
i to bismo svi trebali činiti.
Riješen problem.
Ali, postoji mala kvaka.
Kad smo pitali ljude bi li kupili takve automobile,
odgovorili su: „ Apsolutno ne.“
(Smijeh)
Oni bi htjeli kupiti automobile koji njih štite pod svaku cijenu,
ali žele da svi ostali kupe automobile koji minimaliziraju štetu.
(Smijeh)
Već prije smo se sreli s ovim problemom.
Zove se društvena dilema.
I da bismo razumjeli društvena dilemu,
moramo se vratiti malo u prošlost.
U 1800-ima,
engleski ekonomist William Forster Lloyd objavio je pamflet
koji opisuje idući scenarij.
Imate grupu farmera,
engleskih farmera,
koji dijele zajedničko zemljište za ispašu njihovih ovaca.
Sada, ako svaki farmer dovodi određeni broj ovaca --
recimo tri ovce --
zemljište će biti pomlađeno,
farmeri sretni,
ovce sretne,
sve je dobro.
Sada, ako jedan farmer dovede jednu ovcu više,
tom će farmeru ići malo bolje i nitko drugi neće biti oštećen.
Međutim, ako svaki farmer donese tu individualno racionalnu odluku,
zemljište će postati pretrpano i bit će istrošeno
na štetu svih farmera
i naravno, na štetu ovaca.
Možemo vidjeti ovaj problem u raznim područjima:
u poteškoćama u vođenju pretjeranog ribolova
ili u smanjenju emisija ugljika za ublažavanje klimatskih promjena.
Kada je u pitanju regulacija automobila bez vozača,
zajedničko je, zapravo, javna sigurnost --
to je opće dobro --
a farmeri su putnici
ili vlasnici automobila koji odabiru voziti se u tim automobilima.
I odabirući individualno racionalni odabir
davanja prioriteta vlastitoj sigurnosti,
oni bi kolektivno mogli umanjiti opće dobro,
koje je smanjene totalne štete.
To se naziva tragedija zajedništva,
tradicionalno,
ali ja mislim da u slučaju automobila bez vozača,
problem je možda malo više podmukao
jer ne postoji nužno individualno ljudsko biće
koje donosi te odluke.
Proizvođači automobila mogu jednostavno programirati automobile
tako da maksimalno povećaju sigurnost svojih klijenata
te bi takvi automobili mogli automatski samostalno naučiti
da to zahtijeva povećanje rizika za pješake.
Da upotrijebim metaforu s ovcom,
to je kao da sada imamo električnu ovcu s vlastitim umom.
(Smijeh)
I one mogu otići i jesti bez da uopće njihov farmer to zna.
Dakle, ovo bismo mogli nazvati tragedijom zajedničkog algoritma
te nam ona nudi nove vrste izazova.
Obično, tradicionalno,
ove vrste društvenih dilema rješavamo koristeći propise,
stoga se sastanu ili vlade ili zajednice
i kolektivno odluče kakav ishod žele
i kakva ograničenja individualnog ponašanja
trebaju provoditi.
Te tada, koristeći praćenje i provedbu,
mogu osigurati očuvanje javne sigurnosti.
Stoga, zašto mi ne bismo samo,
kao regulatori,
zahtijevali da svi automobili potpuno smanje štetu?
Uostalom, to je ono što ljudi kažu da žele.
I još važnije,
mogu biti siguran da kao pojedinac,
ukoliko kupim automobil koji bi me mogao žrtvovati u vrlo rijetkom slučaju,
nisam jedina naivčina čineći to
dok svi ostali uživaju bezuvjetnu zaštitu.
U našoj anketi, pitali smo ljude bi li podržali propise
i evo što smo saznali.
Prvo, ljudi su rekli ne propisima;
i drugo, rekli su:
„Pa, ako regulirate automobile da to čine i da potpuno smanje štetu,
ja neću kupiti te automobile.“
Dakle, ironično,
regulirajući automobile u svrhu potpunog smanjenja štete,
možemo zapravo završiti s više štete
jer se možda ljudi neće odlučiti za sigurniju tehnologiju,
čak i ako je puno sigurnija od ljudskih vozača.
Nemam konačan odgovor na ovu zagonetku,
ali mislim da, za početak,
trebamo društvo da se zajedno okupi
kako bismo odlučili s kojim kompromisima se slažemo
i kako bismo osmislili načine donošenja tih kompromisa.
Za početak, moji sjajni studenti,
Edmond Awad i Sohan Dsouza,
napravili su internetsku stranicu Moral Machine,
koja vam postavlja nasumične događaje --
obično gomilu nasumičnih dilema u nizu,
gdje vi trebate odlučiti što bi automobil trebao napraviti u određenoj situaciji.
U ponudi imamo žrtve raznih dobi i vrsta.
Dosad smo prikupili više od pet milijuna odluka
od preko milijun ljudi diljem svijeta
putem te internetske stranice.
Ovo nam od početka pomaže u razumijevanju
s kakvim kompromisima se ljudi slažu
te što je njima važno --
čak i u različitim kulturama.
No, važnije od toga,
ljudima se time pomaže u shvaćanju
težine donošenja tih odluka
te da su oni koji donose odluke zaduženi za nemoguće izbore.
I možda će upravo ovo pomoći nama kao društvu u razumijevanju kompromisa
koji će biti ostvareni u konačnici pri donošenju propisa.
I zaista, bio sam sretan saznajući
da je prvi skup propisa
iz Odjela za transport --
objavljen prošli tjedan --
obuhvaćao kontrolni popis of 15 točaka za sve proizvođače automobila
te da je broj 14 uzimao u obzir etiku --
kako ćete se vi nositi s tim.
Također, potičemo ljude da promišljaju o vlastitim odlukama
tako što im dajemo sažetak njihovih odabira.
Dat ću vam jedan primjer --
samo ću vas upozoriti da ovo nije tipičan primjer,
tipičan korisnik.
Ovo je najviše žrtvovan i najviše spašen lik za ovu osobu.
(Smijeh)
Neki od vas bi se mogli složiti s njim,
ili s njom, ne znamo.
No također, čini se da ova osoba ipak malo više preferira putnike nego pješake
u svojim odlukama
te da vrlo rado kažnjava neoprezno prelaženje ulice.
(Smijeh)
Dakle, zaključimo.
Započeli smo pitanjem -- nazovimo to moralnom dilemom --
kako bi automobil trebao postupiti u određenoj situaciji:
skrenuti ili ostati?
Ali onda smo shvatili da je problem bio u nečem drugom.
U tome kako pridobiti društvo da donese zajedničku odluku i provede
kompromise s kojim se slaže.
To je društvena dilema.
1940., Isaac Asimov je napisao svoje slavne zakone robotike --
tri zakona robotike.
Robot nikada ne smije naškoditi ljudskom biću,
robot nikada ne smije ne poslušati ljudsko biće
i robot nikada ne smije dopustiti sebi štetu --
tim redoslijedom važnosti.
No, nakon otprilike 40 godina
i nakon toliko slučajeva koji guraju ove zakone do krajnjih granica,
Asimov je predstavio nulti zakon,
koji ima prednost spram svih ostalih zakona
i glasi da robot nikada ne smije naškoditi čovječnosti u cijelosti.
Ne znam što ovo znači u kontekstu automobila bez vozača
ili u bilo kojoj specifičnoj situaciji,
i ne znam kako bismo to mogli primijeniti,
ali smatram da prepoznavanjem
kako regulacija automobila bez vozača nije samo problem tehnologije
već i čitavog društva i njegove suradnje,
nadam se, možemo barem početi postavljati prava pitanja.
Hvala vam.
(Pljesak)