Danas ću govoriti o tehnologiji i društvu.
Odjel za transport je procijenio
da je prošle godine
35,000 ljudi umrlo
u prometnim nesrećama samo u SAD-u.
Diljem svijeta, 1,2 milijuna ljudi umre
svake godine u prometnim nesrećama.
Kad bi postojao način na koji bismo mogli
eliminirati 90 posto tih nesreća,
biste li ga podržali?
Naravno da biste.
Upravo ovo obećava postići
tehnologija automobila bez vozača
eliminirajući glavni uzrok nesreća --
ljudsku pogrešku.
Sada zamislite sebe u automobilu
bez vozača u 2030. godini,
kako sjedite otraga i gledate ovaj
zastarjeli TEDxCambridge video.
(Smijeh)
Odjednom,
automobilu se dogodio mehanički kvar
i ne može se zaustaviti.
Ako automobil nastavi voziti,
sudarit će se s hrpom pješaka
koji prelaze ulicu,
ali automobil može i skrenuti,
udarajući nekoga tko stoji sa strane,
usmrćujući ga kako bi spasio pješake.
Što automobil treba učiniti
i tko o tome treba odlučiti?
Što ako bi, umjesto toga,
automobil mogao skrenuti u zid,
sudarajući se i ubijajući tebe, putnika,
kako bi spasio te pješake?
Ovaj scenarij je inspiriran
problemom trolejbusa,
kojeg su se dosjetili filozofi
prije nekoliko desetljeća,
da bi promišljali o etici.
Zato je važan način
na koji razmišljamo o ovom problemu.
Možemo, na primjer,
uopće ne razmišljati o njemu.
Možemo reći kako je taj scenarij nerealan,
iznimno nevjerojatan
ili jednostavno blesav.
Ali, ja smatram da takva osuda
promašuje poantu
jer shvaća taj scenarij previše doslovno.
Naravno da nijedna nesreća
neće izgledati ovako;
nijedna nesreća nema dvije ili tri opcije
u kojima svi nekako stradaju.
Umjesto toga, automobil
će izračunati nešto
poput vjerojatnosti udaranja
u određenu skupinu ljudi,
ako skrenete u jednom smjeru
naspram drugog smjera,
mogli biste neznatno povećati rizik
za putnike ili druge vozače
naspram pješaka.
To će biti složenija kalkulacija,
ali će i dalje uključivati kompromise,
a za kompromis je često potrebna
moralna prosudba.
Možemo onda reći
„Pa, nemojmo se brinuti oko toga.
Pričekajmo dok tehnologija ne bude
potpuno spremna i 100 posto sigurna.“
Pretpostavimo da zaista možemo uspjeti
eliminirati 90 posto tih nesreća,
ili čak 99 posto u idućih 10 godina.
Što ako uklanjanje tog zadnjeg
postotka nesreća
zahtijeva još dodatnih
50 godina istraživanja?
Zar ne trebamo usvojiti tehnologiju?
To je 60 milijuna ljudi poginulih
u automobilskim nesrećama,
ako zadržimo trenutnu stopu.
Stoga poanta je da,
čekanje potpune sigurnosti
je također izbor
i isto uključuje kompromise.
Ljudi prisutni na društvenim mrežama
pronalaze svakakve načine
kako ne misliti o ovom problemu.
Jedna je osoba predložila da
automobil samo skrene nekako
između putnika --
(Smijeh)
i promatrača.
Naravno, ako to automobil može učiniti,
onda to i treba učiniti.
Nas zanimaju scenariji
u kojima ovo nije moguće.
I moj osobni favorit bio je
prijedlog blogera
da u automobilu imamo
gumb za izbacivanje koji pritisnemo --
(Smijeh)
netom prije no što se
automobil sam uništi.
(Smijeh)
Dakle, ako priznamo da će automobili
morati raditi kompromise na cesti,
kako ćemo razmišljati o tim kompromisima
i kako ćemo donijeti odluku?
Pa, možda bismo trebali provesti anketu
da saznamo što društvo želi,
jer naposljetku,
regulacije i zakon su odraz
društvenih vrijednosti.
Stoga smo učinili ovo.
S mojim suradnicima,
Jean-Françoisem Bonnefonom i
Azimom Shariffom,
proveli smo istraživanje
u kojem smo predstavili ljudima
ove vrste scenarija.
Dali smo im dvije mogućnosti
inspirirane dvama filozofima:
Jeremyem Benthamom i Immanuelom Kantom.
Bentham kaže da automobil
treba pratiti utilitarnu etiku:
treba poduzeti akciju koja će
minimalizirati totalnu štetu --
čak i ako će ta akcija ubiti promatrača
te čak i ako će ta akcija ubiti putnika.
Immanuel Kant kaže da automobil
treba pratiti moralna načela,
poput „Ne ubij.“
Zato ne bismo trebali poduzeti akciju
koja eksplicitno šteti ljudskom biću
i trebali bismo pustiti
da automobil ide svojim putem,
čak i ako će to ozlijediti više ljudi.
Što vi mislite?
Bentham ili Kant?
Evo što smo mi pronašli.
Većina ljudi je stala na stranu Benthama.
Stoga se čini kako većina želi
da automobili budu korisni,
da smanje totalnu štetu
i to bismo svi trebali činiti.
Riješen problem.
Ali, postoji mala kvaka.
Kad smo pitali ljude bi li kupili
takve automobile,
odgovorili su: „ Apsolutno ne.“
(Smijeh)
Oni bi htjeli kupiti automobile
koji njih štite pod svaku cijenu,
ali žele da svi ostali kupe automobile
koji minimaliziraju štetu.
(Smijeh)
Već prije smo se sreli s ovim problemom.
Zove se društvena dilema.
I da bismo razumjeli društvena dilemu,
moramo se vratiti malo u prošlost.
U 1800-ima,
engleski ekonomist William Forster Lloyd
objavio je pamflet
koji opisuje idući scenarij.
Imate grupu farmera,
engleskih farmera,
koji dijele zajedničko zemljište
za ispašu njihovih ovaca.
Sada, ako svaki farmer dovodi
određeni broj ovaca --
recimo tri ovce --
zemljište će biti pomlađeno,
farmeri sretni,
ovce sretne,
sve je dobro.
Sada, ako jedan farmer dovede
jednu ovcu više,
tom će farmeru ići malo bolje
i nitko drugi neće biti oštećen.
Međutim, ako svaki farmer donese
tu individualno racionalnu odluku,
zemljište će postati pretrpano
i bit će istrošeno
na štetu svih farmera
i naravno, na štetu ovaca.
Možemo vidjeti ovaj problem
u raznim područjima:
u poteškoćama u vođenju
pretjeranog ribolova
ili u smanjenju emisija ugljika
za ublažavanje klimatskih promjena.
Kada je u pitanju regulacija
automobila bez vozača,
zajedničko je, zapravo, javna sigurnost --
to je opće dobro --
a farmeri su putnici
ili vlasnici automobila koji odabiru
voziti se u tim automobilima.
I odabirući individualno racionalni odabir
davanja prioriteta vlastitoj sigurnosti,
oni bi kolektivno mogli
umanjiti opće dobro,
koje je smanjene totalne štete.
To se naziva tragedija zajedništva,
tradicionalno,
ali ja mislim da u slučaju
automobila bez vozača,
problem je možda malo više podmukao
jer ne postoji nužno
individualno ljudsko biće
koje donosi te odluke.
Proizvođači automobila mogu jednostavno
programirati automobile
tako da maksimalno povećaju
sigurnost svojih klijenata
te bi takvi automobili mogli
automatski samostalno naučiti
da to zahtijeva povećanje
rizika za pješake.
Da upotrijebim metaforu s ovcom,
to je kao da sada imamo
električnu ovcu s vlastitim umom.
(Smijeh)
I one mogu otići i jesti bez da uopće
njihov farmer to zna.
Dakle, ovo bismo mogli nazvati
tragedijom zajedničkog algoritma
te nam ona nudi nove vrste izazova.
Obično, tradicionalno,
ove vrste društvenih dilema
rješavamo koristeći propise,
stoga se sastanu ili vlade ili zajednice
i kolektivno odluče kakav ishod žele
i kakva ograničenja
individualnog ponašanja
trebaju provoditi.
Te tada, koristeći praćenje i provedbu,
mogu osigurati očuvanje javne sigurnosti.
Stoga, zašto mi ne bismo samo,
kao regulatori,
zahtijevali da svi automobili
potpuno smanje štetu?
Uostalom, to je ono
što ljudi kažu da žele.
I još važnije,
mogu biti siguran da kao pojedinac,
ukoliko kupim automobil koji bi me mogao
žrtvovati u vrlo rijetkom slučaju,
nisam jedina naivčina čineći to
dok svi ostali uživaju bezuvjetnu zaštitu.
U našoj anketi, pitali smo ljude
bi li podržali propise
i evo što smo saznali.
Prvo, ljudi su rekli ne propisima;
i drugo, rekli su:
„Pa, ako regulirate automobile da to čine
i da potpuno smanje štetu,
ja neću kupiti te automobile.“
Dakle, ironično,
regulirajući automobile u svrhu
potpunog smanjenja štete,
možemo zapravo završiti s više štete
jer se možda ljudi neće odlučiti
za sigurniju tehnologiju,
čak i ako je puno sigurnija
od ljudskih vozača.
Nemam konačan odgovor na ovu zagonetku,
ali mislim da, za početak,
trebamo društvo da se zajedno okupi
kako bismo odlučili
s kojim kompromisima se slažemo
i kako bismo osmislili
načine donošenja tih kompromisa.
Za početak, moji sjajni studenti,
Edmond Awad i Sohan Dsouza,
napravili su internetsku stranicu
Moral Machine,
koja vam postavlja nasumične događaje --
obično gomilu nasumičnih dilema u nizu,
gdje vi trebate odlučiti što bi automobil
trebao napraviti u određenoj situaciji.
U ponudi imamo žrtve raznih dobi i vrsta.
Dosad smo prikupili
više od pet milijuna odluka
od preko milijun ljudi diljem svijeta
putem te internetske stranice.
Ovo nam od početka pomaže u razumijevanju
s kakvim kompromisima se ljudi slažu
te što je njima važno --
čak i u različitim kulturama.
No, važnije od toga,
ljudima se time pomaže u shvaćanju
težine donošenja tih odluka
te da su oni koji donose odluke
zaduženi za nemoguće izbore.
I možda će upravo ovo pomoći nama
kao društvu u razumijevanju kompromisa
koji će biti ostvareni u konačnici
pri donošenju propisa.
I zaista, bio sam sretan saznajući
da je prvi skup propisa
iz Odjela za transport --
objavljen prošli tjedan --
obuhvaćao kontrolni popis of 15 točaka
za sve proizvođače automobila
te da je broj 14 uzimao u obzir etiku --
kako ćete se vi nositi s tim.
Također, potičemo ljude da promišljaju
o vlastitim odlukama
tako što im dajemo sažetak
njihovih odabira.
Dat ću vam jedan primjer --
samo ću vas upozoriti
da ovo nije tipičan primjer,
tipičan korisnik.
Ovo je najviše žrtvovan
i najviše spašen lik za ovu osobu.
(Smijeh)
Neki od vas bi se mogli složiti s njim,
ili s njom, ne znamo.
No također, čini se da ova osoba ipak malo
više preferira putnike nego pješake
u svojim odlukama
te da vrlo rado kažnjava neoprezno
prelaženje ulice.
(Smijeh)
Dakle, zaključimo.
Započeli smo pitanjem --
nazovimo to moralnom dilemom --
kako bi automobil trebao postupiti
u određenoj situaciji:
skrenuti ili ostati?
Ali onda smo shvatili da je problem
bio u nečem drugom.
U tome kako pridobiti društvo da donese
zajedničku odluku i provede
kompromise s kojim se slaže.
To je društvena dilema.
1940., Isaac Asimov je napisao svoje
slavne zakone robotike --
tri zakona robotike.
Robot nikada ne smije
naškoditi ljudskom biću,
robot nikada ne smije
ne poslušati ljudsko biće
i robot nikada ne smije
dopustiti sebi štetu --
tim redoslijedom važnosti.
No, nakon otprilike 40 godina
i nakon toliko slučajeva koji guraju
ove zakone do krajnjih granica,
Asimov je predstavio nulti zakon,
koji ima prednost
spram svih ostalih zakona
i glasi da robot nikada ne smije
naškoditi čovječnosti u cijelosti.
Ne znam što ovo znači u kontekstu
automobila bez vozača
ili u bilo kojoj specifičnoj situaciji,
i ne znam kako bismo to mogli primijeniti,
ali smatram da prepoznavanjem
kako regulacija automobila bez vozača
nije samo problem tehnologije
već i čitavog društva i njegove suradnje,
nadam se, možemo barem početi
postavljati prava pitanja.
Hvala vam.
(Pljesak)