0:00:01.000,0:00:05.080
Danas ću govoriti o tehnologiji i društvu.

0:00:07.040,0:00:10.736
Odjel za transport je procijenio[br]da je prošle godine

0:00:10.760,0:00:14.840
35,000 ljudi umrlo[br]u prometnim nesrećama samo u SAD-u.

0:00:16.040,0:00:20.840
Diljem svijeta, 1,2 milijuna ljudi umre[br]svake godine u prometnim nesrećama.

0:00:21.760,0:00:25.856
Kad bi postojao način na koji bismo mogli[br]eliminirati 90 posto tih nesreća,

0:00:25.880,0:00:27.080
biste li ga podržali?

0:00:27.720,0:00:29.016
Naravno da biste.

0:00:29.040,0:00:32.695
Upravo ovo obećava postići[br]tehnologija automobila bez vozača

0:00:32.720,0:00:35.536
eliminirajući glavni uzrok nesreća --

0:00:35.560,0:00:36.760
ljudsku pogrešku.

0:00:37.920,0:00:43.336
Sada zamislite sebe u automobilu[br]bez vozača u 2030. godini,

0:00:43.360,0:00:46.816
kako sjedite otraga i gledate ovaj[br]zastarjeli TEDxCambridge video.

0:00:46.840,0:00:48.840
(Smijeh)

0:00:49.520,0:00:50.736
Odjednom,

0:00:50.760,0:00:54.040
automobilu se dogodio mehanički kvar[br]i ne može se zaustaviti.

0:00:55.360,0:00:56.880
Ako automobil nastavi voziti,

0:00:57.720,0:01:01.840
sudarit će se s hrpom pješaka[br]koji prelaze ulicu,

0:01:03.080,0:01:05.215
ali automobil može i skrenuti,

0:01:05.239,0:01:07.096
udarajući nekoga tko stoji sa strane,

0:01:07.120,0:01:09.200
usmrćujući ga kako bi spasio pješake.

0:01:10.040,0:01:12.790
Što automobil treba učiniti[br]i tko o tome treba odlučiti?

0:01:13.520,0:01:17.056
Što ako bi, umjesto toga,[br]automobil mogao skrenuti u zid,

0:01:17.080,0:01:20.376
sudarajući se i ubijajući tebe, putnika,

0:01:20.400,0:01:22.720
kako bi spasio te pješake?

0:01:23.240,0:01:26.320
Ovaj scenarij je inspiriran[br]problemom trolejbusa,

0:01:26.960,0:01:30.736
kojeg su se dosjetili filozofi[br]prije nekoliko desetljeća,

0:01:30.760,0:01:32.000
da bi promišljali o etici.

0:01:34.120,0:01:36.756
Zato je važan način[br]na koji razmišljamo o ovom problemu.

0:01:36.756,0:01:39.256
Možemo, na primjer,[br]uopće ne razmišljati o njemu.

0:01:39.280,0:01:42.656
Možemo reći kako je taj scenarij nerealan,

0:01:42.680,0:01:45.000
iznimno nevjerojatan[br]ili jednostavno blesav.

0:01:45.760,0:01:48.496
Ali, ja smatram da takva osuda[br]promašuje poantu

0:01:48.520,0:01:50.680
jer shvaća taj scenarij previše doslovno.

0:01:51.920,0:01:54.656
Naravno da nijedna nesreća[br]neće izgledati ovako;

0:01:54.680,0:01:58.016
nijedna nesreća nema dvije ili tri opcije

0:01:58.040,0:02:00.040
u kojima svi nekako stradaju.

0:02:01.480,0:02:04.056
Umjesto toga, automobil[br]će izračunati nešto

0:02:04.080,0:02:08.976
poput vjerojatnosti udaranja[br]u određenu skupinu ljudi,

0:02:09.000,0:02:12.336
ako skrenete u jednom smjeru[br]naspram drugog smjera,

0:02:12.360,0:02:15.816
mogli biste neznatno povećati rizik[br]za putnike ili druge vozače

0:02:15.840,0:02:17.376
naspram pješaka.

0:02:17.400,0:02:19.560
To će biti složenija kalkulacija,

0:02:20.480,0:02:23.000
ali će i dalje uključivati kompromise,

0:02:23.840,0:02:26.720
a za kompromis je često potrebna[br]moralna prosudba.

0:02:27.840,0:02:30.576
Možemo onda reći [br]„Pa, nemojmo se brinuti oko toga.

0:02:30.600,0:02:35.240
Pričekajmo dok tehnologija ne bude[br]potpuno spremna i 100 posto sigurna.“

0:02:36.520,0:02:40.200
Pretpostavimo da zaista možemo uspjeti[br]eliminirati 90 posto tih nesreća,

0:02:41.080,0:02:43.920
ili čak 99 posto u idućih 10 godina.

0:02:44.920,0:02:48.096
Što ako uklanjanje tog zadnjeg[br]postotka nesreća

0:02:48.120,0:02:51.240
zahtijeva još dodatnih[br]50 godina istraživanja?

0:02:52.400,0:02:54.200
Zar ne trebamo usvojiti tehnologiju?

0:02:54.720,0:02:59.496
To je 60 milijuna ljudi poginulih[br]u automobilskim nesrećama,

0:02:59.520,0:03:01.280
ako zadržimo trenutnu stopu.

0:03:02.760,0:03:03.976
Stoga poanta je da,

0:03:04.000,0:03:07.616
čekanje potpune sigurnosti[br]je također izbor

0:03:07.640,0:03:09.800
i isto uključuje kompromise.

0:03:11.560,0:03:15.896
Ljudi prisutni na društvenim mrežama[br]pronalaze svakakve načine

0:03:15.920,0:03:17.936
kako ne misliti o ovom problemu.

0:03:17.960,0:03:21.176
Jedna je osoba predložila da[br]automobil samo skrene nekako

0:03:21.200,0:03:23.336
između putnika --

0:03:23.360,0:03:24.376
(Smijeh)

0:03:24.400,0:03:25.656
i promatrača.

0:03:25.680,0:03:29.040
Naravno, ako to automobil može učiniti,[br]onda to i treba učiniti.

0:03:29.920,0:03:32.760
Nas zanimaju scenariji[br]u kojima ovo nije moguće.

0:03:33.280,0:03:38.696
I moj osobni favorit bio je[br]prijedlog blogera

0:03:38.696,0:03:41.712
da u automobilu imamo[br]gumb za izbacivanje koji pritisnemo --

0:03:41.716,0:03:42.572
(Smijeh)

0:03:42.572,0:03:44.609
netom prije no što se[br]automobil sam uništi.

0:03:44.609,0:03:46.371
(Smijeh)

0:03:47.840,0:03:53.040
Dakle, ako priznamo da će automobili[br]morati raditi kompromise na cesti,

0:03:54.200,0:03:56.180
kako ćemo razmišljati o tim kompromisima

0:03:57.320,0:03:58.900
i kako ćemo donijeti odluku?

0:03:58.900,0:04:02.196
Pa, možda bismo trebali provesti anketu[br]da saznamo što društvo želi,

0:04:02.196,0:04:03.536
jer naposljetku,

0:04:03.560,0:04:07.520
regulacije i zakon su odraz[br]društvenih vrijednosti.

0:04:08.040,0:04:09.280
Stoga smo učinili ovo.

0:04:09.880,0:04:11.496
S mojim suradnicima,

0:04:11.520,0:04:13.856
Jean-Françoisem Bonnefonom i[br]Azimom Shariffom,

0:04:13.880,0:04:15.496
proveli smo istraživanje

0:04:15.520,0:04:18.375
u kojem smo predstavili ljudima[br]ove vrste scenarija.

0:04:18.399,0:04:22.176
Dali smo im dvije mogućnosti[br]inspirirane dvama filozofima:

0:04:22.200,0:04:24.840
Jeremyem Benthamom i Immanuelom Kantom.

0:04:25.600,0:04:28.696
Bentham kaže da automobil[br]treba pratiti utilitarnu etiku:

0:04:28.720,0:04:32.136
treba poduzeti akciju koja će[br]minimalizirati totalnu štetu --

0:04:32.160,0:04:34.976
čak i ako će ta akcija ubiti promatrača

0:04:35.000,0:04:37.440
te čak i ako će ta akcija ubiti putnika.

0:04:38.120,0:04:43.096
Immanuel Kant kaže da automobil[br]treba pratiti moralna načela,

0:04:43.120,0:04:44.680
poput „Ne ubij.“

0:04:45.480,0:04:49.920
Zato ne bismo trebali poduzeti akciju[br]koja eksplicitno šteti ljudskom biću

0:04:49.950,0:04:52.476
i trebali bismo pustiti[br]da automobil ide svojim putem,

0:04:52.476,0:04:54.400
čak i ako će to ozlijediti više ljudi.

0:04:55.640,0:04:56.840
Što vi mislite?

0:04:57.360,0:04:58.880
Bentham ili Kant?

0:04:59.760,0:05:01.016
Evo što smo mi pronašli.

0:05:01.040,0:05:02.990
Većina ljudi je stala na stranu Benthama.

0:05:04.160,0:05:07.936
Stoga se čini kako većina želi[br]da automobili budu korisni,

0:05:07.960,0:05:09.376
da smanje totalnu štetu

0:05:09.400,0:05:10.976
i to bismo svi trebali činiti.

0:05:11.000,0:05:12.200
Riješen problem.

0:05:13.240,0:05:14.720
Ali, postoji mala kvaka.

0:05:15.920,0:05:19.656
Kad smo pitali ljude bi li kupili[br]takve automobile,

0:05:19.680,0:05:21.296
odgovorili su: „ Apsolutno ne.“

0:05:21.320,0:05:23.616
(Smijeh)

0:05:23.640,0:05:27.536
Oni bi htjeli kupiti automobile[br]koji njih štite pod svaku cijenu,

0:05:27.560,0:05:31.176
ali žele da svi ostali kupe automobile[br]koji minimaliziraju štetu.

0:05:31.200,0:05:33.720
(Smijeh)

0:05:34.720,0:05:36.646
Već prije smo se sreli s ovim problemom.

0:05:36.646,0:05:38.160
Zove se društvena dilema.

0:05:39.130,0:05:40.940
I da bismo razumjeli društvena dilemu,

0:05:40.940,0:05:43.040
moramo se vratiti malo u prošlost.

0:05:44.000,0:05:46.576
U 1800-ima,

0:05:46.600,0:05:50.336
engleski ekonomist William Forster Lloyd[br]objavio je pamflet

0:05:50.360,0:05:52.576
koji opisuje idući scenarij.

0:05:52.600,0:05:54.256
Imate grupu farmera,

0:05:54.280,0:05:55.616
engleskih farmera,

0:05:55.640,0:05:58.360
koji dijele zajedničko zemljište[br]za ispašu njihovih ovaca.

0:05:59.520,0:06:02.096
Sada, ako svaki farmer dovodi[br]određeni broj ovaca --

0:06:02.120,0:06:03.616
recimo tri ovce --

0:06:03.640,0:06:05.736
zemljište će biti pomlađeno,

0:06:05.760,0:06:06.976
farmeri sretni,

0:06:07.000,0:06:08.616
ovce sretne,

0:06:08.640,0:06:09.840
sve je dobro.

0:06:10.440,0:06:12.960
Sada, ako jedan farmer dovede[br]jednu ovcu više,

0:06:13.800,0:06:18.520
tom će farmeru ići malo bolje[br]i nitko drugi neće biti oštećen.

0:06:19.160,0:06:22.800
Međutim, ako svaki farmer donese[br]tu individualno racionalnu odluku,

0:06:23.840,0:06:26.560
zemljište će postati pretrpano[br]i bit će istrošeno

0:06:27.360,0:06:29.536
na štetu svih farmera

0:06:29.560,0:06:31.680
i naravno, na štetu ovaca.

0:06:32.720,0:06:36.400
Možemo vidjeti ovaj problem[br]u raznim područjima:

0:06:37.080,0:06:40.256
u poteškoćama u vođenju[br]pretjeranog ribolova

0:06:40.280,0:06:44.840
ili u smanjenju emisija ugljika[br]za ublažavanje klimatskih promjena.

0:06:47.160,0:06:50.080
Kada je u pitanju regulacija[br]automobila bez vozača,

0:06:51.080,0:06:55.416
zajedničko je, zapravo, javna sigurnost --

0:06:55.440,0:06:56.680
to je opće dobro --

0:06:57.400,0:06:59.376
a farmeri su putnici

0:06:59.400,0:07:03.000
ili vlasnici automobila koji odabiru[br]voziti se u tim automobilima.

0:07:04.960,0:07:07.576
I odabirući individualno racionalni odabir

0:07:07.600,0:07:10.416
davanja prioriteta vlastitoj sigurnosti,

0:07:10.440,0:07:13.576
oni bi kolektivno mogli[br]umanjiti opće dobro,

0:07:13.600,0:07:15.800
koje je smanjene totalne štete.

0:07:18.320,0:07:20.456
To se naziva tragedija zajedništva,

0:07:20.480,0:07:21.776
tradicionalno,

0:07:21.800,0:07:24.896
ali ja mislim da u slučaju[br]automobila bez vozača,

0:07:24.920,0:07:27.776
problem je možda malo više podmukao

0:07:27.800,0:07:31.296
jer ne postoji nužno[br]individualno ljudsko biće

0:07:31.320,0:07:33.016
koje donosi te odluke.

0:07:33.040,0:07:36.336
Proizvođači automobila mogu jednostavno[br]programirati automobile

0:07:36.360,0:07:38.980
tako da maksimalno povećaju[br]sigurnost svojih klijenata

0:07:40.080,0:07:43.056
te bi takvi automobili mogli[br]automatski samostalno naučiti

0:07:43.080,0:07:46.600
da to zahtijeva povećanje[br]rizika za pješake.

0:07:47.380,0:07:48.936
Da upotrijebim metaforu s ovcom,

0:07:48.960,0:07:52.576
to je kao da sada imamo[br]električnu ovcu s vlastitim umom.

0:07:52.600,0:07:54.056
(Smijeh)

0:07:54.080,0:07:57.160
I one mogu otići i jesti bez da uopće[br]njihov farmer to zna.

0:07:58.640,0:08:02.616
Dakle, ovo bismo mogli nazvati[br]tragedijom zajedničkog algoritma

0:08:02.640,0:08:05.000
te nam ona nudi nove vrste izazova.

0:08:10.520,0:08:12.416
Obično, tradicionalno,

0:08:12.440,0:08:15.776
ove vrste društvenih dilema[br]rješavamo koristeći propise,

0:08:15.800,0:08:18.536
stoga se sastanu ili vlade ili zajednice

0:08:18.560,0:08:22.296
i kolektivno odluče kakav ishod žele

0:08:22.320,0:08:24.976
i kakva ograničenja[br]individualnog ponašanja

0:08:25.000,0:08:26.200
trebaju provoditi.

0:08:27.600,0:08:30.216
Te tada, koristeći praćenje i provedbu,

0:08:30.240,0:08:32.799
mogu osigurati očuvanje javne sigurnosti.

0:08:33.440,0:08:35.015
Stoga, zašto mi ne bismo samo,

0:08:35.039,0:08:36.535
kao regulatori,

0:08:36.559,0:08:39.456
zahtijevali da svi automobili[br]potpuno smanje štetu?

0:08:39.480,0:08:41.720
Uostalom, to je ono[br]što ljudi kažu da žele.

0:08:43.200,0:08:44.616
I još važnije,

0:08:44.640,0:08:47.736
mogu biti siguran da kao pojedinac,

0:08:47.760,0:08:51.616
ukoliko kupim automobil koji bi me mogao[br]žrtvovati u vrlo rijetkom slučaju,

0:08:51.640,0:08:53.296
nisam jedina naivčina čineći to

0:08:53.320,0:08:56.000
dok svi ostali uživaju bezuvjetnu zaštitu.

0:08:57.120,0:09:00.456
U našoj anketi, pitali smo ljude[br]bi li podržali propise

0:09:00.480,0:09:01.680
i evo što smo saznali.

0:09:02.360,0:09:06.120
Prvo, ljudi su rekli ne propisima;

0:09:07.280,0:09:08.536
i drugo, rekli su:

0:09:08.560,0:09:12.496
„Pa, ako regulirate automobile da to čine[br]i da potpuno smanje štetu,

0:09:12.520,0:09:14.000
ja neću kupiti te automobile.“

0:09:15.400,0:09:16.776
Dakle, ironično,

0:09:16.800,0:09:20.296
regulirajući automobile u svrhu[br]potpunog smanjenja štete,

0:09:20.320,0:09:22.160
možemo zapravo završiti s više štete

0:09:23.040,0:09:26.696
jer se možda ljudi neće odlučiti[br]za sigurniju tehnologiju,

0:09:26.720,0:09:28.920
čak i ako je puno sigurnija[br]od ljudskih vozača.

0:09:30.360,0:09:33.776
Nemam konačan odgovor na ovu zagonetku,

0:09:33.800,0:09:35.376
ali mislim da, za početak,

0:09:35.400,0:09:38.696
trebamo društvo da se zajedno okupi[br]

0:09:38.720,0:09:41.480
kako bismo odlučili[br]s kojim kompromisima se slažemo

0:09:42.360,0:09:45.840
i kako bismo osmislili[br]načine donošenja tih kompromisa.

0:09:46.520,0:09:49.056
Za početak, moji sjajni studenti,

0:09:49.080,0:09:51.536
Edmond Awad i Sohan Dsouza,

0:09:51.560,0:09:53.800
napravili su internetsku stranicu[br]Moral Machine,

0:09:54.200,0:09:56.880
koja vam postavlja nasumične događaje --

0:09:58.080,0:10:00.536
obično gomilu nasumičnih dilema u nizu,

0:10:00.560,0:10:04.480
gdje vi trebate odlučiti što bi automobil[br]trebao napraviti u određenoj situaciji.

0:10:05.040,0:10:09.640
U ponudi imamo žrtve raznih dobi i vrsta.

0:10:11.040,0:10:14.736
Dosad smo prikupili[br]više od pet milijuna odluka

0:10:14.760,0:10:16.960
od preko milijun ljudi diljem svijeta

0:10:18.400,0:10:19.950
putem te internetske stranice.

0:10:20.360,0:10:22.776
Ovo nam od početka pomaže u razumijevanju

0:10:22.800,0:10:25.416
s kakvim kompromisima se ljudi slažu

0:10:25.440,0:10:27.336
te što je njima važno --

0:10:27.360,0:10:28.800
čak i u različitim kulturama.

0:10:30.240,0:10:31.736
No, važnije od toga,

0:10:31.760,0:10:35.136
ljudima se time pomaže u shvaćanju

0:10:35.160,0:10:37.976
težine donošenja tih odluka

0:10:38.000,0:10:41.800
te da su oni koji donose odluke[br]zaduženi za nemoguće izbore.

0:10:43.360,0:10:46.936
I možda će upravo ovo pomoći nama[br]kao društvu u razumijevanju kompromisa

0:10:46.960,0:10:50.016
koji će biti ostvareni u konačnici[br]pri donošenju propisa.

0:10:50.040,0:10:51.776
I zaista, bio sam sretan saznajući

0:10:51.800,0:10:53.816
da je prvi skup propisa

0:10:53.840,0:10:55.976
iz Odjela za transport --

0:10:56.000,0:10:57.376
objavljen prošli tjedan --

0:10:57.400,0:11:03.976
obuhvaćao kontrolni popis of 15 točaka[br]za sve proizvođače automobila

0:11:04.000,0:11:07.256
te da je broj 14 uzimao u obzir etiku --

0:11:07.280,0:11:09.000
kako ćete se vi nositi s tim.

0:11:11.800,0:11:14.556
Također, potičemo ljude da promišljaju[br]o vlastitim odlukama

0:11:14.556,0:11:17.480
tako što im dajemo sažetak[br]njihovih odabira.

0:11:18.440,0:11:20.096
Dat ću vam jedan primjer --

0:11:20.120,0:11:23.656
samo ću vas upozoriti[br]da ovo nije tipičan primjer,

0:11:23.680,0:11:25.056
tipičan korisnik.

0:11:25.080,0:11:28.696
Ovo je najviše žrtvovan[br]i najviše spašen lik za ovu osobu.

0:11:28.720,0:11:33.920
(Smijeh)

0:11:34.680,0:11:36.576
Neki od vas bi se mogli složiti s njim,

0:11:36.600,0:11:38.240
ili s njom, ne znamo.

0:11:40.480,0:11:46.616
No također, čini se da ova osoba ipak malo[br]više preferira putnike nego pješake

0:11:46.640,0:11:48.736
u svojim odlukama

0:11:48.760,0:11:51.576
te da vrlo rado kažnjava neoprezno[br]prelaženje ulice.

0:11:51.600,0:11:54.640
(Smijeh)

0:11:57.320,0:11:58.269
Dakle, zaključimo.

0:11:58.269,0:12:01.975
Započeli smo pitanjem --[br]nazovimo to moralnom dilemom --

0:12:02.000,0:12:05.056
kako bi automobil trebao postupiti[br]u određenoj situaciji:

0:12:05.080,0:12:06.280
skrenuti ili ostati?

0:12:07.240,0:12:09.976
Ali onda smo shvatili da je problem[br]bio u nečem drugom.

0:12:10.000,0:12:14.536
U tome kako pridobiti društvo da donese[br]zajedničku odluku i provede

0:12:14.560,0:12:16.496
kompromise s kojim se slaže.

0:12:16.520,0:12:17.776
To je društvena dilema.

0:12:17.800,0:12:22.816
1940., Isaac Asimov je napisao svoje[br]slavne zakone robotike --

0:12:22.840,0:12:24.160
tri zakona robotike.

0:12:25.240,0:12:27.696
Robot nikada ne smije[br]naškoditi ljudskom biću,

0:12:27.720,0:12:30.256
robot nikada ne smije[br]ne poslušati ljudsko biće

0:12:30.280,0:12:33.536
i robot nikada ne smije[br]dopustiti sebi štetu --

0:12:33.560,0:12:35.520
tim redoslijedom važnosti.

0:12:36.360,0:12:38.496
No, nakon otprilike 40 godina

0:12:38.520,0:12:42.256
i nakon toliko slučajeva koji guraju[br]ove zakone do krajnjih granica,

0:12:42.280,0:12:45.976
Asimov je predstavio nulti zakon,

0:12:46.000,0:12:48.256
koji ima prednost[br]spram svih ostalih zakona

0:12:48.280,0:12:51.560
i glasi da robot nikada ne smije[br]naškoditi čovječnosti u cijelosti.

0:12:52.480,0:12:56.856
Ne znam što ovo znači u kontekstu[br]automobila bez vozača

0:12:56.880,0:12:59.616
ili u bilo kojoj specifičnoj situaciji,

0:12:59.640,0:13:01.856
i ne znam kako bismo to mogli primijeniti,

0:13:01.880,0:13:03.416
ali smatram da prepoznavanjem

0:13:03.440,0:13:09.576
kako regulacija automobila bez vozača[br]nije samo problem tehnologije

0:13:09.600,0:13:12.880
već i čitavog društva i njegove suradnje,

0:13:13.800,0:13:16.680
nadam se, možemo barem početi[br]postavljati prava pitanja.

0:13:17.200,0:13:18.416
Hvala vam.

0:13:18.440,0:13:21.360
(Pljesak)