WEBVTT 00:00:01.000 --> 00:00:05.080 Danas ću govoriti o tehnologiji i društvu. 00:00:07.040 --> 00:00:10.736 Odjel za transport je procijenio da je prošle godine 00:00:10.760 --> 00:00:14.840 35,000 ljudi umrlo u prometnim nesrećama samo u SAD-u. 00:00:16.040 --> 00:00:20.840 Diljem svijeta, 1,2 milijuna ljudi umre svake godine u prometnim nesrećama. 00:00:21.760 --> 00:00:25.856 Kad bi postojao način na koji bismo mogli eliminirati 90 posto tih nesreća, 00:00:25.880 --> 00:00:27.080 biste li ga podržali? 00:00:27.720 --> 00:00:29.016 Naravno da biste. 00:00:29.040 --> 00:00:32.695 Upravo ovo obećava postići tehnologija automobila bez vozača 00:00:32.720 --> 00:00:35.536 eliminirajući glavni uzrok nesreća -- 00:00:35.560 --> 00:00:36.760 ljudsku pogrešku. NOTE Paragraph 00:00:37.920 --> 00:00:43.336 Sada zamislite sebe u automobilu bez vozača u 2030. godini, 00:00:43.360 --> 00:00:46.816 kako sjedite otraga i gledate ovaj zastarjeli TEDxCambridge video. NOTE Paragraph 00:00:46.840 --> 00:00:48.840 (Smijeh) NOTE Paragraph 00:00:49.520 --> 00:00:50.736 Odjednom, 00:00:50.760 --> 00:00:54.040 automobilu se dogodio mehanički kvar i ne može se zaustaviti. 00:00:55.360 --> 00:00:56.880 Ako automobil nastavi voziti, 00:00:57.720 --> 00:01:01.840 sudarit će se s hrpom pješaka koji prelaze ulicu, 00:01:03.080 --> 00:01:05.215 ali automobil može i skrenuti, 00:01:05.239 --> 00:01:07.096 udarajući nekoga tko stoji sa strane, 00:01:07.120 --> 00:01:09.200 usmrćujući ga kako bi spasio pješake. 00:01:10.040 --> 00:01:12.790 Što automobil treba učiniti i tko o tome treba odlučiti? 00:01:13.520 --> 00:01:17.056 Što ako bi, umjesto toga, automobil mogao skrenuti u zid, 00:01:17.080 --> 00:01:20.376 sudarajući se i ubijajući tebe, putnika, 00:01:20.400 --> 00:01:22.720 kako bi spasio te pješake? 00:01:23.240 --> 00:01:26.320 Ovaj scenarij je inspiriran problemom trolejbusa, 00:01:26.960 --> 00:01:30.736 kojeg su se dosjetili filozofi prije nekoliko desetljeća, 00:01:30.760 --> 00:01:32.000 da bi promišljali o etici. NOTE Paragraph 00:01:34.120 --> 00:01:36.756 Zato je važan način na koji razmišljamo o ovom problemu. 00:01:36.756 --> 00:01:39.256 Možemo, na primjer, uopće ne razmišljati o njemu. 00:01:39.280 --> 00:01:42.656 Možemo reći kako je taj scenarij nerealan, 00:01:42.680 --> 00:01:45.000 iznimno nevjerojatan ili jednostavno blesav. 00:01:45.760 --> 00:01:48.496 Ali, ja smatram da takva osuda promašuje poantu 00:01:48.520 --> 00:01:50.680 jer shvaća taj scenarij previše doslovno. 00:01:51.920 --> 00:01:54.656 Naravno da nijedna nesreća neće izgledati ovako; 00:01:54.680 --> 00:01:58.016 nijedna nesreća nema dvije ili tri opcije 00:01:58.040 --> 00:02:00.040 u kojima svi nekako stradaju. 00:02:01.480 --> 00:02:04.056 Umjesto toga, automobil će izračunati nešto 00:02:04.080 --> 00:02:08.976 poput vjerojatnosti udaranja u određenu skupinu ljudi, 00:02:09.000 --> 00:02:12.336 ako skrenete u jednom smjeru naspram drugog smjera, 00:02:12.360 --> 00:02:15.816 mogli biste neznatno povećati rizik za putnike ili druge vozače 00:02:15.840 --> 00:02:17.376 naspram pješaka. 00:02:17.400 --> 00:02:19.560 To će biti složenija kalkulacija, 00:02:20.480 --> 00:02:23.000 ali će i dalje uključivati kompromise, 00:02:23.840 --> 00:02:26.720 a za kompromis je često potrebna moralna prosudba. NOTE Paragraph 00:02:27.840 --> 00:02:30.576 Možemo onda reći „Pa, nemojmo se brinuti oko toga. 00:02:30.600 --> 00:02:35.240 Pričekajmo dok tehnologija ne bude potpuno spremna i 100 posto sigurna.“ 00:02:36.520 --> 00:02:40.200 Pretpostavimo da zaista možemo uspjeti eliminirati 90 posto tih nesreća, 00:02:41.080 --> 00:02:43.920 ili čak 99 posto u idućih 10 godina. 00:02:44.920 --> 00:02:48.096 Što ako uklanjanje tog zadnjeg postotka nesreća 00:02:48.120 --> 00:02:51.240 zahtijeva još dodatnih 50 godina istraživanja? 00:02:52.400 --> 00:02:54.200 Zar ne trebamo usvojiti tehnologiju? 00:02:54.720 --> 00:02:59.496 To je 60 milijuna ljudi poginulih u automobilskim nesrećama, 00:02:59.520 --> 00:03:01.280 ako zadržimo trenutnu stopu. 00:03:02.760 --> 00:03:03.976 Stoga poanta je da, 00:03:04.000 --> 00:03:07.616 čekanje potpune sigurnosti je također izbor 00:03:07.640 --> 00:03:09.800 i isto uključuje kompromise. NOTE Paragraph 00:03:11.560 --> 00:03:15.896 Ljudi prisutni na društvenim mrežama pronalaze svakakve načine 00:03:15.920 --> 00:03:17.936 kako ne misliti o ovom problemu. 00:03:17.960 --> 00:03:21.176 Jedna je osoba predložila da automobil samo skrene nekako 00:03:21.200 --> 00:03:23.336 između putnika -- NOTE Paragraph 00:03:23.360 --> 00:03:24.376 (Smijeh) NOTE Paragraph 00:03:24.400 --> 00:03:25.656 i promatrača. 00:03:25.680 --> 00:03:29.040 Naravno, ako to automobil može učiniti, onda to i treba učiniti. 00:03:29.920 --> 00:03:32.760 Nas zanimaju scenariji u kojima ovo nije moguće. 00:03:33.280 --> 00:03:38.696 I moj osobni favorit bio je prijedlog blogera 00:03:38.696 --> 00:03:41.712 da u automobilu imamo gumb za izbacivanje koji pritisnemo -- NOTE Paragraph 00:03:41.716 --> 00:03:42.572 (Smijeh) NOTE Paragraph 00:03:42.572 --> 00:03:44.609 netom prije no što se automobil sam uništi. NOTE Paragraph 00:03:44.609 --> 00:03:46.371 (Smijeh) NOTE Paragraph 00:03:47.840 --> 00:03:53.040 Dakle, ako priznamo da će automobili morati raditi kompromise na cesti, 00:03:54.200 --> 00:03:56.180 kako ćemo razmišljati o tim kompromisima 00:03:57.320 --> 00:03:58.900 i kako ćemo donijeti odluku? 00:03:58.900 --> 00:04:02.196 Pa, možda bismo trebali provesti anketu da saznamo što društvo želi, 00:04:02.196 --> 00:04:03.536 jer naposljetku, 00:04:03.560 --> 00:04:07.520 regulacije i zakon su odraz društvenih vrijednosti. NOTE Paragraph 00:04:08.040 --> 00:04:09.280 Stoga smo učinili ovo. 00:04:09.880 --> 00:04:11.496 S mojim suradnicima, 00:04:11.520 --> 00:04:13.856 Jean-Françoisem Bonnefonom i Azimom Shariffom, 00:04:13.880 --> 00:04:15.496 proveli smo istraživanje 00:04:15.520 --> 00:04:18.375 u kojem smo predstavili ljudima ove vrste scenarija. 00:04:18.399 --> 00:04:22.176 Dali smo im dvije mogućnosti inspirirane dvama filozofima: 00:04:22.200 --> 00:04:24.840 Jeremyem Benthamom i Immanuelom Kantom. 00:04:25.600 --> 00:04:28.696 Bentham kaže da automobil treba pratiti utilitarnu etiku: 00:04:28.720 --> 00:04:32.136 treba poduzeti akciju koja će minimalizirati totalnu štetu -- 00:04:32.160 --> 00:04:34.976 čak i ako će ta akcija ubiti promatrača 00:04:35.000 --> 00:04:37.440 te čak i ako će ta akcija ubiti putnika. 00:04:38.120 --> 00:04:43.096 Immanuel Kant kaže da automobil treba pratiti moralna načela, 00:04:43.120 --> 00:04:44.680 poput „Ne ubij.“ 00:04:45.480 --> 00:04:49.920 Zato ne bismo trebali poduzeti akciju koja eksplicitno šteti ljudskom biću 00:04:49.950 --> 00:04:52.476 i trebali bismo pustiti da automobil ide svojim putem, 00:04:52.476 --> 00:04:54.400 čak i ako će to ozlijediti više ljudi. NOTE Paragraph 00:04:55.640 --> 00:04:56.840 Što vi mislite? 00:04:57.360 --> 00:04:58.880 Bentham ili Kant? 00:04:59.760 --> 00:05:01.016 Evo što smo mi pronašli. 00:05:01.040 --> 00:05:02.990 Većina ljudi je stala na stranu Benthama. 00:05:04.160 --> 00:05:07.936 Stoga se čini kako većina želi da automobili budu korisni, 00:05:07.960 --> 00:05:09.376 da smanje totalnu štetu 00:05:09.400 --> 00:05:10.976 i to bismo svi trebali činiti. 00:05:11.000 --> 00:05:12.200 Riješen problem. 00:05:13.240 --> 00:05:14.720 Ali, postoji mala kvaka. 00:05:15.920 --> 00:05:19.656 Kad smo pitali ljude bi li kupili takve automobile, 00:05:19.680 --> 00:05:21.296 odgovorili su: „ Apsolutno ne.“ NOTE Paragraph 00:05:21.320 --> 00:05:23.616 (Smijeh) NOTE Paragraph 00:05:23.640 --> 00:05:27.536 Oni bi htjeli kupiti automobile koji njih štite pod svaku cijenu, 00:05:27.560 --> 00:05:31.176 ali žele da svi ostali kupe automobile koji minimaliziraju štetu. NOTE Paragraph 00:05:31.200 --> 00:05:33.720 (Smijeh) NOTE Paragraph 00:05:34.720 --> 00:05:36.646 Već prije smo se sreli s ovim problemom. 00:05:36.646 --> 00:05:38.160 Zove se društvena dilema. 00:05:39.130 --> 00:05:40.940 I da bismo razumjeli društvena dilemu, 00:05:40.940 --> 00:05:43.040 moramo se vratiti malo u prošlost. 00:05:44.000 --> 00:05:46.576 U 1800-ima, 00:05:46.600 --> 00:05:50.336 engleski ekonomist William Forster Lloyd objavio je pamflet 00:05:50.360 --> 00:05:52.576 koji opisuje idući scenarij. 00:05:52.600 --> 00:05:54.256 Imate grupu farmera, 00:05:54.280 --> 00:05:55.616 engleskih farmera, 00:05:55.640 --> 00:05:58.360 koji dijele zajedničko zemljište za ispašu njihovih ovaca. 00:05:59.520 --> 00:06:02.096 Sada, ako svaki farmer dovodi određeni broj ovaca -- 00:06:02.120 --> 00:06:03.616 recimo tri ovce -- 00:06:03.640 --> 00:06:05.736 zemljište će biti pomlađeno, 00:06:05.760 --> 00:06:06.976 farmeri sretni, 00:06:07.000 --> 00:06:08.616 ovce sretne, 00:06:08.640 --> 00:06:09.840 sve je dobro. 00:06:10.440 --> 00:06:12.960 Sada, ako jedan farmer dovede jednu ovcu više, 00:06:13.800 --> 00:06:18.520 tom će farmeru ići malo bolje i nitko drugi neće biti oštećen. 00:06:19.160 --> 00:06:22.800 Međutim, ako svaki farmer donese tu individualno racionalnu odluku, 00:06:23.840 --> 00:06:26.560 zemljište će postati pretrpano i bit će istrošeno 00:06:27.360 --> 00:06:29.536 na štetu svih farmera 00:06:29.560 --> 00:06:31.680 i naravno, na štetu ovaca. NOTE Paragraph 00:06:32.720 --> 00:06:36.400 Možemo vidjeti ovaj problem u raznim područjima: 00:06:37.080 --> 00:06:40.256 u poteškoćama u vođenju pretjeranog ribolova 00:06:40.280 --> 00:06:44.840 ili u smanjenju emisija ugljika za ublažavanje klimatskih promjena. 00:06:47.160 --> 00:06:50.080 Kada je u pitanju regulacija automobila bez vozača, 00:06:51.080 --> 00:06:55.416 zajedničko je, zapravo, javna sigurnost -- 00:06:55.440 --> 00:06:56.680 to je opće dobro -- 00:06:57.400 --> 00:06:59.376 a farmeri su putnici 00:06:59.400 --> 00:07:03.000 ili vlasnici automobila koji odabiru voziti se u tim automobilima. 00:07:04.960 --> 00:07:07.576 I odabirući individualno racionalni odabir 00:07:07.600 --> 00:07:10.416 davanja prioriteta vlastitoj sigurnosti, 00:07:10.440 --> 00:07:13.576 oni bi kolektivno mogli umanjiti opće dobro, 00:07:13.600 --> 00:07:15.800 koje je smanjene totalne štete. 00:07:18.320 --> 00:07:20.456 To se naziva tragedija zajedništva, 00:07:20.480 --> 00:07:21.776 tradicionalno, 00:07:21.800 --> 00:07:24.896 ali ja mislim da u slučaju automobila bez vozača, 00:07:24.920 --> 00:07:27.776 problem je možda malo više podmukao 00:07:27.800 --> 00:07:31.296 jer ne postoji nužno individualno ljudsko biće 00:07:31.320 --> 00:07:33.016 koje donosi te odluke. 00:07:33.040 --> 00:07:36.336 Proizvođači automobila mogu jednostavno programirati automobile 00:07:36.360 --> 00:07:38.980 tako da maksimalno povećaju sigurnost svojih klijenata 00:07:40.080 --> 00:07:43.056 te bi takvi automobili mogli automatski samostalno naučiti 00:07:43.080 --> 00:07:46.600 da to zahtijeva povećanje rizika za pješake. 00:07:47.380 --> 00:07:48.936 Da upotrijebim metaforu s ovcom, 00:07:48.960 --> 00:07:52.576 to je kao da sada imamo električnu ovcu s vlastitim umom. NOTE Paragraph 00:07:52.600 --> 00:07:54.056 (Smijeh) NOTE Paragraph 00:07:54.080 --> 00:07:57.160 I one mogu otići i jesti bez da uopće njihov farmer to zna. NOTE Paragraph 00:07:58.640 --> 00:08:02.616 Dakle, ovo bismo mogli nazvati tragedijom zajedničkog algoritma 00:08:02.640 --> 00:08:05.000 te nam ona nudi nove vrste izazova. 00:08:10.520 --> 00:08:12.416 Obično, tradicionalno, 00:08:12.440 --> 00:08:15.776 ove vrste društvenih dilema rješavamo koristeći propise, 00:08:15.800 --> 00:08:18.536 stoga se sastanu ili vlade ili zajednice 00:08:18.560 --> 00:08:22.296 i kolektivno odluče kakav ishod žele 00:08:22.320 --> 00:08:24.976 i kakva ograničenja individualnog ponašanja 00:08:25.000 --> 00:08:26.200 trebaju provoditi. 00:08:27.600 --> 00:08:30.216 Te tada, koristeći praćenje i provedbu, 00:08:30.240 --> 00:08:32.799 mogu osigurati očuvanje javne sigurnosti. 00:08:33.440 --> 00:08:35.015 Stoga, zašto mi ne bismo samo, 00:08:35.039 --> 00:08:36.535 kao regulatori, 00:08:36.559 --> 00:08:39.456 zahtijevali da svi automobili potpuno smanje štetu? 00:08:39.480 --> 00:08:41.720 Uostalom, to je ono što ljudi kažu da žele. 00:08:43.200 --> 00:08:44.616 I još važnije, 00:08:44.640 --> 00:08:47.736 mogu biti siguran da kao pojedinac, 00:08:47.760 --> 00:08:51.616 ukoliko kupim automobil koji bi me mogao žrtvovati u vrlo rijetkom slučaju, 00:08:51.640 --> 00:08:53.296 nisam jedina naivčina čineći to 00:08:53.320 --> 00:08:56.000 dok svi ostali uživaju bezuvjetnu zaštitu. NOTE Paragraph 00:08:57.120 --> 00:09:00.456 U našoj anketi, pitali smo ljude bi li podržali propise 00:09:00.480 --> 00:09:01.680 i evo što smo saznali. 00:09:02.360 --> 00:09:06.120 Prvo, ljudi su rekli ne propisima; 00:09:07.280 --> 00:09:08.536 i drugo, rekli su: 00:09:08.560 --> 00:09:12.496 „Pa, ako regulirate automobile da to čine i da potpuno smanje štetu, 00:09:12.520 --> 00:09:14.000 ja neću kupiti te automobile.“ 00:09:15.400 --> 00:09:16.776 Dakle, ironično, 00:09:16.800 --> 00:09:20.296 regulirajući automobile u svrhu potpunog smanjenja štete, 00:09:20.320 --> 00:09:22.160 možemo zapravo završiti s više štete 00:09:23.040 --> 00:09:26.696 jer se možda ljudi neće odlučiti za sigurniju tehnologiju, 00:09:26.720 --> 00:09:28.920 čak i ako je puno sigurnija od ljudskih vozača. NOTE Paragraph 00:09:30.360 --> 00:09:33.776 Nemam konačan odgovor na ovu zagonetku, 00:09:33.800 --> 00:09:35.376 ali mislim da, za početak, 00:09:35.400 --> 00:09:38.696 trebamo društvo da se zajedno okupi 00:09:38.720 --> 00:09:41.480 kako bismo odlučili s kojim kompromisima se slažemo 00:09:42.360 --> 00:09:45.840 i kako bismo osmislili načine donošenja tih kompromisa. NOTE Paragraph 00:09:46.520 --> 00:09:49.056 Za početak, moji sjajni studenti, 00:09:49.080 --> 00:09:51.536 Edmond Awad i Sohan Dsouza, 00:09:51.560 --> 00:09:53.800 napravili su internetsku stranicu Moral Machine, 00:09:54.200 --> 00:09:56.880 koja vam postavlja nasumične događaje -- 00:09:58.080 --> 00:10:00.536 obično gomilu nasumičnih dilema u nizu, 00:10:00.560 --> 00:10:04.480 gdje vi trebate odlučiti što bi automobil trebao napraviti u određenoj situaciji. 00:10:05.040 --> 00:10:09.640 U ponudi imamo žrtve raznih dobi i vrsta. 00:10:11.040 --> 00:10:14.736 Dosad smo prikupili više od pet milijuna odluka 00:10:14.760 --> 00:10:16.960 od preko milijun ljudi diljem svijeta 00:10:18.400 --> 00:10:19.950 putem te internetske stranice. 00:10:20.360 --> 00:10:22.776 Ovo nam od početka pomaže u razumijevanju 00:10:22.800 --> 00:10:25.416 s kakvim kompromisima se ljudi slažu 00:10:25.440 --> 00:10:27.336 te što je njima važno -- 00:10:27.360 --> 00:10:28.800 čak i u različitim kulturama. 00:10:30.240 --> 00:10:31.736 No, važnije od toga, 00:10:31.760 --> 00:10:35.136 ljudima se time pomaže u shvaćanju 00:10:35.160 --> 00:10:37.976 težine donošenja tih odluka 00:10:38.000 --> 00:10:41.800 te da su oni koji donose odluke zaduženi za nemoguće izbore. 00:10:43.360 --> 00:10:46.936 I možda će upravo ovo pomoći nama kao društvu u razumijevanju kompromisa 00:10:46.960 --> 00:10:50.016 koji će biti ostvareni u konačnici pri donošenju propisa. NOTE Paragraph 00:10:50.040 --> 00:10:51.776 I zaista, bio sam sretan saznajući 00:10:51.800 --> 00:10:53.816 da je prvi skup propisa 00:10:53.840 --> 00:10:55.976 iz Odjela za transport -- 00:10:56.000 --> 00:10:57.376 objavljen prošli tjedan -- 00:10:57.400 --> 00:11:03.976 obuhvaćao kontrolni popis of 15 točaka za sve proizvođače automobila 00:11:04.000 --> 00:11:07.256 te da je broj 14 uzimao u obzir etiku -- 00:11:07.280 --> 00:11:09.000 kako ćete se vi nositi s tim. 00:11:11.800 --> 00:11:14.556 Također, potičemo ljude da promišljaju o vlastitim odlukama 00:11:14.556 --> 00:11:17.480 tako što im dajemo sažetak njihovih odabira. 00:11:18.440 --> 00:11:20.096 Dat ću vam jedan primjer -- 00:11:20.120 --> 00:11:23.656 samo ću vas upozoriti da ovo nije tipičan primjer, 00:11:23.680 --> 00:11:25.056 tipičan korisnik. 00:11:25.080 --> 00:11:28.696 Ovo je najviše žrtvovan i najviše spašen lik za ovu osobu. NOTE Paragraph 00:11:28.720 --> 00:11:33.920 (Smijeh) NOTE Paragraph 00:11:34.680 --> 00:11:36.576 Neki od vas bi se mogli složiti s njim, 00:11:36.600 --> 00:11:38.240 ili s njom, ne znamo. 00:11:40.480 --> 00:11:46.616 No također, čini se da ova osoba ipak malo više preferira putnike nego pješake 00:11:46.640 --> 00:11:48.736 u svojim odlukama 00:11:48.760 --> 00:11:51.576 te da vrlo rado kažnjava neoprezno prelaženje ulice. NOTE Paragraph 00:11:51.600 --> 00:11:54.640 (Smijeh) NOTE Paragraph 00:11:57.320 --> 00:11:58.269 Dakle, zaključimo. 00:11:58.269 --> 00:12:01.975 Započeli smo pitanjem -- nazovimo to moralnom dilemom -- 00:12:02.000 --> 00:12:05.056 kako bi automobil trebao postupiti u određenoj situaciji: 00:12:05.080 --> 00:12:06.280 skrenuti ili ostati? 00:12:07.240 --> 00:12:09.976 Ali onda smo shvatili da je problem bio u nečem drugom. 00:12:10.000 --> 00:12:14.536 U tome kako pridobiti društvo da donese zajedničku odluku i provede 00:12:14.560 --> 00:12:16.496 kompromise s kojim se slaže. 00:12:16.520 --> 00:12:17.776 To je društvena dilema. NOTE Paragraph 00:12:17.800 --> 00:12:22.816 1940., Isaac Asimov je napisao svoje slavne zakone robotike -- 00:12:22.840 --> 00:12:24.160 tri zakona robotike. 00:12:25.240 --> 00:12:27.696 Robot nikada ne smije naškoditi ljudskom biću, 00:12:27.720 --> 00:12:30.256 robot nikada ne smije ne poslušati ljudsko biće 00:12:30.280 --> 00:12:33.536 i robot nikada ne smije dopustiti sebi štetu -- 00:12:33.560 --> 00:12:35.520 tim redoslijedom važnosti. 00:12:36.360 --> 00:12:38.496 No, nakon otprilike 40 godina 00:12:38.520 --> 00:12:42.256 i nakon toliko slučajeva koji guraju ove zakone do krajnjih granica, 00:12:42.280 --> 00:12:45.976 Asimov je predstavio nulti zakon, 00:12:46.000 --> 00:12:48.256 koji ima prednost spram svih ostalih zakona 00:12:48.280 --> 00:12:51.560 i glasi da robot nikada ne smije naškoditi čovječnosti u cijelosti. 00:12:52.480 --> 00:12:56.856 Ne znam što ovo znači u kontekstu automobila bez vozača 00:12:56.880 --> 00:12:59.616 ili u bilo kojoj specifičnoj situaciji, 00:12:59.640 --> 00:13:01.856 i ne znam kako bismo to mogli primijeniti, 00:13:01.880 --> 00:13:03.416 ali smatram da prepoznavanjem 00:13:03.440 --> 00:13:09.576 kako regulacija automobila bez vozača nije samo problem tehnologije 00:13:09.600 --> 00:13:12.880 već i čitavog društva i njegove suradnje, 00:13:13.800 --> 00:13:16.680 nadam se, možemo barem početi postavljati prava pitanja. NOTE Paragraph 00:13:17.200 --> 00:13:18.416 Hvala vam. NOTE Paragraph 00:13:18.440 --> 00:13:21.360 (Pljesak)