1
00:00:01,000 --> 00:00:05,080
Danas ću govoriti o tehnologiji i društvu.

2
00:00:07,040 --> 00:00:10,736
Odjel za transport je procijenio
da je prošle godine

3
00:00:10,760 --> 00:00:14,840
35,000 ljudi umrlo
u prometnim nesrećama samo u SAD-u.

4
00:00:16,040 --> 00:00:20,840
Diljem svijeta, 1,2 milijuna ljudi umre
svake godine u prometnim nesrećama.

5
00:00:21,760 --> 00:00:25,856
Kad bi postojao način na koji bismo mogli
eliminirati 90 posto tih nesreća,

6
00:00:25,880 --> 00:00:27,080
biste li ga podržali?

7
00:00:27,720 --> 00:00:29,016
Naravno da biste.

8
00:00:29,040 --> 00:00:32,695
Upravo ovo obećava postići
tehnologija automobila bez vozača

9
00:00:32,720 --> 00:00:35,536
eliminirajući glavni uzrok nesreća --

10
00:00:35,560 --> 00:00:36,760
ljudsku pogrešku.

11
00:00:37,920 --> 00:00:43,336
Sada zamislite sebe u automobilu
bez vozača u 2030. godini,

12
00:00:43,360 --> 00:00:46,816
kako sjedite otraga i gledate ovaj
zastarjeli TEDxCambridge video.

13
00:00:46,840 --> 00:00:48,840
(Smijeh)

14
00:00:49,520 --> 00:00:50,736
Odjednom,

15
00:00:50,760 --> 00:00:54,040
automobilu se dogodio mehanički kvar
i ne može se zaustaviti.

16
00:00:55,360 --> 00:00:56,880
Ako automobil nastavi voziti,

17
00:00:57,720 --> 00:01:01,840
sudarit će se s hrpom pješaka
koji prelaze ulicu,

18
00:01:03,080 --> 00:01:05,215
ali automobil može i skrenuti,

19
00:01:05,239 --> 00:01:07,096
udarajući nekoga tko stoji sa strane,

20
00:01:07,120 --> 00:01:09,200
usmrćujući ga kako bi spasio pješake.

21
00:01:10,040 --> 00:01:12,790
Što automobil treba učiniti
i tko o tome treba odlučiti?

22
00:01:13,520 --> 00:01:17,056
Što ako bi, umjesto toga,
automobil mogao skrenuti u zid,

23
00:01:17,080 --> 00:01:20,376
sudarajući se i ubijajući tebe, putnika,

24
00:01:20,400 --> 00:01:22,720
kako bi spasio te pješake?

25
00:01:23,240 --> 00:01:26,320
Ovaj scenarij je inspiriran
problemom trolejbusa,

26
00:01:26,960 --> 00:01:30,736
kojeg su se dosjetili filozofi
prije nekoliko desetljeća,

27
00:01:30,760 --> 00:01:32,000
da bi promišljali o etici.

28
00:01:34,120 --> 00:01:36,756
Zato je važan način
na koji razmišljamo o ovom problemu.

29
00:01:36,756 --> 00:01:39,256
Možemo, na primjer,
uopće ne razmišljati o njemu.

30
00:01:39,280 --> 00:01:42,656
Možemo reći kako je taj scenarij nerealan,

31
00:01:42,680 --> 00:01:45,000
iznimno nevjerojatan
ili jednostavno blesav.

32
00:01:45,760 --> 00:01:48,496
Ali, ja smatram da takva osuda
promašuje poantu

33
00:01:48,520 --> 00:01:50,680
jer shvaća taj scenarij previše doslovno.

34
00:01:51,920 --> 00:01:54,656
Naravno da nijedna nesreća
neće izgledati ovako;

35
00:01:54,680 --> 00:01:58,016
nijedna nesreća nema dvije ili tri opcije

36
00:01:58,040 --> 00:02:00,040
u kojima svi nekako stradaju.

37
00:02:01,480 --> 00:02:04,056
Umjesto toga, automobil
će izračunati nešto

38
00:02:04,080 --> 00:02:08,976
poput vjerojatnosti udaranja
u određenu skupinu ljudi,

39
00:02:09,000 --> 00:02:12,336
ako skrenete u jednom smjeru
naspram drugog smjera,

40
00:02:12,360 --> 00:02:15,816
mogli biste neznatno povećati rizik
za putnike ili druge vozače

41
00:02:15,840 --> 00:02:17,376
naspram pješaka.

42
00:02:17,400 --> 00:02:19,560
To će biti složenija kalkulacija,

43
00:02:20,480 --> 00:02:23,000
ali će i dalje uključivati kompromise,

44
00:02:23,840 --> 00:02:26,720
a za kompromis je često potrebna
moralna prosudba.

45
00:02:27,840 --> 00:02:30,576
Možemo onda reći 
„Pa, nemojmo se brinuti oko toga.

46
00:02:30,600 --> 00:02:35,240
Pričekajmo dok tehnologija ne bude
potpuno spremna i 100 posto sigurna.“

47
00:02:36,520 --> 00:02:40,200
Pretpostavimo da zaista možemo uspjeti
eliminirati 90 posto tih nesreća,

48
00:02:41,080 --> 00:02:43,920
ili čak 99 posto u idućih 10 godina.

49
00:02:44,920 --> 00:02:48,096
Što ako uklanjanje tog zadnjeg
postotka nesreća

50
00:02:48,120 --> 00:02:51,240
zahtijeva još dodatnih
50 godina istraživanja?

51
00:02:52,400 --> 00:02:54,200
Zar ne trebamo usvojiti tehnologiju?

52
00:02:54,720 --> 00:02:59,496
To je 60 milijuna ljudi poginulih
u automobilskim nesrećama,

53
00:02:59,520 --> 00:03:01,280
ako zadržimo trenutnu stopu.

54
00:03:02,760 --> 00:03:03,976
Stoga poanta je da,

55
00:03:04,000 --> 00:03:07,616
čekanje potpune sigurnosti
je također izbor

56
00:03:07,640 --> 00:03:09,800
i isto uključuje kompromise.

57
00:03:11,560 --> 00:03:15,896
Ljudi prisutni na društvenim mrežama
pronalaze svakakve načine

58
00:03:15,920 --> 00:03:17,936
kako ne misliti o ovom problemu.

59
00:03:17,960 --> 00:03:21,176
Jedna je osoba predložila da
automobil samo skrene nekako

60
00:03:21,200 --> 00:03:23,336
između putnika --

61
00:03:23,360 --> 00:03:24,376
(Smijeh)

62
00:03:24,400 --> 00:03:25,656
i promatrača.

63
00:03:25,680 --> 00:03:29,040
Naravno, ako to automobil može učiniti,
onda to i treba učiniti.

64
00:03:29,920 --> 00:03:32,760
Nas zanimaju scenariji
u kojima ovo nije moguće.

65
00:03:33,280 --> 00:03:38,696
I moj osobni favorit bio je
prijedlog blogera

66
00:03:38,696 --> 00:03:41,712
da u automobilu imamo
gumb za izbacivanje koji pritisnemo --

67
00:03:41,716 --> 00:03:42,572
(Smijeh)

68
00:03:42,572 --> 00:03:44,609
netom prije no što se
automobil sam uništi.

69
00:03:44,609 --> 00:03:46,371
(Smijeh)

70
00:03:47,840 --> 00:03:53,040
Dakle, ako priznamo da će automobili
morati raditi kompromise na cesti,

71
00:03:54,200 --> 00:03:56,180
kako ćemo razmišljati o tim kompromisima

72
00:03:57,320 --> 00:03:58,900
i kako ćemo donijeti odluku?

73
00:03:58,900 --> 00:04:02,196
Pa, možda bismo trebali provesti anketu
da saznamo što društvo želi,

74
00:04:02,196 --> 00:04:03,536
jer naposljetku,

75
00:04:03,560 --> 00:04:07,520
regulacije i zakon su odraz
društvenih vrijednosti.

76
00:04:08,040 --> 00:04:09,280
Stoga smo učinili ovo.

77
00:04:09,880 --> 00:04:11,496
S mojim suradnicima,

78
00:04:11,520 --> 00:04:13,856
Jean-Françoisem Bonnefonom i
Azimom Shariffom,

79
00:04:13,880 --> 00:04:15,496
proveli smo istraživanje

80
00:04:15,520 --> 00:04:18,375
u kojem smo predstavili ljudima
ove vrste scenarija.

81
00:04:18,399 --> 00:04:22,176
Dali smo im dvije mogućnosti
inspirirane dvama filozofima:

82
00:04:22,200 --> 00:04:24,840
Jeremyem Benthamom i Immanuelom Kantom.

83
00:04:25,600 --> 00:04:28,696
Bentham kaže da automobil
treba pratiti utilitarnu etiku:

84
00:04:28,720 --> 00:04:32,136
treba poduzeti akciju koja će
minimalizirati totalnu štetu --

85
00:04:32,160 --> 00:04:34,976
čak i ako će ta akcija ubiti promatrača

86
00:04:35,000 --> 00:04:37,440
te čak i ako će ta akcija ubiti putnika.

87
00:04:38,120 --> 00:04:43,096
Immanuel Kant kaže da automobil
treba pratiti moralna načela,

88
00:04:43,120 --> 00:04:44,680
poput „Ne ubij.“

89
00:04:45,480 --> 00:04:49,920
Zato ne bismo trebali poduzeti akciju
koja eksplicitno šteti ljudskom biću

90
00:04:49,950 --> 00:04:52,476
i trebali bismo pustiti
da automobil ide svojim putem,

91
00:04:52,476 --> 00:04:54,400
čak i ako će to ozlijediti više ljudi.

92
00:04:55,640 --> 00:04:56,840
Što vi mislite?

93
00:04:57,360 --> 00:04:58,880
Bentham ili Kant?

94
00:04:59,760 --> 00:05:01,016
Evo što smo mi pronašli.

95
00:05:01,040 --> 00:05:02,990
Većina ljudi je stala na stranu Benthama.

96
00:05:04,160 --> 00:05:07,936
Stoga se čini kako većina želi
da automobili budu korisni,

97
00:05:07,960 --> 00:05:09,376
da smanje totalnu štetu

98
00:05:09,400 --> 00:05:10,976
i to bismo svi trebali činiti.

99
00:05:11,000 --> 00:05:12,200
Riješen problem.

100
00:05:13,240 --> 00:05:14,720
Ali, postoji mala kvaka.

101
00:05:15,920 --> 00:05:19,656
Kad smo pitali ljude bi li kupili
takve automobile,

102
00:05:19,680 --> 00:05:21,296
odgovorili su: „ Apsolutno ne.“

103
00:05:21,320 --> 00:05:23,616
(Smijeh)

104
00:05:23,640 --> 00:05:27,536
Oni bi htjeli kupiti automobile
koji njih štite pod svaku cijenu,

105
00:05:27,560 --> 00:05:31,176
ali žele da svi ostali kupe automobile
koji minimaliziraju štetu.

106
00:05:31,200 --> 00:05:33,720
(Smijeh)

107
00:05:34,720 --> 00:05:36,646
Već prije smo se sreli s ovim problemom.

108
00:05:36,646 --> 00:05:38,160
Zove se društvena dilema.

109
00:05:39,130 --> 00:05:40,940
I da bismo razumjeli društvena dilemu,

110
00:05:40,940 --> 00:05:43,040
moramo se vratiti malo u prošlost.

111
00:05:44,000 --> 00:05:46,576
U 1800-ima,

112
00:05:46,600 --> 00:05:50,336
engleski ekonomist William Forster Lloyd
objavio je pamflet

113
00:05:50,360 --> 00:05:52,576
koji opisuje idući scenarij.

114
00:05:52,600 --> 00:05:54,256
Imate grupu farmera,

115
00:05:54,280 --> 00:05:55,616
engleskih farmera,

116
00:05:55,640 --> 00:05:58,360
koji dijele zajedničko zemljište
za ispašu njihovih ovaca.

117
00:05:59,520 --> 00:06:02,096
Sada, ako svaki farmer dovodi
određeni broj ovaca --

118
00:06:02,120 --> 00:06:03,616
recimo tri ovce --

119
00:06:03,640 --> 00:06:05,736
zemljište će biti pomlađeno,

120
00:06:05,760 --> 00:06:06,976
farmeri sretni,

121
00:06:07,000 --> 00:06:08,616
ovce sretne,

122
00:06:08,640 --> 00:06:09,840
sve je dobro.

123
00:06:10,440 --> 00:06:12,960
Sada, ako jedan farmer dovede
jednu ovcu više,

124
00:06:13,800 --> 00:06:18,520
tom će farmeru ići malo bolje
i nitko drugi neće biti oštećen.

125
00:06:19,160 --> 00:06:22,800
Međutim, ako svaki farmer donese
tu individualno racionalnu odluku,

126
00:06:23,840 --> 00:06:26,560
zemljište će postati pretrpano
i bit će istrošeno

127
00:06:27,360 --> 00:06:29,536
na štetu svih farmera

128
00:06:29,560 --> 00:06:31,680
i naravno, na štetu ovaca.

129
00:06:32,720 --> 00:06:36,400
Možemo vidjeti ovaj problem
u raznim područjima:

130
00:06:37,080 --> 00:06:40,256
u poteškoćama u vođenju
pretjeranog ribolova

131
00:06:40,280 --> 00:06:44,840
ili u smanjenju emisija ugljika
za ublažavanje klimatskih promjena.

132
00:06:47,160 --> 00:06:50,080
Kada je u pitanju regulacija
automobila bez vozača,

133
00:06:51,080 --> 00:06:55,416
zajedničko je, zapravo, javna sigurnost --

134
00:06:55,440 --> 00:06:56,680
to je opće dobro --

135
00:06:57,400 --> 00:06:59,376
a farmeri su putnici

136
00:06:59,400 --> 00:07:03,000
ili vlasnici automobila koji odabiru
voziti se u tim automobilima.

137
00:07:04,960 --> 00:07:07,576
I odabirući individualno racionalni odabir

138
00:07:07,600 --> 00:07:10,416
davanja prioriteta vlastitoj sigurnosti,

139
00:07:10,440 --> 00:07:13,576
oni bi kolektivno mogli
umanjiti opće dobro,

140
00:07:13,600 --> 00:07:15,800
koje je smanjene totalne štete.

141
00:07:18,320 --> 00:07:20,456
To se naziva tragedija zajedništva,

142
00:07:20,480 --> 00:07:21,776
tradicionalno,

143
00:07:21,800 --> 00:07:24,896
ali ja mislim da u slučaju
automobila bez vozača,

144
00:07:24,920 --> 00:07:27,776
problem je možda malo više podmukao

145
00:07:27,800 --> 00:07:31,296
jer ne postoji nužno
individualno ljudsko biće

146
00:07:31,320 --> 00:07:33,016
koje donosi te odluke.

147
00:07:33,040 --> 00:07:36,336
Proizvođači automobila mogu jednostavno
programirati automobile

148
00:07:36,360 --> 00:07:38,980
tako da maksimalno povećaju
sigurnost svojih klijenata

149
00:07:40,080 --> 00:07:43,056
te bi takvi automobili mogli
automatski samostalno naučiti

150
00:07:43,080 --> 00:07:46,600
da to zahtijeva povećanje
rizika za pješake.

151
00:07:47,380 --> 00:07:48,936
Da upotrijebim metaforu s ovcom,

152
00:07:48,960 --> 00:07:52,576
to je kao da sada imamo
električnu ovcu s vlastitim umom.

153
00:07:52,600 --> 00:07:54,056
(Smijeh)

154
00:07:54,080 --> 00:07:57,160
I one mogu otići i jesti bez da uopće
njihov farmer to zna.

155
00:07:58,640 --> 00:08:02,616
Dakle, ovo bismo mogli nazvati
tragedijom zajedničkog algoritma

156
00:08:02,640 --> 00:08:05,000
te nam ona nudi nove vrste izazova.

157
00:08:10,520 --> 00:08:12,416
Obično, tradicionalno,

158
00:08:12,440 --> 00:08:15,776
ove vrste društvenih dilema
rješavamo koristeći propise,

159
00:08:15,800 --> 00:08:18,536
stoga se sastanu ili vlade ili zajednice

160
00:08:18,560 --> 00:08:22,296
i kolektivno odluče kakav ishod žele

161
00:08:22,320 --> 00:08:24,976
i kakva ograničenja
individualnog ponašanja

162
00:08:25,000 --> 00:08:26,200
trebaju provoditi.

163
00:08:27,600 --> 00:08:30,216
Te tada, koristeći praćenje i provedbu,

164
00:08:30,240 --> 00:08:32,799
mogu osigurati očuvanje javne sigurnosti.

165
00:08:33,440 --> 00:08:35,015
Stoga, zašto mi ne bismo samo,

166
00:08:35,039 --> 00:08:36,535
kao regulatori,

167
00:08:36,559 --> 00:08:39,456
zahtijevali da svi automobili
potpuno smanje štetu?

168
00:08:39,480 --> 00:08:41,720
Uostalom, to je ono
što ljudi kažu da žele.

169
00:08:43,200 --> 00:08:44,616
I još važnije,

170
00:08:44,640 --> 00:08:47,736
mogu biti siguran da kao pojedinac,

171
00:08:47,760 --> 00:08:51,616
ukoliko kupim automobil koji bi me mogao
žrtvovati u vrlo rijetkom slučaju,

172
00:08:51,640 --> 00:08:53,296
nisam jedina naivčina čineći to

173
00:08:53,320 --> 00:08:56,000
dok svi ostali uživaju bezuvjetnu zaštitu.

174
00:08:57,120 --> 00:09:00,456
U našoj anketi, pitali smo ljude
bi li podržali propise

175
00:09:00,480 --> 00:09:01,680
i evo što smo saznali.

176
00:09:02,360 --> 00:09:06,120
Prvo, ljudi su rekli ne propisima;

177
00:09:07,280 --> 00:09:08,536
i drugo, rekli su:

178
00:09:08,560 --> 00:09:12,496
„Pa, ako regulirate automobile da to čine
i da potpuno smanje štetu,

179
00:09:12,520 --> 00:09:14,000
ja neću kupiti te automobile.“

180
00:09:15,400 --> 00:09:16,776
Dakle, ironično,

181
00:09:16,800 --> 00:09:20,296
regulirajući automobile u svrhu
potpunog smanjenja štete,

182
00:09:20,320 --> 00:09:22,160
možemo zapravo završiti s više štete

183
00:09:23,040 --> 00:09:26,696
jer se možda ljudi neće odlučiti
za sigurniju tehnologiju,

184
00:09:26,720 --> 00:09:28,920
čak i ako je puno sigurnija
od ljudskih vozača.

185
00:09:30,360 --> 00:09:33,776
Nemam konačan odgovor na ovu zagonetku,

186
00:09:33,800 --> 00:09:35,376
ali mislim da, za početak,

187
00:09:35,400 --> 00:09:38,696
trebamo društvo da se zajedno okupi


188
00:09:38,720 --> 00:09:41,480
kako bismo odlučili
s kojim kompromisima se slažemo

189
00:09:42,360 --> 00:09:45,840
i kako bismo osmislili
načine donošenja tih kompromisa.

190
00:09:46,520 --> 00:09:49,056
Za početak, moji sjajni studenti,

191
00:09:49,080 --> 00:09:51,536
Edmond Awad i Sohan Dsouza,

192
00:09:51,560 --> 00:09:53,800
napravili su internetsku stranicu
Moral Machine,

193
00:09:54,200 --> 00:09:56,880
koja vam postavlja nasumične događaje --

194
00:09:58,080 --> 00:10:00,536
obično gomilu nasumičnih dilema u nizu,

195
00:10:00,560 --> 00:10:04,480
gdje vi trebate odlučiti što bi automobil
trebao napraviti u određenoj situaciji.

196
00:10:05,040 --> 00:10:09,640
U ponudi imamo žrtve raznih dobi i vrsta.

197
00:10:11,040 --> 00:10:14,736
Dosad smo prikupili
više od pet milijuna odluka

198
00:10:14,760 --> 00:10:16,960
od preko milijun ljudi diljem svijeta

199
00:10:18,400 --> 00:10:19,950
putem te internetske stranice.

200
00:10:20,360 --> 00:10:22,776
Ovo nam od početka pomaže u razumijevanju

201
00:10:22,800 --> 00:10:25,416
s kakvim kompromisima se ljudi slažu

202
00:10:25,440 --> 00:10:27,336
te što je njima važno --

203
00:10:27,360 --> 00:10:28,800
čak i u različitim kulturama.

204
00:10:30,240 --> 00:10:31,736
No, važnije od toga,

205
00:10:31,760 --> 00:10:35,136
ljudima se time pomaže u shvaćanju

206
00:10:35,160 --> 00:10:37,976
težine donošenja tih odluka

207
00:10:38,000 --> 00:10:41,800
te da su oni koji donose odluke
zaduženi za nemoguće izbore.

208
00:10:43,360 --> 00:10:46,936
I možda će upravo ovo pomoći nama
kao društvu u razumijevanju kompromisa

209
00:10:46,960 --> 00:10:50,016
koji će biti ostvareni u konačnici
pri donošenju propisa.

210
00:10:50,040 --> 00:10:51,776
I zaista, bio sam sretan saznajući

211
00:10:51,800 --> 00:10:53,816
da je prvi skup propisa

212
00:10:53,840 --> 00:10:55,976
iz Odjela za transport --

213
00:10:56,000 --> 00:10:57,376
objavljen prošli tjedan --

214
00:10:57,400 --> 00:11:03,976
obuhvaćao kontrolni popis of 15 točaka
za sve proizvođače automobila

215
00:11:04,000 --> 00:11:07,256
te da je broj 14 uzimao u obzir etiku --

216
00:11:07,280 --> 00:11:09,000
kako ćete se vi nositi s tim.

217
00:11:11,800 --> 00:11:14,556
Također, potičemo ljude da promišljaju
o vlastitim odlukama

218
00:11:14,556 --> 00:11:17,480
tako što im dajemo sažetak
njihovih odabira.

219
00:11:18,440 --> 00:11:20,096
Dat ću vam jedan primjer --

220
00:11:20,120 --> 00:11:23,656
samo ću vas upozoriti
da ovo nije tipičan primjer,

221
00:11:23,680 --> 00:11:25,056
tipičan korisnik.

222
00:11:25,080 --> 00:11:28,696
Ovo je najviše žrtvovan
i najviše spašen lik za ovu osobu.

223
00:11:28,720 --> 00:11:33,920
(Smijeh)

224
00:11:34,680 --> 00:11:36,576
Neki od vas bi se mogli složiti s njim,

225
00:11:36,600 --> 00:11:38,240
ili s njom, ne znamo.

226
00:11:40,480 --> 00:11:46,616
No također, čini se da ova osoba ipak malo
više preferira putnike nego pješake

227
00:11:46,640 --> 00:11:48,736
u svojim odlukama

228
00:11:48,760 --> 00:11:51,576
te da vrlo rado kažnjava neoprezno
prelaženje ulice.

229
00:11:51,600 --> 00:11:54,640
(Smijeh)

230
00:11:57,320 --> 00:11:58,269
Dakle, zaključimo.

231
00:11:58,269 --> 00:12:01,975
Započeli smo pitanjem --
nazovimo to moralnom dilemom --

232
00:12:02,000 --> 00:12:05,056
kako bi automobil trebao postupiti
u određenoj situaciji:

233
00:12:05,080 --> 00:12:06,280
skrenuti ili ostati?

234
00:12:07,240 --> 00:12:09,976
Ali onda smo shvatili da je problem
bio u nečem drugom.

235
00:12:10,000 --> 00:12:14,536
U tome kako pridobiti društvo da donese
zajedničku odluku i provede

236
00:12:14,560 --> 00:12:16,496
kompromise s kojim se slaže.

237
00:12:16,520 --> 00:12:17,776
To je društvena dilema.

238
00:12:17,800 --> 00:12:22,816
1940., Isaac Asimov je napisao svoje
slavne zakone robotike --

239
00:12:22,840 --> 00:12:24,160
tri zakona robotike.

240
00:12:25,240 --> 00:12:27,696
Robot nikada ne smije
naškoditi ljudskom biću,

241
00:12:27,720 --> 00:12:30,256
robot nikada ne smije
ne poslušati ljudsko biće

242
00:12:30,280 --> 00:12:33,536
i robot nikada ne smije
dopustiti sebi štetu --

243
00:12:33,560 --> 00:12:35,520
tim redoslijedom važnosti.

244
00:12:36,360 --> 00:12:38,496
No, nakon otprilike 40 godina

245
00:12:38,520 --> 00:12:42,256
i nakon toliko slučajeva koji guraju
ove zakone do krajnjih granica,

246
00:12:42,280 --> 00:12:45,976
Asimov je predstavio nulti zakon,

247
00:12:46,000 --> 00:12:48,256
koji ima prednost
spram svih ostalih zakona

248
00:12:48,280 --> 00:12:51,560
i glasi da robot nikada ne smije
naškoditi čovječnosti u cijelosti.

249
00:12:52,480 --> 00:12:56,856
Ne znam što ovo znači u kontekstu
automobila bez vozača

250
00:12:56,880 --> 00:12:59,616
ili u bilo kojoj specifičnoj situaciji,

251
00:12:59,640 --> 00:13:01,856
i ne znam kako bismo to mogli primijeniti,

252
00:13:01,880 --> 00:13:03,416
ali smatram da prepoznavanjem

253
00:13:03,440 --> 00:13:09,576
kako regulacija automobila bez vozača
nije samo problem tehnologije

254
00:13:09,600 --> 00:13:12,880
već i čitavog društva i njegove suradnje,

255
00:13:13,800 --> 00:13:16,680
nadam se, možemo barem početi
postavljati prava pitanja.

256
00:13:17,200 --> 00:13:18,416
Hvala vam.

257
00:13:18,440 --> 00:13:21,360
(Pljesak)