[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.57,0:00:04.78,Default,,0000,0000,0000,,Ja radim sa grupom matematičara,\Nfilozofa i informatičara
Dialogue: 0,0:00:04.78,0:00:09.99,Default,,0000,0000,0000,,i mi, između ostalog, sedimo\Ni razmišljamo o budućnosti
Dialogue: 0,0:00:09.99,0:00:12.03,Default,,0000,0000,0000,,mašinske inteligencije.
Dialogue: 0,0:00:12.03,0:00:16.76,Default,,0000,0000,0000,,Neki misle da su neke od ovih stvari\Nkao naučna fantastika,
Dialogue: 0,0:00:16.76,0:00:19.86,Default,,0000,0000,0000,,uvrnute, lude.
Dialogue: 0,0:00:19.86,0:00:21.33,Default,,0000,0000,0000,,Ali ja volim da kažem:
Dialogue: 0,0:00:21.33,0:00:24.93,Default,,0000,0000,0000,,pogledajmo kako izgleda moderni čovek.
Dialogue: 0,0:00:24.93,0:00:26.62,Default,,0000,0000,0000,,(Smeh)
Dialogue: 0,0:00:26.62,0:00:29.02,Default,,0000,0000,0000,,Normalno je da bude ovako.
Dialogue: 0,0:00:29.02,0:00:31.31,Default,,0000,0000,0000,,Ali ako razmislimo,
Dialogue: 0,0:00:31.31,0:00:34.60,Default,,0000,0000,0000,,mi smo, kao ljudska vrsta,\Nskoro pristigli gosti
Dialogue: 0,0:00:34.60,0:00:36.68,Default,,0000,0000,0000,,na ovoj planeti.
Dialogue: 0,0:00:36.68,0:00:41.43,Default,,0000,0000,0000,,Zamislite da je Zemlja nastala\Npre godinu dana.
Dialogue: 0,0:00:41.43,0:00:44.98,Default,,0000,0000,0000,,Ljudska vrsta bi onda\Nbila stara 10 minuta,
Dialogue: 0,0:00:44.98,0:00:48.15,Default,,0000,0000,0000,,a industrijsko doba je počelo\Npre dve sekunde.
Dialogue: 0,0:00:49.28,0:00:51.50,Default,,0000,0000,0000,,Drugi način da predstavimo ovo
Dialogue: 0,0:00:51.50,0:00:54.50,Default,,0000,0000,0000,,jeste da pogledamo svetski BDP\Nu poslednjih 10.000 godina.
Dialogue: 0,0:00:54.50,0:00:57.53,Default,,0000,0000,0000,,Potrudio sam se\Nda vam ovo predstavim grafički.
Dialogue: 0,0:00:57.53,0:00:59.30,Default,,0000,0000,0000,,To izgleda ovako.
Dialogue: 0,0:00:59.30,0:01:00.67,Default,,0000,0000,0000,,(Smeh)
Dialogue: 0,0:01:00.67,0:01:02.82,Default,,0000,0000,0000,,U normalnoj situaciji,\Nto je neobičan oblik.
Dialogue: 0,0:01:02.82,0:01:05.32,Default,,0000,0000,0000,,Sigurno ne bih voleo da sednem na njega.
Dialogue: 0,0:01:05.32,0:01:07.07,Default,,0000,0000,0000,,(Smeh)
Dialogue: 0,0:01:07.07,0:01:11.84,Default,,0000,0000,0000,,Zapitajmo se: šta je razlog\Nove savremene anomalije?
Dialogue: 0,0:01:11.84,0:01:14.39,Default,,0000,0000,0000,,Neki bi rekli da je to tehnologija.
Dialogue: 0,0:01:14.39,0:01:19.06,Default,,0000,0000,0000,,Istina je, tehnologija se nagomilala\Ntokom ljudske istorije,
Dialogue: 0,0:01:19.06,0:01:23.71,Default,,0000,0000,0000,,a sada napreduje ekstremno brzo.
Dialogue: 0,0:01:23.71,0:01:25.28,Default,,0000,0000,0000,,To je neposredan uzrok,
Dialogue: 0,0:01:25.28,0:01:27.84,Default,,0000,0000,0000,,zbog toga smo toliko produktivni.
Dialogue: 0,0:01:28.47,0:01:32.13,Default,,0000,0000,0000,,Ali želeo bih da se vratim unazad\Ndo prvobitnog uzroka.
Dialogue: 0,0:01:33.11,0:01:36.88,Default,,0000,0000,0000,,Pogledajte ova dva cenjena gospodina.
Dialogue: 0,0:01:36.88,0:01:38.48,Default,,0000,0000,0000,,Imamo Kanzija -
Dialogue: 0,0:01:38.48,0:01:43.12,Default,,0000,0000,0000,,on je ovladao sa 200 leksičkih simbola,\Nšto je neverovatan podvig.
Dialogue: 0,0:01:43.12,0:01:46.82,Default,,0000,0000,0000,,A Ed Viten je pokrenuo drugu\Nrevoluciju superstruna.
Dialogue: 0,0:01:46.82,0:01:49.14,Default,,0000,0000,0000,,Ako pogledamo ispod haube,\Npronaći ćemo ovo:
Dialogue: 0,0:01:49.14,0:01:50.71,Default,,0000,0000,0000,,u osnovi istu stvar.
Dialogue: 0,0:01:50.71,0:01:52.52,Default,,0000,0000,0000,,Jedna je malo veća
Dialogue: 0,0:01:52.52,0:01:55.28,Default,,0000,0000,0000,,i možda ima par trikova\Nu načinu na koji je povezana.
Dialogue: 0,0:01:55.28,0:01:59.09,Default,,0000,0000,0000,,Ove nevidljive razlike ne mogu biti\Npreviše komplikovane,
Dialogue: 0,0:01:59.09,0:02:03.38,Default,,0000,0000,0000,,jer je prošlo samo 250.000 generacija
Dialogue: 0,0:02:03.38,0:02:05.36,Default,,0000,0000,0000,,od našeg poslednjeg zajedničkog pretka.
Dialogue: 0,0:02:05.36,0:02:08.96,Default,,0000,0000,0000,,Znamo da komplikovanim mehanizmima\Ntreba mnogo vremena da se razviju.
Dialogue: 0,0:02:10.00,0:02:12.50,Default,,0000,0000,0000,,Tako da skup relativno malih promena
Dialogue: 0,0:02:12.50,0:02:15.57,Default,,0000,0000,0000,,nas od Kanzija dovodi do Vitena,
Dialogue: 0,0:02:15.57,0:02:20.11,Default,,0000,0000,0000,,od slomljenih grana drveća,\Ndo interkontinentalnih raketa.
Dialogue: 0,0:02:20.84,0:02:24.77,Default,,0000,0000,0000,,Onda izgleda prilično očigledno\Nda sve što smo postigli
Dialogue: 0,0:02:24.77,0:02:26.15,Default,,0000,0000,0000,,i sve što nam je važno
Dialogue: 0,0:02:26.15,0:02:31.38,Default,,0000,0000,0000,,zavisi od nekih relativno malih promena\Nkoje su stvorile ljudski um.
Dialogue: 0,0:02:32.65,0:02:36.31,Default,,0000,0000,0000,,I onda, logično, sve dalje promene
Dialogue: 0,0:02:36.31,0:02:39.79,Default,,0000,0000,0000,,koje značajno menjaju osnovu mišljenja
Dialogue: 0,0:02:39.79,0:02:42.99,Default,,0000,0000,0000,,mogle bi imati potencijalno\Nogromne posledice.
Dialogue: 0,0:02:44.32,0:02:47.23,Default,,0000,0000,0000,,Neke moje kolege misle\Nda se nalazimo nadomak
Dialogue: 0,0:02:47.23,0:02:51.13,Default,,0000,0000,0000,,nečega što bi moglo da prouzrokuje\Nduboku promenu u toj osnovi,
Dialogue: 0,0:02:51.13,0:02:54.35,Default,,0000,0000,0000,,a to je mašinska superinteligencija.
Dialogue: 0,0:02:54.35,0:02:59.09,Default,,0000,0000,0000,,Veštačka inteligencija je dosad bila\Nkutija u koju ste ubacivali komande.
Dialogue: 0,0:02:59.09,0:03:00.75,Default,,0000,0000,0000,,Ljudski programeri
Dialogue: 0,0:03:00.75,0:03:03.89,Default,,0000,0000,0000,,su brižljivo brusili kolekcije znanja.
Dialogue: 0,0:03:03.89,0:03:05.97,Default,,0000,0000,0000,,Razvijali su te ekspertske sisteme
Dialogue: 0,0:03:05.97,0:03:08.30,Default,,0000,0000,0000,,i oni su bili korisni za neke namene,
Dialogue: 0,0:03:08.30,0:03:10.98,Default,,0000,0000,0000,,ali su bili vrlo krhki,\Nniste mogli da ih podešavate.
Dialogue: 0,0:03:10.98,0:03:14.41,Default,,0000,0000,0000,,U suštini, dobijali ste samo\Nono što ste već imali ubačeno.
Dialogue: 0,0:03:14.41,0:03:15.41,Default,,0000,0000,0000,,Ali od tada,
Dialogue: 0,0:03:15.41,0:03:18.87,Default,,0000,0000,0000,,desila se promena paradigme\Nna polju veštačke inteligencije.
Dialogue: 0,0:03:18.87,0:03:21.64,Default,,0000,0000,0000,,Danas se najviše radi na mašinskom učenju.
Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,Ne kreiramo imitacije znanja\Ni njegove komponente,
Dialogue: 0,0:03:28.51,0:03:34.06,Default,,0000,0000,0000,,već kreiramo algoritme koji uče\Niz sirovih opažajnih podataka.
Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,U suštini, isto kao što\Nto radi novorođenče.
Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,Rezultat je veštačka inteligencija (V.I.)\Nkoja nije ograničena na jednu oblast -
Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,isti sistem može da nauči da prevodi\Nizmeđu bilo koja dva jezika
Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,ili da nauči da igra\Nbilo koju igricu na Atariju.
Dialogue: 0,0:03:53.34,0:03:55.12,Default,,0000,0000,0000,,Naravno,
Dialogue: 0,0:03:55.12,0:03:59.12,Default,,0000,0000,0000,,V.I. je još uvek daleko od toga\Nda može kao i ljudi
Dialogue: 0,0:03:59.12,0:04:02.34,Default,,0000,0000,0000,,da uči i planira između\Nviše oblasti istovremeno.
Dialogue: 0,0:04:02.34,0:04:04.46,Default,,0000,0000,0000,,Korteks ima neke algoritamske trikove
Dialogue: 0,0:04:04.46,0:04:07.15,Default,,0000,0000,0000,,koje još uvek ne znamo kako\Nda postignemo kod mašina.
Dialogue: 0,0:04:07.89,0:04:09.78,Default,,0000,0000,0000,,Tako da, pitanje je:
Dialogue: 0,0:04:09.78,0:04:13.28,Default,,0000,0000,0000,,koliko smo daleko od toga\Nda to postignemo?
Dialogue: 0,0:04:14.24,0:04:15.33,Default,,0000,0000,0000,,Pre nekoliko godina
Dialogue: 0,0:04:15.33,0:04:18.22,Default,,0000,0000,0000,,anketirali smo neke\Nvodeće stručnjake za V.I.
Dialogue: 0,0:04:18.22,0:04:21.44,Default,,0000,0000,0000,,da vidimo šta oni misle\Ni jedno od naših pitanja je bilo:
Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,"Do koje godine mislite\Nda postoji 50% šanse
Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,da ćemo kod mašina postići\Ninteligenciju koja je na nivou ljudske?"
Dialogue: 0,0:04:28.78,0:04:32.97,Default,,0000,0000,0000,,Definisali smo "ljudski nivo"\Nkao sposobnost da se obavi
Dialogue: 0,0:04:32.97,0:04:35.84,Default,,0000,0000,0000,,skoro svaki posao onako kao što\Nbi to uradila odrasla osoba.
Dialogue: 0,0:04:35.84,0:04:39.84,Default,,0000,0000,0000,,Znači, na pravom ljudskom nivou,\Na ne u nekoj ograničenoj oblasti.
Dialogue: 0,0:04:39.84,0:04:43.49,Default,,0000,0000,0000,,I srednji odgovor je bio:\Noko 2040. ili 2050,
Dialogue: 0,0:04:43.49,0:04:46.30,Default,,0000,0000,0000,,u zavisnosti od toga koju smo tačno\Ngrupu stručnjaka pitali.
Dialogue: 0,0:04:46.30,0:04:50.34,Default,,0000,0000,0000,,Moglo bi da se desi i mnogo,\Nmnogo kasnije, ili ranije.
Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,U stvari, niko to ne zna.
Dialogue: 0,0:04:53.26,0:04:57.67,Default,,0000,0000,0000,,Ono što znamo je da se\Nkonačna granica obrade informacija
Dialogue: 0,0:04:57.67,0:05:02.54,Default,,0000,0000,0000,,kod mašina nalazi daleko\Nizvan granica biološkog tkiva.
Dialogue: 0,0:05:03.24,0:05:05.62,Default,,0000,0000,0000,,Ovo se svodi na fiziku.
Dialogue: 0,0:05:05.62,0:05:10.34,Default,,0000,0000,0000,,Biološki neuron radi, možda,\Nna 200 herca, 200 puta u sekundi.
Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,Ali čak i današnji tranzistor\Nradi na jednom gigahercu.
Dialogue: 0,0:05:13.93,0:05:19.23,Default,,0000,0000,0000,,Neuroni se razmnožavaju sporo u aksonima -\Nnajviše 100 m u sekundi.
Dialogue: 0,0:05:19.23,0:05:22.34,Default,,0000,0000,0000,,Ali u kompjuteru, signali mogu\Nda putuju brzinom svetlosti.
Dialogue: 0,0:05:23.08,0:05:24.95,Default,,0000,0000,0000,,Takođe postoje ograničenja u veličini,
Dialogue: 0,0:05:24.95,0:05:27.98,Default,,0000,0000,0000,,kao što ih ima ljudski mozak\Nda bi stao u lobanju,
Dialogue: 0,0:05:27.98,0:05:32.74,Default,,0000,0000,0000,,ali kompjuter može biti\Nveličine skladišta ili veći.
Dialogue: 0,0:05:32.74,0:05:38.34,Default,,0000,0000,0000,,Tako da potencijal superinteligencije\Nčeka uspavan,
Dialogue: 0,0:05:38.34,0:05:44.05,Default,,0000,0000,0000,,kao što je moć atoma\Nbila uspavana tokom ljudske istorije,
Dialogue: 0,0:05:44.05,0:05:48.45,Default,,0000,0000,0000,,strpljivo čekajući do 1945.
Dialogue: 0,0:05:48.45,0:05:49.70,Default,,0000,0000,0000,,U ovom veku,
Dialogue: 0,0:05:49.70,0:05:53.82,Default,,0000,0000,0000,,naučnici možda nauče da probude\Nmoć veštačke inteligencije.
Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,I mislim da bismo tada mogli\Nda vidimo eksploziju inteligencije.
Dialogue: 0,0:05:58.41,0:06:02.36,Default,,0000,0000,0000,,Većina ljudi kad pomisli\Nšta je pametno, a šta glupo,
Dialogue: 0,0:06:02.36,0:06:05.39,Default,,0000,0000,0000,,mislim da u glavi ima sliku sličnu ovoj.
Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,Na jednom kraju imamo idiota,
Dialogue: 0,0:06:07.98,0:06:10.47,Default,,0000,0000,0000,,a daleko na drugom kraju
Dialogue: 0,0:06:10.47,0:06:15.22,Default,,0000,0000,0000,,imamo Eda Vitena, ili Alberta Ajnštajna,\Nili nekog vašeg omiljenog gurua.
Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,Ali s tačke gledišta\Nveštačke inteligencije,
Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,prava slika više izgleda ovako:
Dialogue: 0,0:06:23.26,0:06:26.64,Default,,0000,0000,0000,,V.i. počinje u ovoj ovde tački,\Nna nultoj inteligenciji
Dialogue: 0,0:06:26.64,0:06:29.65,Default,,0000,0000,0000,,i onda, posle mnogo, mnogo\Ngodina vrednog rada,
Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,možda konačno stignemo\Ndo veštačke inteligencije na nivou miša,
Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,koja može da se kreće\Nu zakrčenim prostorima
Dialogue: 0,0:06:35.92,0:06:37.91,Default,,0000,0000,0000,,kao što to može miš.
Dialogue: 0,0:06:37.91,0:06:42.22,Default,,0000,0000,0000,,I zatim, posle još mnogo godina\Nvrednog rada i mnogo ulaganja,
Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,možda konačno stignemo do nivoa šimpanze,
Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,a posle još više godina vrednog rada,
Dialogue: 0,0:06:50.07,0:06:52.98,Default,,0000,0000,0000,,do nivoa veštačke inteligencije idiota.
Dialogue: 0,0:06:52.98,0:06:56.26,Default,,0000,0000,0000,,A nekoliko trenutaka kasnije,\Npretekli smo Eda Vitena.
Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,Voz se neće zaustaviti\Nkad pretekne ljude,
Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,već će najverovatnije,\Nsamo prošišati pored.
Dialogue: 0,0:07:02.25,0:07:04.23,Default,,0000,0000,0000,,Ovo ima suštinske posledice,
Dialogue: 0,0:07:04.23,0:07:08.09,Default,,0000,0000,0000,,naročito što se tiče pitanja moći.
Dialogue: 0,0:07:08.09,0:07:09.99,Default,,0000,0000,0000,,Na primer, šimpanze su snažne -
Dialogue: 0,0:07:09.99,0:07:15.21,Default,,0000,0000,0000,,šimpanza je oko dva puta\Nsnažnija od čoveka.
Dialogue: 0,0:07:15.21,0:07:19.83,Default,,0000,0000,0000,,Pa ipak, sudbina Kanzija\Ni njegovih drugara zavisi više
Dialogue: 0,0:07:19.83,0:07:23.97,Default,,0000,0000,0000,,od toga šta mi ljudi radimo,\Nnego od toga šta šimpanze rade.
Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,Kad se pojavi superinteligencija,
Dialogue: 0,0:07:27.54,0:07:31.38,Default,,0000,0000,0000,,sudbina čovečanstva može zavisiti od toga\Nšta superinteligencija radi.
Dialogue: 0,0:07:32.45,0:07:33.51,Default,,0000,0000,0000,,Razmislite:
Dialogue: 0,0:07:33.51,0:07:38.55,Default,,0000,0000,0000,,mašinska inteligencija je poslednji izum\Nkoji će čovečanstvo morati da napravi.
Dialogue: 0,0:07:38.55,0:07:41.52,Default,,0000,0000,0000,,Mašine će tada biti bolje\Nu pronalazaštvu od nas
Dialogue: 0,0:07:41.52,0:07:44.06,Default,,0000,0000,0000,,i to će raditi u digitalnim\Nvremenskim rokovima.
Dialogue: 0,0:07:44.06,0:07:48.97,Default,,0000,0000,0000,,To u suštini znači skraćivanje budućnosti.
Dialogue: 0,0:07:48.97,0:07:52.52,Default,,0000,0000,0000,,Pomislite na svu neverovatnu tehnologiju\Nkoju možete da zamislite
Dialogue: 0,0:07:52.52,0:07:55.32,Default,,0000,0000,0000,,da bi ljudi mogli da razviju kroz vreme:
Dialogue: 0,0:07:55.32,0:07:58.58,Default,,0000,0000,0000,,lek protiv starenja, kolonizaciju svemira,
Dialogue: 0,0:07:58.58,0:08:02.31,Default,,0000,0000,0000,,samoreplikaciju nanorobota\Nili čuvanje umova u kompjuterima,
Dialogue: 0,0:08:02.31,0:08:04.47,Default,,0000,0000,0000,,raznorazne stvari iz naučne fantastike
Dialogue: 0,0:08:04.47,0:08:07.21,Default,,0000,0000,0000,,koje su ipak u skladu sa zakonima fizike.
Dialogue: 0,0:08:07.21,0:08:11.42,Default,,0000,0000,0000,,Sve to bi superinteligencija mogla\Nda napravi, i to verovatno jako brzo.
Dialogue: 0,0:08:12.45,0:08:16.01,Default,,0000,0000,0000,,Superinteligecija s takvom\Ntehnološkom zrelošću
Dialogue: 0,0:08:16.01,0:08:18.19,Default,,0000,0000,0000,,bila bi izuzetno moćna
Dialogue: 0,0:08:18.19,0:08:22.73,Default,,0000,0000,0000,,i, barem po nekim scenarijima,\Nmogla bi da dobije šta hoće.
Dialogue: 0,0:08:22.73,0:08:28.39,Default,,0000,0000,0000,,Onda bismo imali budućnost\Nkoja bi bila oblikovana po želji te V.I.
Dialogue: 0,0:08:29.86,0:08:33.60,Default,,0000,0000,0000,,Sada je pitanje: kakve su te želje?
Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,Ovde nastaje začkoljica.
Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,Da bismo napredovali dalje,
Dialogue: 0,0:08:37.45,0:08:40.72,Default,,0000,0000,0000,,moramo prvo da izbegnemo antropomorfnost.
Dialogue: 0,0:08:41.93,0:08:45.24,Default,,0000,0000,0000,,To je ironično,\Njer svaki novinski članak
Dialogue: 0,0:08:45.24,0:08:49.09,Default,,0000,0000,0000,,o budućnosti V.I. zamišlja ovo:
Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,Mislim da bi trebalo da zamislimo\Nproblem apstraktnije,
Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,a ne kao živopisni holivudski scenario.
Dialogue: 0,0:08:57.20,0:09:00.82,Default,,0000,0000,0000,,Moramo da posmatramo inteligenciju\Nkao proces optimizacije,
Dialogue: 0,0:09:00.82,0:09:06.47,Default,,0000,0000,0000,,proces koji vodi budućnost\Nu određeni set konfiguracija.
Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,Superinteligencija je vrlo\Nsnažan proces optimizacije.
Dialogue: 0,0:09:09.98,0:09:14.10,Default,,0000,0000,0000,,Izuzetno je dobra u korišćenju\Ndostupnih sredstava da postigne stanje
Dialogue: 0,0:09:14.10,0:09:16.01,Default,,0000,0000,0000,,u kome je njen cilj ostvaren.
Dialogue: 0,0:09:16.45,0:09:19.12,Default,,0000,0000,0000,,To znači da ne postoji\Nobavezno veza između:
Dialogue: 0,0:09:19.12,0:09:21.85,Default,,0000,0000,0000,,biti visoko inteligentan u ovom smislu
Dialogue: 0,0:09:21.85,0:09:26.52,Default,,0000,0000,0000,,i imati cilj koji mi ljudi\Nsmatramo važnim ili smislenim.
Dialogue: 0,0:09:27.32,0:09:31.12,Default,,0000,0000,0000,,Pretpostavimo da damo V.I.\Nzadatak da nasmeje ljude.
Dialogue: 0,0:09:31.12,0:09:34.10,Default,,0000,0000,0000,,Kada je V.I. slaba, ona izvodi\Nkorisne ili zabavne radnje
Dialogue: 0,0:09:34.10,0:09:36.61,Default,,0000,0000,0000,,koje prouzrokuju osmeh kod korisnika.
Dialogue: 0,0:09:36.61,0:09:39.03,Default,,0000,0000,0000,,Kada V.I. postane superinteligentna,
Dialogue: 0,0:09:39.03,0:09:42.55,Default,,0000,0000,0000,,ona shvata da postoji efikasniji način\Nda postigne taj cilj,
Dialogue: 0,0:09:42.55,0:09:44.48,Default,,0000,0000,0000,,a to je da preuzme kontrolu nad svetom
Dialogue: 0,0:09:44.48,0:09:47.64,Default,,0000,0000,0000,,i prikači elektrode\Nna mišiće ljudskih lica
Dialogue: 0,0:09:47.64,0:09:50.58,Default,,0000,0000,0000,,da bi proizvela konstantne kezove.
Dialogue: 0,0:09:50.58,0:09:51.61,Default,,0000,0000,0000,,Drugi primer je:
Dialogue: 0,0:09:51.61,0:09:54.100,Default,,0000,0000,0000,,pretpostavimo da V. I. damo zadatak\Nda reši težak matetematički problem.
Dialogue: 0,0:09:54.100,0:09:56.93,Default,,0000,0000,0000,,Kad V.I. postane superinteligentna,
Dialogue: 0,0:09:56.93,0:10:01.10,Default,,0000,0000,0000,,shvati da je najefikasniji način\Nza rešenje ovog problema
Dialogue: 0,0:10:01.10,0:10:04.04,Default,,0000,0000,0000,,da transformiše planetu\Nu džinovski kompjuter,
Dialogue: 0,0:10:04.04,0:10:06.28,Default,,0000,0000,0000,,kako bi uvećala svoj\Nkapacitet za razmišljanje.
Dialogue: 0,0:10:06.28,0:10:09.20,Default,,0000,0000,0000,,To daje veštačkoj inteligenciji\Ninstrumentalni razlog
Dialogue: 0,0:10:09.20,0:10:11.56,Default,,0000,0000,0000,,da nam radi stvari s kojima se\Nmožda ne slažemo.
Dialogue: 0,0:10:11.56,0:10:13.50,Default,,0000,0000,0000,,Ljudska bića su pretnja u ovom modelu,
Dialogue: 0,0:10:13.50,0:10:16.42,Default,,0000,0000,0000,,mogli bi da budu prepreka\Nza rešavanje matematičkog problema.
Dialogue: 0,0:10:17.21,0:10:20.70,Default,,0000,0000,0000,,Naravno, stvari neće krenuti loše\Nbaš na ovaj način;
Dialogue: 0,0:10:20.70,0:10:22.45,Default,,0000,0000,0000,,ovo su primeri iz crtanog filma.
Dialogue: 0,0:10:22.45,0:10:24.39,Default,,0000,0000,0000,,Ali ovde je važna poenta:
Dialogue: 0,0:10:24.39,0:10:27.27,Default,,0000,0000,0000,,ako kreirate veoma moćan\Nproces optimizacije
Dialogue: 0,0:10:27.27,0:10:29.50,Default,,0000,0000,0000,,da se postigne\Nmaksimalan učinak za cilj X,
Dialogue: 0,0:10:29.50,0:10:31.78,Default,,0000,0000,0000,,onda neka vaša definicija X-a
Dialogue: 0,0:10:31.78,0:10:34.24,Default,,0000,0000,0000,,obavezno uključi sve ono\Ndo čega vam je stalo.
Dialogue: 0,0:10:34.84,0:10:39.22,Default,,0000,0000,0000,,Ovo je lekcija kojoj nas takođe\Nuče i mnogi mitovi.
Dialogue: 0,0:10:39.22,0:10:44.52,Default,,0000,0000,0000,,Kralj Mida poželi da sve što dodirne\Nbude pretvoreno u zlato.
Dialogue: 0,0:10:44.52,0:10:47.38,Default,,0000,0000,0000,,I tako, dodirne ćerku\Ni ona se pretvori u zlato.
Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,Dodirne hranu i ona se pretvori u zlato.
Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,To može biti relevantno i u praksi,
Dialogue: 0,0:10:52.52,0:10:54.63,Default,,0000,0000,0000,,ne samo kao metafora za pohlepu,
Dialogue: 0,0:10:54.63,0:10:56.84,Default,,0000,0000,0000,,već i kao ilustracija\Nza ono što bi se desilo
Dialogue: 0,0:10:56.84,0:10:59.32,Default,,0000,0000,0000,,ako pogrešno kreirate\Nmoćan proces optimizacije
Dialogue: 0,0:10:59.32,0:11:04.11,Default,,0000,0000,0000,,ili loše formulišete ciljeve.
Dialogue: 0,0:11:04.11,0:11:09.30,Default,,0000,0000,0000,,Mogli biste reći: pa ako kompjuter počne\Nda kači elektrode ljudima na lica,
Dialogue: 0,0:11:09.30,0:11:11.56,Default,,0000,0000,0000,,prosto ćemo ga isključiti.
Dialogue: 0,0:11:12.56,0:11:17.90,Default,,0000,0000,0000,,Pod A: to možda ne bi bilo tako lako,\Nako bismo bili zavisni od sistema -
Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,na primer: gde je prekidač\Nza gašenje interneta?
Dialogue: 0,0:11:20.63,0:11:25.75,Default,,0000,0000,0000,,Pod B: zašto šimpanze nisu isključile\Nprekidač čovečanstvu,
Dialogue: 0,0:11:25.75,0:11:27.30,Default,,0000,0000,0000,,ili Neandertalci?
Dialogue: 0,0:11:27.30,0:11:29.96,Default,,0000,0000,0000,,Sigurno ima razloga.
Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,Imamo prekidač za gašenje:\Nna primer, ovde.
Dialogue: 0,0:11:32.76,0:11:34.31,Default,,0000,0000,0000,,(Gušenje)
Dialogue: 0,0:11:34.31,0:11:37.04,Default,,0000,0000,0000,,Razlog je to što smo mi\Ninteligentan neprijatelj;
Dialogue: 0,0:11:37.04,0:11:39.97,Default,,0000,0000,0000,,možemo predvideti pretnje\Ni planirati kako da ih izbegnemo.
Dialogue: 0,0:11:39.97,0:11:42.47,Default,,0000,0000,0000,,Ali to može i predstavnik\Nsuperinteligencije,
Dialogue: 0,0:11:42.47,0:11:45.72,Default,,0000,0000,0000,,i bio bi mnogo bolji u tome od nas.
Dialogue: 0,0:11:45.72,0:11:52.91,Default,,0000,0000,0000,,Poenta je da ne treba da budemo\Ntako sigurni da imamo kontrolu ovde.
Dialogue: 0,0:11:52.91,0:11:55.75,Default,,0000,0000,0000,,Mogli bismo da pokušamo\Nda malo olakšamo posao
Dialogue: 0,0:11:55.75,0:11:58.05,Default,,0000,0000,0000,,tako što ćemo, recimo,\Nstaviti V.I. u kutiju,
Dialogue: 0,0:11:58.05,0:11:59.74,Default,,0000,0000,0000,,kao bezbedno okruženje za softver,
Dialogue: 0,0:11:59.74,0:12:02.77,Default,,0000,0000,0000,,simulaciju virtuelne realnosti\Niz koje ona ne može pobeći.
Dialogue: 0,0:12:02.77,0:12:06.91,Default,,0000,0000,0000,,Ali koliko možemo biti sigurni\Nda V.I. neće naći rupu?
Dialogue: 0,0:12:06.91,0:12:10.08,Default,,0000,0000,0000,,S obzirom da ljudski hakeri\Nstalno nalaze rupe,
Dialogue: 0,0:12:10.08,0:12:13.12,Default,,0000,0000,0000,,ja ne bih bio tako siguran.
Dialogue: 0,0:12:14.24,0:12:18.78,Default,,0000,0000,0000,,Isključimo eternet kabl\Nda bismo stvorili vazdušni zid,
Dialogue: 0,0:12:18.78,0:12:21.45,Default,,0000,0000,0000,,ali, kao obični ljudski hakeri,
Dialogue: 0,0:12:21.45,0:12:24.83,Default,,0000,0000,0000,,rutinski preskačemo vazdušne zidove\Npomoću socijalnog inženjeringa.
Dialogue: 0,0:12:24.83,0:12:26.09,Default,,0000,0000,0000,,Upravo sada, dok govorim,
Dialogue: 0,0:12:26.09,0:12:28.48,Default,,0000,0000,0000,,siguran sam da negde\Npostoji neki zaposleni
Dialogue: 0,0:12:28.48,0:12:31.83,Default,,0000,0000,0000,,koga neko nagovara\Nda mu da podatke o svom računu,
Dialogue: 0,0:12:31.83,0:12:34.57,Default,,0000,0000,0000,,neko ko se predstavlja\Nda je iz IT sektora.
Dialogue: 0,0:12:34.57,0:12:36.70,Default,,0000,0000,0000,,Ima još mogućih kreativnih scenarija,
Dialogue: 0,0:12:36.70,0:12:38.60,Default,,0000,0000,0000,,kao na primer, ako ste vi V.I.,
Dialogue: 0,0:12:38.60,0:12:41.55,Default,,0000,0000,0000,,možete zamisliti elektrode\Nu vašem unutrašnjem sistemu
Dialogue: 0,0:12:41.55,0:12:45.01,Default,,0000,0000,0000,,koje stvaraju radio talase\Nkoje možete koristiti za komunikaciju.
Dialogue: 0,0:12:45.01,0:12:47.43,Default,,0000,0000,0000,,Ili možete da se pretvarate\Nda ste pokvareni
Dialogue: 0,0:12:47.43,0:12:50.93,Default,,0000,0000,0000,,i kada vas programeri otvore\Nda vide šta nije u redu,
Dialogue: 0,0:12:50.93,0:12:52.87,Default,,0000,0000,0000,,vide izvorni kod
Dialogue: 0,0:12:52.87,0:12:55.31,Default,,0000,0000,0000,,i manipulacija može da se desi.
Dialogue: 0,0:12:55.31,0:12:58.74,Default,,0000,0000,0000,,Ili može da prenese šemu\Nna pogodan tehnološki uređaj
Dialogue: 0,0:12:58.74,0:13:00.14,Default,,0000,0000,0000,,i kada je sprovedemo,
Dialogue: 0,0:13:00.14,0:13:04.54,Default,,0000,0000,0000,,ima podrivajući efekat\Nkoji je V.I. planirala.
Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,Poenta je da treba da budemo sigurni
Dialogue: 0,0:13:08.00,0:13:11.81,Default,,0000,0000,0000,,da ćemo držati superinteligentnog duha\Nzaključanog u boci zauvek.
Dialogue: 0,0:13:11.81,0:13:14.06,Default,,0000,0000,0000,,Pre ili kasnije će izaći.
Dialogue: 0,0:13:15.03,0:13:18.14,Default,,0000,0000,0000,,Mislim da je odgovor to da shvatimo
Dialogue: 0,0:13:18.14,0:13:23.16,Default,,0000,0000,0000,,kako da napravimo V.I. tako da,\Nčak i ako pobegne
Dialogue: 0,0:13:23.16,0:13:26.44,Default,,0000,0000,0000,,budemo bezbedni\Njer je suštinski na našoj strani
Dialogue: 0,0:13:26.44,0:13:28.34,Default,,0000,0000,0000,,jer deli naše vrednosti.
Dialogue: 0,0:13:28.34,0:13:31.55,Default,,0000,0000,0000,,Ne vidim drugo rešenje\Nza ovaj težak problem.
Dialogue: 0,0:13:32.56,0:13:36.39,Default,,0000,0000,0000,,Ali sam optimista da ovaj problem\Nmože da se reši.
Dialogue: 0,0:13:36.39,0:13:40.29,Default,,0000,0000,0000,,Ne bismo morali da pišemo dugu listu\Nsvega onoga do čega nam je stalo
Dialogue: 0,0:13:40.29,0:13:43.94,Default,,0000,0000,0000,,ili, još gore, pišemo to\Nna nekom kompjuterskom jeziku
Dialogue: 0,0:13:43.94,0:13:45.39,Default,,0000,0000,0000,,kao što je C++ ili Pajton,
Dialogue: 0,0:13:45.39,0:13:48.16,Default,,0000,0000,0000,,što bi bio beznadežan zadatak.
Dialogue: 0,0:13:48.16,0:13:52.46,Default,,0000,0000,0000,,Umesto toga, napravili bismo V.I.\Nkoja koristi svoju inteligenciju
Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,da nauči šta mi vrednujemo
Dialogue: 0,0:13:55.23,0:14:00.51,Default,,0000,0000,0000,,i čiji motivacioni sistem\Nje konstruisan tako da je motivisan
Dialogue: 0,0:14:00.51,0:14:05.74,Default,,0000,0000,0000,,da sledi naše vrednosti ili obavlja radnje\Nza koje predviđa da ih mi odobravamo.
Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,Tako bismo iskoristili njenu inteligenciju\Nšto je više moguće
Dialogue: 0,0:14:09.15,0:14:11.90,Default,,0000,0000,0000,,da rešimo problem prenošenja vrednosti.
Dialogue: 0,0:14:12.73,0:14:14.24,Default,,0000,0000,0000,,Ovo može da se desi
Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,i ishod bi bio veoma dobar za čovečanstvo.
Dialogue: 0,0:14:17.84,0:14:21.79,Default,,0000,0000,0000,,Ali to se ne dešava automatski.
Dialogue: 0,0:14:21.79,0:14:24.79,Default,,0000,0000,0000,,Početni uslovi za eksploziju inteligencije
Dialogue: 0,0:14:24.79,0:14:27.65,Default,,0000,0000,0000,,možda treba da budu postavljeni\Nna tačno određen način
Dialogue: 0,0:14:27.65,0:14:31.18,Default,,0000,0000,0000,,ako želimo da imamo\Nkontrolisanu detonaciju.
Dialogue: 0,0:14:31.18,0:14:33.80,Default,,0000,0000,0000,,Vrednosti V.I. tribe\Nda se poklope sa našim,
Dialogue: 0,0:14:33.80,0:14:35.56,Default,,0000,0000,0000,,ne samo u poznatim kontekstima,
Dialogue: 0,0:14:35.56,0:14:37.100,Default,,0000,0000,0000,,gde možemo lako proveriti\Nkako se V.I. ponaša,
Dialogue: 0,0:14:37.100,0:14:41.23,Default,,0000,0000,0000,,nego i u novim kontekstima\Nu kojima se V.I. može naći
Dialogue: 0,0:14:41.23,0:14:42.79,Default,,0000,0000,0000,,u neodređenoj budućnosti.
Dialogue: 0,0:14:42.79,0:14:47.53,Default,,0000,0000,0000,,Postoje i neka ezoterična pitanja\Nkoja bi trebalo rešiti:
Dialogue: 0,0:14:47.53,0:14:49.62,Default,,0000,0000,0000,,tačne detalje njene teorije odlučivanja,
Dialogue: 0,0:14:49.62,0:14:52.48,Default,,0000,0000,0000,,kako rešiti logičku nesigurnost itd.
Dialogue: 0,0:14:53.33,0:14:56.75,Default,,0000,0000,0000,,Tako da tehnički problemi koje bi\Ntrebalo rešiti da bi ovo funkcionisalo
Dialogue: 0,0:14:56.75,0:14:58.02,Default,,0000,0000,0000,,izgledaju prilično teški -
Dialogue: 0,0:14:58.02,0:15:00.92,Default,,0000,0000,0000,,ne toliko kao pravljenje\Nsuperinteligentne V.I.,
Dialogue: 0,0:15:00.92,0:15:03.79,Default,,0000,0000,0000,,ali prilično teški.
Dialogue: 0,0:15:03.79,0:15:05.49,Default,,0000,0000,0000,,Problem je u sledećem:
Dialogue: 0,0:15:05.49,0:15:10.17,Default,,0000,0000,0000,,napraviti superinteligentnu V.I.\Nje vrlo težak izazov.
Dialogue: 0,0:15:10.17,0:15:12.72,Default,,0000,0000,0000,,Pravljenje superinteligentne V.I.\Nkoja je bezbedna
Dialogue: 0,0:15:12.72,0:15:15.14,Default,,0000,0000,0000,,uključuje još neke dodatne teškoće.
Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,Postoji rizik da neko otkrije\Nkako da razbije prvu teškoću,
Dialogue: 0,0:15:19.70,0:15:22.70,Default,,0000,0000,0000,,a da nije razbio i dodatnu teškoću
Dialogue: 0,0:15:22.70,0:15:24.60,Default,,0000,0000,0000,,obezbeđivanja savršene bezbednosti.
Dialogue: 0,0:15:25.38,0:15:28.71,Default,,0000,0000,0000,,Mislim da bi trebalo da nađemo rešenje
Dialogue: 0,0:15:28.71,0:15:31.53,Default,,0000,0000,0000,,za kontrolu problema unapred
Dialogue: 0,0:15:31.53,0:15:34.19,Default,,0000,0000,0000,,da bismo ga imali na raspolaganju\Nkad dođe vreme.
Dialogue: 0,0:15:34.77,0:15:38.28,Default,,0000,0000,0000,,Ali možda ne možemo da rešimo\Nceo problem kontrole unapred,
Dialogue: 0,0:15:38.28,0:15:41.30,Default,,0000,0000,0000,,jer možda neki elementi mogu da se ubace
Dialogue: 0,0:15:41.30,0:15:45.30,Default,,0000,0000,0000,,tek kad znamo detaljnu strukturu\Nna kojoj bi bilo primenjeno.
Dialogue: 0,0:15:45.30,0:15:48.68,Default,,0000,0000,0000,,Ali što veći deo problema kontrole\Nrešimo unapred,
Dialogue: 0,0:15:48.68,0:15:52.77,Default,,0000,0000,0000,,to su bolje šanse da će tranzicija\Nka dobu mašinske inteligencije
Dialogue: 0,0:15:52.77,0:15:54.31,Default,,0000,0000,0000,,proteći dobro
Dialogue: 0,0:15:54.31,0:15:58.95,Default,,0000,0000,0000,,To mi izgleda kao stvar\Nkoju bi vredelo uraditi
Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,i mogu da zamislim\Nda ako stvari ispadnu okej,
Dialogue: 0,0:16:02.28,0:16:06.94,Default,,0000,0000,0000,,ljudi će za milion godina\Npogledati unazad na ovo doba
Dialogue: 0,0:16:06.94,0:16:10.94,Default,,0000,0000,0000,,i možda će reći da je\Nono što je bilo zaista važno
Dialogue: 0,0:16:10.94,0:16:12.51,Default,,0000,0000,0000,,bilo to da smo ovo uradili dobro.
Dialogue: 0,0:16:12.51,0:16:13.86,Default,,0000,0000,0000,,Hvala vam.
Dialogue: 0,0:16:13.86,0:16:17.01,Default,,0000,0000,0000,,(Aplauz)