[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:01.00,0:00:03.22,Default,,0000,0000,0000,,Jag ska prata om en intuitionsbrist
Dialogue: 0,0:00:03.24,0:00:04.84,Default,,0000,0000,0000,,som många av oss lider av.
Dialogue: 0,0:00:05.48,0:00:08.52,Default,,0000,0000,0000,,Det är ett misslyckande att\Nupptäcka en viss typ av fara.
Dialogue: 0,0:00:09.36,0:00:11.10,Default,,0000,0000,0000,,Jag ska beskriva ett scenario
Dialogue: 0,0:00:11.12,0:00:14.38,Default,,0000,0000,0000,,som jag tycker är både skrämmande
Dialogue: 0,0:00:14.40,0:00:16.16,Default,,0000,0000,0000,,och förmodligen kommer att ske,
Dialogue: 0,0:00:16.84,0:00:18.50,Default,,0000,0000,0000,,och det är en dålig kombination,
Dialogue: 0,0:00:18.52,0:00:20.06,Default,,0000,0000,0000,,som det visar sig.
Dialogue: 0,0:00:20.08,0:00:22.54,Default,,0000,0000,0000,,Istället för att bli rädda,\Nkommer många tycka
Dialogue: 0,0:00:22.56,0:00:24.64,Default,,0000,0000,0000,,att det jag pratar om är ganska häftigt.
Dialogue: 0,0:00:25.20,0:00:28.18,Default,,0000,0000,0000,,Jag ska beskriva hur de framsteg vi gör
Dialogue: 0,0:00:28.20,0:00:29.98,Default,,0000,0000,0000,,inom artificiell intelligens
Dialogue: 0,0:00:30.00,0:00:31.78,Default,,0000,0000,0000,,till slut kan förgöra oss.
Dialogue: 0,0:00:31.80,0:00:35.26,Default,,0000,0000,0000,,Faktum är, jag tror det är svårt \Natt se att de inte gör det
Dialogue: 0,0:00:35.28,0:00:37.16,Default,,0000,0000,0000,,eller får oss att förgöra oss själva.
Dialogue: 0,0:00:37.40,0:00:39.26,Default,,0000,0000,0000,,Och om du tänker det minsta likt mig,
Dialogue: 0,0:00:39.28,0:00:41.94,Default,,0000,0000,0000,,tycker du att det här är\Nspännande att tänka på.
Dialogue: 0,0:00:41.96,0:00:45.34,Default,,0000,0000,0000,,Den inställningen är en del av problemet.
Dialogue: 0,0:00:45.36,0:00:47.34,Default,,0000,0000,0000,,OK? Den inställningen borde oroa dig.
Dialogue: 0,0:00:47.92,0:00:50.58,Default,,0000,0000,0000,,Om jag i det här föredraget\Nskulle övertyga dig om
Dialogue: 0,0:00:50.60,0:00:54.02,Default,,0000,0000,0000,,att vi kan drabbas av en\Nglobal svältkatastrof,
Dialogue: 0,0:00:54.04,0:00:57.10,Default,,0000,0000,0000,,på grund av klimatförändringar\Neller någon annan katastrof,
Dialogue: 0,0:00:57.12,0:01:00.54,Default,,0000,0000,0000,,och att dina barnbarn,\Neller deras barnbarn,
Dialogue: 0,0:01:00.56,0:01:02.36,Default,,0000,0000,0000,,sannolikt skulle leva så här,
Dialogue: 0,0:01:03.20,0:01:04.40,Default,,0000,0000,0000,,då skulle du inte tänka,
Dialogue: 0,0:01:05.44,0:01:06.78,Default,,0000,0000,0000,,"Intressant.
Dialogue: 0,0:01:06.80,0:01:08.00,Default,,0000,0000,0000,,Jag gillar föredraget."
Dialogue: 0,0:01:09.20,0:01:10.72,Default,,0000,0000,0000,,Svält är inte roligt.
Dialogue: 0,0:01:11.80,0:01:15.18,Default,,0000,0000,0000,,Död i science fiction,\Nå andra sidan, är roligt,
Dialogue: 0,0:01:15.20,0:01:19.18,Default,,0000,0000,0000,,och en av de saker som för närvarande\Noroar mig mest i utvecklingen av AI
Dialogue: 0,0:01:19.20,0:01:23.30,Default,,0000,0000,0000,,är att vi tycks oförmögna att förespråka\Nett passande emotionellt gensvar
Dialogue: 0,0:01:23.32,0:01:25.55,Default,,0000,0000,0000,,inför de risker som ligger framför oss.
Dialogue: 0,0:01:25.55,0:01:28.99,Default,,0000,0000,0000,,Jag kan inte förespråka ett gensvar,\Noch jag håller det här talet.
Dialogue: 0,0:01:30.12,0:01:32.82,Default,,0000,0000,0000,,Det är som att vi står framför två dörrar.
Dialogue: 0,0:01:32.84,0:01:34.10,Default,,0000,0000,0000,,Väljer vi dörr ett,
Dialogue: 0,0:01:34.12,0:01:37.42,Default,,0000,0000,0000,,slutar vi göra framsteg i utvecklandet\Nav intelligenta maskiner.
Dialogue: 0,0:01:37.44,0:01:41.46,Default,,0000,0000,0000,,Av någon anledning blir vår\Nhård- och mjukvara inte bättre.
Dialogue: 0,0:01:41.48,0:01:44.48,Default,,0000,0000,0000,,Fundera lite på varför\Ndet skulle kunna hända.
Dialogue: 0,0:01:45.08,0:01:48.74,Default,,0000,0000,0000,,Jag menar, givet värdet av\Nintelligens och automation,
Dialogue: 0,0:01:48.76,0:01:52.28,Default,,0000,0000,0000,,kommer vi fortsätta utveckla\Ntekniken, om vi kan.
Dialogue: 0,0:01:53.20,0:01:54.87,Default,,0000,0000,0000,,Vad skulle kunna stoppa oss?
Dialogue: 0,0:01:55.80,0:01:57.60,Default,,0000,0000,0000,,Ett fullskaligt kärnvapenkrig?
Dialogue: 0,0:01:59.00,0:02:00.56,Default,,0000,0000,0000,,En global pandemi?
Dialogue: 0,0:02:02.32,0:02:03.64,Default,,0000,0000,0000,,Ett asteroidnedslag?
Dialogue: 0,0:02:05.64,0:02:08.22,Default,,0000,0000,0000,,Justin Bieber blir USAs president?
Dialogue: 0,0:02:08.24,0:02:10.52,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:02:12.76,0:02:16.68,Default,,0000,0000,0000,,Poängen är att, något måste förgöra\Ncivilisationen så som vi känner den.
Dialogue: 0,0:02:17.36,0:02:21.66,Default,,0000,0000,0000,,Ni måste föreställa er\Nhur illa det måste vara
Dialogue: 0,0:02:21.68,0:02:25.02,Default,,0000,0000,0000,,för att hindra oss att göra\Nframsteg inom tekniken
Dialogue: 0,0:02:25.04,0:02:26.26,Default,,0000,0000,0000,,permanent,
Dialogue: 0,0:02:26.28,0:02:28.30,Default,,0000,0000,0000,,generation efter generation.
Dialogue: 0,0:02:28.32,0:02:30.46,Default,,0000,0000,0000,,Nästan per definition, är detta det värsta
Dialogue: 0,0:02:30.48,0:02:32.50,Default,,0000,0000,0000,,som någonsin inträffat genom historien.
Dialogue: 0,0:02:32.52,0:02:33.82,Default,,0000,0000,0000,,Så det enda alternativet,
Dialogue: 0,0:02:33.84,0:02:36.18,Default,,0000,0000,0000,,är det som finns bakom den andra dörren,
Dialogue: 0,0:02:36.20,0:02:39.34,Default,,0000,0000,0000,,att vi fortsätter att utveckla\Nvåra intelligenta maskiner
Dialogue: 0,0:02:39.36,0:02:40.96,Default,,0000,0000,0000,,år efter år efter år.
Dialogue: 0,0:02:41.72,0:02:45.36,Default,,0000,0000,0000,,Vid en viss punkt, kommer vi att bygga\Nmaskiner som är smartare än vi,
Dialogue: 0,0:02:46.08,0:02:48.70,Default,,0000,0000,0000,,och när vi väl har dessa smarta maskiner,
Dialogue: 0,0:02:48.72,0:02:50.70,Default,,0000,0000,0000,,kommer de att förbättra sig själva.
Dialogue: 0,0:02:50.72,0:02:53.46,Default,,0000,0000,0000,,Då riskerar vi\Ndet matematikern IJ Good kallade,
Dialogue: 0,0:02:53.48,0:02:55.26,Default,,0000,0000,0000,,en "intelligensexplosion",
Dialogue: 0,0:02:55.28,0:02:57.28,Default,,0000,0000,0000,,dvs att processen går oss ur händerna.
Dialogue: 0,0:02:58.12,0:03:00.94,Default,,0000,0000,0000,,Detta skojas ofta bort, som här,
Dialogue: 0,0:03:00.96,0:03:04.08,Default,,0000,0000,0000,,som en rädsla för att en\Narmé av ondsinta robotar
Dialogue: 0,0:03:04.08,0:03:05.46,Default,,0000,0000,0000,,kommer att attackera oss.
Dialogue: 0,0:03:05.48,0:03:08.18,Default,,0000,0000,0000,,Men det är inte det troligaste scenariot.
Dialogue: 0,0:03:08.20,0:03:13.06,Default,,0000,0000,0000,,Våra maskiner kommer inte\Natt bli spontant illvilliga.
Dialogue: 0,0:03:13.08,0:03:15.70,Default,,0000,0000,0000,,Bekymret är att vi kommer\Natt bygga maskiner
Dialogue: 0,0:03:15.72,0:03:17.78,Default,,0000,0000,0000,,som är så mycket mer kompetenta än vi
Dialogue: 0,0:03:17.80,0:03:21.58,Default,,0000,0000,0000,,att den minsta lilla skillnad\Nmellan deras mål och våra
Dialogue: 0,0:03:21.60,0:03:23.08,Default,,0000,0000,0000,,skulle kunna förgöra oss.
Dialogue: 0,0:03:23.96,0:03:26.04,Default,,0000,0000,0000,,Tänk bara på vår inställning till myror.
Dialogue: 0,0:03:26.60,0:03:28.26,Default,,0000,0000,0000,,Vi hatar inte dem.
Dialogue: 0,0:03:28.28,0:03:30.34,Default,,0000,0000,0000,,Vi skadar inte dem medvetet.
Dialogue: 0,0:03:30.36,0:03:32.74,Default,,0000,0000,0000,,Ibland anstränger vi oss\Nför att inte skada dem.
Dialogue: 0,0:03:32.76,0:03:34.78,Default,,0000,0000,0000,,Vi kliver över dem på trottoaren.
Dialogue: 0,0:03:34.80,0:03:36.94,Default,,0000,0000,0000,,Men så fort deras närvaro
Dialogue: 0,0:03:36.96,0:03:39.46,Default,,0000,0000,0000,,kommer i allvarlig konflikt med våra mål,
Dialogue: 0,0:03:39.48,0:03:41.96,Default,,0000,0000,0000,,som till exempel vid husbyggnationer,
Dialogue: 0,0:03:41.98,0:03:43.94,Default,,0000,0000,0000,,förintar vi dem utan pardon.
Dialogue: 0,0:03:44.48,0:03:47.42,Default,,0000,0000,0000,,Bekymret är att vi en dag\Nkommer att bygga maskiner
Dialogue: 0,0:03:47.44,0:03:50.18,Default,,0000,0000,0000,,som, oavsett om de är medvetna eller ej,
Dialogue: 0,0:03:50.20,0:03:52.40,Default,,0000,0000,0000,,skulle kunna behandla oss\Nmed samma förakt.
Dialogue: 0,0:03:53.76,0:03:56.52,Default,,0000,0000,0000,,Jag misstänker att det verkar\Nlångsökt för många av er.
Dialogue: 0,0:03:57.36,0:04:03.70,Default,,0000,0000,0000,,Jag slår vad om att en del av er tvivlar\Npå att superintelligent AI är möjlig,
Dialogue: 0,0:04:03.72,0:04:05.38,Default,,0000,0000,0000,,än mindre nödvändig.
Dialogue: 0,0:04:05.40,0:04:09.02,Default,,0000,0000,0000,,Men då måste ni finna felen med\Nnågra av följande antaganden.
Dialogue: 0,0:04:09.04,0:04:10.62,Default,,0000,0000,0000,,Det finns bara tre.
Dialogue: 0,0:04:11.80,0:04:16.52,Default,,0000,0000,0000,,Intelligens handlar om processandet\Nav information i fysiska system.
Dialogue: 0,0:04:17.32,0:04:19.94,Default,,0000,0000,0000,,Det är egentligen mer\Nän bara ett antagande.
Dialogue: 0,0:04:19.96,0:04:23.42,Default,,0000,0000,0000,,Vi använder redan maskininlärning\Ni många maskiner,
Dialogue: 0,0:04:23.44,0:04:25.46,Default,,0000,0000,0000,,och många av dessa maskiner presterar
Dialogue: 0,0:04:25.48,0:04:28.12,Default,,0000,0000,0000,,redan på nivåer långt över\Nmänsklig intelligens.
Dialogue: 0,0:04:28.84,0:04:31.42,Default,,0000,0000,0000,,Och vi vet att materia
Dialogue: 0,0:04:31.44,0:04:34.06,Default,,0000,0000,0000,,kan skapa det som\Nkallas "generell intelligens"
Dialogue: 0,0:04:34.08,0:04:37.74,Default,,0000,0000,0000,,en förmåga att tänka flexibelt\Növer flera dimensioner,
Dialogue: 0,0:04:37.76,0:04:40.90,Default,,0000,0000,0000,,eftersom våra hjärnor\Nhar klarat det. Eller hur?
Dialogue: 0,0:04:40.92,0:04:44.86,Default,,0000,0000,0000,,Jag menar, det är ju bara atomer här inne,
Dialogue: 0,0:04:44.88,0:04:49.38,Default,,0000,0000,0000,,och så länge vi fortsätter att\Nbygga system av atomer
Dialogue: 0,0:04:49.40,0:04:52.10,Default,,0000,0000,0000,,som uppvisar mer och mer intelligens,
Dialogue: 0,0:04:52.12,0:04:54.66,Default,,0000,0000,0000,,kommer vi till slut,\Nom vi inte blir avbrutna,
Dialogue: 0,0:04:54.68,0:04:58.06,Default,,0000,0000,0000,,ha byggt in generell intelligens
Dialogue: 0,0:04:58.08,0:04:59.38,Default,,0000,0000,0000,,i våra maskiner.
Dialogue: 0,0:04:59.40,0:05:03.06,Default,,0000,0000,0000,,Det är viktigt att inse att\Nutvecklingstakten inte spelar någon roll,
Dialogue: 0,0:05:03.08,0:05:06.26,Default,,0000,0000,0000,,eftersom minsta framsteg\Nräcker för att nå slutstationen.
Dialogue: 0,0:05:06.28,0:05:10.06,Default,,0000,0000,0000,,Vi behöver inte Moores lag. Utvecklingen\Nbehöver inte vara exponentiell.
Dialogue: 0,0:05:10.08,0:05:11.87,Default,,0000,0000,0000,,Vi behöver bara fortsätta framåt.
Dialogue: 0,0:05:13.48,0:05:16.40,Default,,0000,0000,0000,,Det andra antagandet är\Natt vi kommer fortsätta.
Dialogue: 0,0:05:17.00,0:05:19.91,Default,,0000,0000,0000,,Vi fortsätter utvecklingen\Nav de intelligenta maskinerna.
Dialogue: 0,0:05:21.00,0:05:25.38,Default,,0000,0000,0000,,Och givet värdet på intelligens -
Dialogue: 0,0:05:25.40,0:05:28.94,Default,,0000,0000,0000,,jag menar, intelligens är antingen\Nsumman av allt vi sätter värde på
Dialogue: 0,0:05:28.96,0:05:31.74,Default,,0000,0000,0000,,eller som vi behöver för att\Nskydda det vi värdesätter.
Dialogue: 0,0:05:31.76,0:05:34.02,Default,,0000,0000,0000,,Det är vår värdefullaste resurs.
Dialogue: 0,0:05:34.04,0:05:35.58,Default,,0000,0000,0000,,Så vi vill göra det här.
Dialogue: 0,0:05:35.60,0:05:38.94,Default,,0000,0000,0000,,Vi har problem som vi desperat måste lösa.
Dialogue: 0,0:05:38.96,0:05:42.16,Default,,0000,0000,0000,,Vi vill bota sjukdomar som\NAlzheimers och cancer.
Dialogue: 0,0:05:42.96,0:05:46.90,Default,,0000,0000,0000,,Vi vill förstå de ekonomiska systemen.\NVi vill utveckla klimatforskningen.
Dialogue: 0,0:05:46.92,0:05:49.18,Default,,0000,0000,0000,,Så vi kommer att göra det, om vi kan.
Dialogue: 0,0:05:49.20,0:05:52.49,Default,,0000,0000,0000,,Tåget har redan lämnat stationen,\Noch det finns ingen broms.
Dialogue: 0,0:05:53.88,0:05:59.34,Default,,0000,0000,0000,,Slutligen, vi har inte\Nnått intelligensens topp,
Dialogue: 0,0:05:59.36,0:06:01.16,Default,,0000,0000,0000,,vi är troligen inte ens i närheten.
Dialogue: 0,0:06:01.64,0:06:03.54,Default,,0000,0000,0000,,Det är den riktigt kritiska insikten.
Dialogue: 0,0:06:03.56,0:06:06.15,Default,,0000,0000,0000,,Det är det här som gör\Nvår situation så vansklig,
Dialogue: 0,0:06:06.15,0:06:10.04,Default,,0000,0000,0000,,och det gör också våra\Nriskantaganden så opålitliga.
Dialogue: 0,0:06:11.12,0:06:13.84,Default,,0000,0000,0000,,Fundera på den smartaste person\Nsom någonsin levt.
Dialogue: 0,0:06:14.64,0:06:18.06,Default,,0000,0000,0000,,En som finns på nästan allas lista\När John von Neumann.
Dialogue: 0,0:06:18.08,0:06:21.42,Default,,0000,0000,0000,,Jag menar, de intryck som Neumann\Ngjorde på folk runt honom,
Dialogue: 0,0:06:21.44,0:06:25.50,Default,,0000,0000,0000,,inkluderat de främsta matematikerna\Noch fysikerna under hans levnad,
Dialogue: 0,0:06:25.52,0:06:27.46,Default,,0000,0000,0000,,är ganska väldokumenterade.
Dialogue: 0,0:06:27.48,0:06:31.26,Default,,0000,0000,0000,,Om bara hälften av berättelserna\Nom honom är halvsanna,
Dialogue: 0,0:06:31.28,0:06:32.67,Default,,0000,0000,0000,,råder det ingen tvekan om
Dialogue: 0,0:06:32.67,0:06:34.98,Default,,0000,0000,0000,,att han är en av de smartaste någonsin.
Dialogue: 0,0:06:35.00,0:06:37.52,Default,,0000,0000,0000,,Så fundera på vidden av intelligens.
Dialogue: 0,0:06:38.32,0:06:39.75,Default,,0000,0000,0000,,Här har vi John von Neumann.
Dialogue: 0,0:06:41.56,0:06:42.89,Default,,0000,0000,0000,,Så har vi dig och mig.
Dialogue: 0,0:06:44.12,0:06:45.42,Default,,0000,0000,0000,,Så har vi kycklingar.
Dialogue: 0,0:06:45.44,0:06:47.38,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:06:47.40,0:06:48.62,Default,,0000,0000,0000,,Ursäkta, en kyckling.
Dialogue: 0,0:06:48.64,0:06:49.90,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:06:49.92,0:06:53.66,Default,,0000,0000,0000,,Det finns inga skäl att göra föredraget\Nmer deprimerande än det redan är.
Dialogue: 0,0:06:53.68,0:06:55.28,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:06:56.34,0:06:59.82,Default,,0000,0000,0000,,Det verkar dock mycket troligt, \Natt spektrat av intelligens,
Dialogue: 0,0:06:59.84,0:07:02.96,Default,,0000,0000,0000,,sträcker sig mycket längre\Nän vi kan föreställa oss idag,
Dialogue: 0,0:07:03.88,0:07:07.10,Default,,0000,0000,0000,,och om vi bygger maskiner\Nsom är intelligentare än vi,
Dialogue: 0,0:07:07.12,0:07:09.42,Default,,0000,0000,0000,,kommer de troligtvis\Nutforska detta spektrum
Dialogue: 0,0:07:09.44,0:07:11.30,Default,,0000,0000,0000,,på sätt som vi inte kan föreställa oss,
Dialogue: 0,0:07:11.32,0:07:13.84,Default,,0000,0000,0000,,och överträffa oss på\Nsätt som vi inte kan förstå.
Dialogue: 0,0:07:15.00,0:07:19.34,Default,,0000,0000,0000,,Det är viktigt att se att det här är sant\Ngenom hastigheten det sker med.
Dialogue: 0,0:07:19.36,0:07:24.42,Default,,0000,0000,0000,,Ok? Föreställ er att vi\Nbyggt en superintelligent AI
Dialogue: 0,0:07:24.44,0:07:27.90,Default,,0000,0000,0000,,som inte är smartare än din\Ngenomsnittliga forskargrupp
Dialogue: 0,0:07:27.92,0:07:30.22,Default,,0000,0000,0000,,på Stanford eller MIT.
Dialogue: 0,0:07:30.24,0:07:33.10,Default,,0000,0000,0000,,Elektroniska kretsar är ungefär\Nen miljon gånger snabbare
Dialogue: 0,0:07:33.10,0:07:34.50,Default,,0000,0000,0000,,än biokemiska,
Dialogue: 0,0:07:34.52,0:07:37.66,Default,,0000,0000,0000,,så maskinen skulle tänka ungefär\Nen miljon gånger snabbare
Dialogue: 0,0:07:37.68,0:07:39.50,Default,,0000,0000,0000,,än hjärnorna som byggt den.
Dialogue: 0,0:07:39.52,0:07:41.18,Default,,0000,0000,0000,,Ni låter den köra i en vecka,
Dialogue: 0,0:07:41.20,0:07:45.76,Default,,0000,0000,0000,,och den kommer att processa\N20 000 år av mänskligt tänkande,
Dialogue: 0,0:07:46.40,0:07:48.36,Default,,0000,0000,0000,,vecka ut och vecka in.
Dialogue: 0,0:07:49.64,0:07:52.74,Default,,0000,0000,0000,,Hur kan vi ens förstå, än mindre begränsa
Dialogue: 0,0:07:52.76,0:07:55.04,Default,,0000,0000,0000,,en kraft som gör sådana framsteg?
Dialogue: 0,0:07:56.84,0:07:58.98,Default,,0000,0000,0000,,Det andra som är uppriktigt oroande,
Dialogue: 0,0:07:59.00,0:08:03.98,Default,,0000,0000,0000,,är, föreställ dig ett bästa scenario.
Dialogue: 0,0:08:04.00,0:08:08.18,Default,,0000,0000,0000,,Föreställ dig att vi designar\Nen superintelligent AI
Dialogue: 0,0:08:08.20,0:08:09.58,Default,,0000,0000,0000,,utan säkerhetsproblem.
Dialogue: 0,0:08:09.60,0:08:12.86,Default,,0000,0000,0000,,Vi har den perfekta designen från början.
Dialogue: 0,0:08:12.88,0:08:15.10,Default,,0000,0000,0000,,Det är som att vi skulle få ett orakel
Dialogue: 0,0:08:15.12,0:08:17.14,Default,,0000,0000,0000,,som beter sig exakt som vi avsett.
Dialogue: 0,0:08:17.16,0:08:20.88,Default,,0000,0000,0000,,Den här maskinen skulle vara\Nden perfekta "jobbspararen".
Dialogue: 0,0:08:21.68,0:08:24.11,Default,,0000,0000,0000,,Den kan designa maskinen\Nsom kan bygga maskinen
Dialogue: 0,0:08:24.13,0:08:25.90,Default,,0000,0000,0000,,som kan utföra allt fysiskt arbete,
Dialogue: 0,0:08:25.92,0:08:27.38,Default,,0000,0000,0000,,och drivs av solenergi,
Dialogue: 0,0:08:27.40,0:08:30.10,Default,,0000,0000,0000,,mer eller mindre till\Nkostnaden för råmaterialet.
Dialogue: 0,0:08:30.12,0:08:33.38,Default,,0000,0000,0000,,Då pratar vi om slutet\Nav mänsklighetens slit.
Dialogue: 0,0:08:33.40,0:08:36.36,Default,,0000,0000,0000,,Och även om slutet för mycket\Nav intellektuellt arbete.
Dialogue: 0,0:08:37.20,0:08:40.26,Default,,0000,0000,0000,,Så vad ska apor som vi göra\Nunder sådana omständigheter?
Dialogue: 0,0:08:40.28,0:08:44.36,Default,,0000,0000,0000,,Ja, vi får tid över att kasta frisbee\Noch ge varandra massage.
Dialogue: 0,0:08:45.84,0:08:48.70,Default,,0000,0000,0000,,Lägg till lite LSD och några\Nunderliga klädesplagg,
Dialogue: 0,0:08:48.72,0:08:50.90,Default,,0000,0000,0000,,och hela världen kan bli som Burning Man.
Dialogue: 0,0:08:50.92,0:08:52.56,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:08:54.32,0:08:56.32,Default,,0000,0000,0000,,Ok, det kan låta ganska trevligt,
Dialogue: 0,0:08:57.28,0:08:59.66,Default,,0000,0000,0000,,men ställ dig frågan vad som skulle ske
Dialogue: 0,0:08:59.68,0:09:02.42,Default,,0000,0000,0000,,under våra nuvarande\Nekonomiska och politiska system?
Dialogue: 0,0:09:02.44,0:09:04.86,Default,,0000,0000,0000,,Det verkar troligt att vi skulle bevittna
Dialogue: 0,0:09:04.88,0:09:09.02,Default,,0000,0000,0000,,enorma skillnader i välfärd\Noch tillgång till arbete
Dialogue: 0,0:09:09.04,0:09:10.67,Default,,0000,0000,0000,,som vi aldrig tidigare upplevt.
Dialogue: 0,0:09:10.67,0:09:13.18,Default,,0000,0000,0000,,Saknas en vilja att\Nlåta detta nya välstånd
Dialogue: 0,0:09:13.20,0:09:14.68,Default,,0000,0000,0000,,tjäna hela mänskligheten,
Dialogue: 0,0:09:15.64,0:09:19.26,Default,,0000,0000,0000,,kommer några triljonärer att pryda\Nomslagen på våra affärstidningar
Dialogue: 0,0:09:19.28,0:09:21.72,Default,,0000,0000,0000,,medan resten av världen kan få svälta.
Dialogue: 0,0:09:22.32,0:09:24.62,Default,,0000,0000,0000,,Vad skulle ryssarna eller kineserna göra
Dialogue: 0,0:09:24.64,0:09:27.26,Default,,0000,0000,0000,,om de hörde att ett\Nföretag i Silicon Valley
Dialogue: 0,0:09:27.28,0:09:30.02,Default,,0000,0000,0000,,höll på att sjösätta en\Nsuperintelligent AI?
Dialogue: 0,0:09:30.04,0:09:32.90,Default,,0000,0000,0000,,Den maskinen skulle vara\Nkapabel att föra krig,
Dialogue: 0,0:09:32.92,0:09:35.14,Default,,0000,0000,0000,,antingen på land eller i cyberrymden,
Dialogue: 0,0:09:35.16,0:09:36.99,Default,,0000,0000,0000,,med aldrig tidigare skådad kraft.
Dialogue: 0,0:09:38.12,0:09:40.15,Default,,0000,0000,0000,,Det är ett vinnaren-tar-allt scenario.
Dialogue: 0,0:09:40.15,0:09:43.14,Default,,0000,0000,0000,,Att ligga sex månader före i den tävlingen
Dialogue: 0,0:09:43.16,0:09:45.94,Default,,0000,0000,0000,,är att vara 500 000 år före,
Dialogue: 0,0:09:45.96,0:09:47.46,Default,,0000,0000,0000,,minst.
Dialogue: 0,0:09:47.48,0:09:52.22,Default,,0000,0000,0000,,Det ser ut som att blott rykten\Nkring denna typ av genombrott
Dialogue: 0,0:09:52.24,0:09:54.62,Default,,0000,0000,0000,,kan leda till att vår art går bärsärk.
Dialogue: 0,0:09:54.64,0:09:57.54,Default,,0000,0000,0000,,En av de mest skrämmande sakerna,
Dialogue: 0,0:09:57.56,0:10:00.34,Default,,0000,0000,0000,,enligt min mening, i dag,
Dialogue: 0,0:10:00.36,0:10:04.66,Default,,0000,0000,0000,,är det som forskare inom AI säger
Dialogue: 0,0:10:04.68,0:10:06.24,Default,,0000,0000,0000,,när de vill lugna oss.
Dialogue: 0,0:10:07.00,0:10:10.62,Default,,0000,0000,0000,,Det vanligaste argumentet för att\Nvi inte ska oroa oss handlar om tid.
Dialogue: 0,0:10:10.62,0:10:12.54,Default,,0000,0000,0000,,Det här ligger långt fram, vet du väl.
Dialogue: 0,0:10:12.56,0:10:15.00,Default,,0000,0000,0000,,Det här är säkert 50 eller 100 år bort.
Dialogue: 0,0:10:15.72,0:10:16.98,Default,,0000,0000,0000,,En forskare har sagt,
Dialogue: 0,0:10:17.00,0:10:18.74,Default,,0000,0000,0000,,"Att oroa sig för AI-säkerhet är
Dialogue: 0,0:10:18.74,0:10:21.07,Default,,0000,0000,0000,,som att oroa sig för\Nett överbefolkat Mars."
Dialogue: 0,0:10:22.12,0:10:23.74,Default,,0000,0000,0000,,Det är Silicon Valley-versionen av
Dialogue: 0,0:10:23.76,0:10:26.14,Default,,0000,0000,0000,,"oroa inte ditt söta lilla huvud."
Dialogue: 0,0:10:26.16,0:10:27.50,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:10:27.52,0:10:29.42,Default,,0000,0000,0000,,Ingen verkar uppmärksamma att,
Dialogue: 0,0:10:29.44,0:10:32.06,Default,,0000,0000,0000,,att referera till tidsaspekten
Dialogue: 0,0:10:32.08,0:10:34.66,Default,,0000,0000,0000,,är ett "Goddag yxskaft"-svar.
Dialogue: 0,0:10:34.68,0:10:37.94,Default,,0000,0000,0000,,Om intelligens bara handlar\Nom att processa information,
Dialogue: 0,0:10:37.96,0:10:40.62,Default,,0000,0000,0000,,och vi fortsätter att\Nutveckla våra maskiner,
Dialogue: 0,0:10:40.64,0:10:43.64,Default,,0000,0000,0000,,kommer vi till slut skapa\Nnågon form av superintelligens.
Dialogue: 0,0:10:44.32,0:10:47.98,Default,,0000,0000,0000,,Vi har ingen aning om\Nhur lång tid det kommer att ta
Dialogue: 0,0:10:48.00,0:10:50.40,Default,,0000,0000,0000,,att skapa villkoren för\Natt göra det riskfritt.
Dialogue: 0,0:10:52.20,0:10:53.50,Default,,0000,0000,0000,,Jag tar det en gång till.
Dialogue: 0,0:10:53.52,0:10:57.34,Default,,0000,0000,0000,,Vi vet inte hur lång tid det kommer att ta
Dialogue: 0,0:10:57.36,0:10:59.60,Default,,0000,0000,0000,,för att skapa de säkra villkoren.
Dialogue: 0,0:11:00.92,0:11:04.55,Default,,0000,0000,0000,,Du har kanske inte noterat det,\Nmen 50 år är inte vad det brukade vara.
Dialogue: 0,0:11:04.55,0:11:06.86,Default,,0000,0000,0000,,Det här är 50 år i månader.
Dialogue: 0,0:11:06.88,0:11:08.72,Default,,0000,0000,0000,,Så här länge har vi haft iPhone.
Dialogue: 0,0:11:09.44,0:11:12.04,Default,,0000,0000,0000,,Så här länge har "Simpsons" visats på TV.
Dialogue: 0,0:11:12.68,0:11:15.06,Default,,0000,0000,0000,,50 år är inte så lång tid
Dialogue: 0,0:11:15.08,0:11:18.39,Default,,0000,0000,0000,,att möta den största utmaningen\Nmänskligheten någonsin skådat.
Dialogue: 0,0:11:19.64,0:11:23.66,Default,,0000,0000,0000,,Än en gång, vi verkar inte kunna uppbåda\Nett passande emetionellt gensvar
Dialogue: 0,0:11:23.68,0:11:26.38,Default,,0000,0000,0000,,för den framtid vi har all\Nanledning att tro kommer.
Dialogue: 0,0:11:26.40,0:11:30.38,Default,,0000,0000,0000,,Datorforskaren Stuart Russell\Ndrar en intressant parallell.
Dialogue: 0,0:11:30.40,0:11:35.30,Default,,0000,0000,0000,,Han sade, föreställ er att vi fick ett\Nmeddelande från en främmande civilisation,
Dialogue: 0,0:11:35.32,0:11:37.02,Default,,0000,0000,0000,,som sade:
Dialogue: 0,0:11:37.04,0:11:38.58,Default,,0000,0000,0000,,"Människor på Jorden,
Dialogue: 0,0:11:38.60,0:11:40.96,Default,,0000,0000,0000,,vi kommer att landa\Npå er planet om 50 år.
Dialogue: 0,0:11:41.80,0:11:43.38,Default,,0000,0000,0000,,Gör er redo."
Dialogue: 0,0:11:43.40,0:11:47.66,Default,,0000,0000,0000,,Och nu räknar vi bara ner månaderna\Ntills moderskeppet landar?
Dialogue: 0,0:11:47.68,0:11:50.68,Default,,0000,0000,0000,,Vi borde förstå att det\Nbrådskar mer än vad vi gör.
Dialogue: 0,0:11:52.68,0:11:54.54,Default,,0000,0000,0000,,Vi hör att vi inte behöver oroa oss
Dialogue: 0,0:11:54.56,0:11:57.58,Default,,0000,0000,0000,,för maskinerna kommer\Natt dela våra värderingar
Dialogue: 0,0:11:57.60,0:12:00.22,Default,,0000,0000,0000,,eftersom de kommer att\Nvara en förlängning av oss.
Dialogue: 0,0:12:00.24,0:12:02.06,Default,,0000,0000,0000,,De kommer att ympas in i våra hjärnor,
Dialogue: 0,0:12:02.08,0:12:04.44,Default,,0000,0000,0000,,och vi kommer att vara\Nderas limbiska system.
Dialogue: 0,0:12:05.12,0:12:06.54,Default,,0000,0000,0000,,Reflektera nu över
Dialogue: 0,0:12:06.56,0:12:09.74,Default,,0000,0000,0000,,att den tryggaste och\Nförståndigaste vägen framåt,
Dialogue: 0,0:12:09.76,0:12:11.10,Default,,0000,0000,0000,,som förespråkas,
Dialogue: 0,0:12:11.12,0:12:13.92,Default,,0000,0000,0000,,är att operera in tekniken\Ndirekt i våra hjärnor.
Dialogue: 0,0:12:14.60,0:12:17.98,Default,,0000,0000,0000,,Det kanske är den tryggaste\Noch smartaste vägen att ta,
Dialogue: 0,0:12:18.00,0:12:21.06,Default,,0000,0000,0000,,men vanligtvis måste\Nsäkerhetsriskerna med en teknik
Dialogue: 0,0:12:21.08,0:12:24.74,Default,,0000,0000,0000,,vara ordentligt utredda innan\Nman stoppar in den i hjärnan.
Dialogue: 0,0:12:24.76,0:12:26.78,Default,,0000,0000,0000,,(Skratt)
Dialogue: 0,0:12:26.80,0:12:32.14,Default,,0000,0000,0000,,Det djupare problemet är att\Nutveckla en fristående superintelligent AI
Dialogue: 0,0:12:32.16,0:12:33.90,Default,,0000,0000,0000,,förmodligen är enklare
Dialogue: 0,0:12:33.92,0:12:35.78,Default,,0000,0000,0000,,än att utveckla superintelligent AI
Dialogue: 0,0:12:35.80,0:12:37.58,Default,,0000,0000,0000,,och ha koll på neurovetenskapen
Dialogue: 0,0:12:37.60,0:12:40.40,Default,,0000,0000,0000,,som låter oss sömlöst\Nintegrera våra sinnen med den.
Dialogue: 0,0:12:40.80,0:12:43.98,Default,,0000,0000,0000,,Givet att företag och\Nstater som står för vetenskapen
Dialogue: 0,0:12:44.00,0:12:47.66,Default,,0000,0000,0000,,sannolikt kommer att uppfatta sig\Nvara i kamp med alla andra,
Dialogue: 0,0:12:47.68,0:12:50.99,Default,,0000,0000,0000,,givet att genom att vinna kapplöpningen\Nvinner man världen,
Dialogue: 0,0:12:50.99,0:12:53.42,Default,,0000,0000,0000,,förutsatt att de inte\Nförstör den i nästa steg,
Dialogue: 0,0:12:53.44,0:12:56.06,Default,,0000,0000,0000,,då verkar det troligt att\Nallt som är enklare att göra
Dialogue: 0,0:12:56.08,0:12:57.28,Default,,0000,0000,0000,,kommer att göras först.
Dialogue: 0,0:12:58.56,0:13:01.42,Default,,0000,0000,0000,,Tyvärr har jag ingen lösning\Npå det här problemet,
Dialogue: 0,0:13:01.44,0:13:03.74,Default,,0000,0000,0000,,mer än att fler av oss\Nmåste fundera på det.
Dialogue: 0,0:13:03.74,0:13:06.46,Default,,0000,0000,0000,,Jag tror vi behöver ett Manhattan-projekt
Dialogue: 0,0:13:06.48,0:13:08.50,Default,,0000,0000,0000,,på temat artificiell intelligens.
Dialogue: 0,0:13:08.52,0:13:11.53,Default,,0000,0000,0000,,Inte för att bygga den,\Ndet tror jag oundvikligen vi gör,
Dialogue: 0,0:13:11.53,0:13:14.62,Default,,0000,0000,0000,,men för att förstå hur vi ska\Nundvika en kapprustning
Dialogue: 0,0:13:14.64,0:13:18.14,Default,,0000,0000,0000,,och för att utveckla den i linje\Nmed våra egna intressen.
Dialogue: 0,0:13:18.16,0:13:20.30,Default,,0000,0000,0000,,När man pratar om superintelligent AI
Dialogue: 0,0:13:20.32,0:13:22.58,Default,,0000,0000,0000,,som kan förändra sig själv,
Dialogue: 0,0:13:22.60,0:13:27.22,Default,,0000,0000,0000,,verkar det som att vi bara har\Nen chans att få det rätt från början,
Dialogue: 0,0:13:27.24,0:13:29.30,Default,,0000,0000,0000,,och även då måste vi sätta oss in i
Dialogue: 0,0:13:29.32,0:13:32.36,Default,,0000,0000,0000,,och lösa de ekonomiska och\Npolitiska konsekvenserna.
Dialogue: 0,0:13:33.76,0:13:35.82,Default,,0000,0000,0000,,Men i den stund vi tillstår
Dialogue: 0,0:13:35.84,0:13:39.84,Default,,0000,0000,0000,,att informationsbearbetning\När källan till intelligens,
Dialogue: 0,0:13:40.72,0:13:45.52,Default,,0000,0000,0000,,att något datorstyrt beräkningsprogram\När basen för intelligens,
Dialogue: 0,0:13:46.36,0:13:50.12,Default,,0000,0000,0000,,och att vi kommer att förbättra\Ndessa system kontinuerligt,
Dialogue: 0,0:13:51.28,0:13:55.74,Default,,0000,0000,0000,,och vi erkänner att\Nkognitionshorisonten vida överstiger
Dialogue: 0,0:13:55.76,0:13:56.96,Default,,0000,0000,0000,,vad vi vet idag,
Dialogue: 0,0:13:58.12,0:13:59.34,Default,,0000,0000,0000,,då måste vi också erkänna
Dialogue: 0,0:13:59.36,0:14:02.00,Default,,0000,0000,0000,,att vi är i färd med att\Nskapa någon form av gud.
Dialogue: 0,0:14:03.40,0:14:04.98,Default,,0000,0000,0000,,Nu borde vara ett bra tillfälle att
Dialogue: 0,0:14:05.00,0:14:06.95,Default,,0000,0000,0000,,se till att det är en gud vi vill ha.
Dialogue: 0,0:14:08.12,0:14:09.66,Default,,0000,0000,0000,,Tack så mycket.
Dialogue: 0,0:14:09.68,0:14:12.63,Default,,0000,0000,0000,,(Applåder)