0:00:01.000,0:00:03.216
Jag ska prata om en intuitionsbrist

0:00:03.240,0:00:04.840
som många av oss lider av.

0:00:05.480,0:00:08.520
Det är ett misslyckande att[br]upptäcka en viss typ av fara.

0:00:09.360,0:00:11.096
Jag ska beskriva ett scenario

0:00:11.120,0:00:14.376
som jag tycker är både skrämmande

0:00:14.400,0:00:16.160
och förmodligen kommer att ske,

0:00:16.840,0:00:18.496
och det är en dålig kombination,

0:00:18.520,0:00:20.056
som det visar sig.

0:00:20.080,0:00:22.536
Istället för att bli rädda,[br]kommer många tycka

0:00:22.560,0:00:24.640
att det jag pratar om är ganska häftigt.

0:00:25.200,0:00:28.176
Jag ska beskriva hur de framsteg vi gör

0:00:28.200,0:00:29.976
inom artificiell intelligens

0:00:30.000,0:00:31.776
till slut kan förgöra oss.

0:00:31.800,0:00:35.256
Faktum är, jag tror det är svårt [br]att se att de inte gör det

0:00:35.280,0:00:37.160
eller får oss att förgöra oss själva.

0:00:37.400,0:00:39.256
Och om du tänker det minsta likt mig,

0:00:39.280,0:00:41.936
tycker du att det här är[br]spännande att tänka på.

0:00:41.960,0:00:45.336
Den inställningen är en del av problemet.

0:00:45.360,0:00:47.340
OK? Den inställningen borde oroa dig.

0:00:47.920,0:00:50.576
Om jag i det här föredraget[br]skulle övertyga dig om

0:00:50.600,0:00:54.016
att vi kan drabbas av en[br]global svältkatastrof,

0:00:54.040,0:00:57.096
på grund av klimatförändringar[br]eller någon annan katastrof,

0:00:57.120,0:01:00.536
och att dina barnbarn,[br]eller deras barnbarn,

0:01:00.560,0:01:02.360
sannolikt skulle leva så här,

0:01:03.200,0:01:04.400
då skulle du inte tänka,

0:01:05.440,0:01:06.776
"Intressant.

0:01:06.800,0:01:08.000
Jag gillar föredraget."

0:01:09.200,0:01:10.720
Svält är inte roligt.

0:01:11.800,0:01:15.176
Död i science fiction,[br]å andra sidan, är roligt,

0:01:15.200,0:01:19.176
och en av de saker som för närvarande[br]oroar mig mest i utvecklingen av AI

0:01:19.200,0:01:23.296
är att vi tycks oförmögna att förespråka[br]ett passande emotionellt gensvar

0:01:23.320,0:01:25.546
inför de risker som ligger framför oss.

0:01:25.546,0:01:28.990
Jag kan inte förespråka ett gensvar,[br]och jag håller det här talet.

0:01:30.120,0:01:32.816
Det är som att vi står framför två dörrar.

0:01:32.840,0:01:34.096
Väljer vi dörr ett,

0:01:34.120,0:01:37.416
slutar vi göra framsteg i utvecklandet[br]av intelligenta maskiner.

0:01:37.440,0:01:41.456
Av någon anledning blir vår[br]hård- och mjukvara inte bättre.

0:01:41.480,0:01:44.480
Fundera lite på varför[br]det skulle kunna hända.

0:01:45.080,0:01:48.736
Jag menar, givet värdet av[br]intelligens och automation,

0:01:48.760,0:01:52.280
kommer vi fortsätta utveckla[br]tekniken, om vi kan.

0:01:53.200,0:01:54.867
Vad skulle kunna stoppa oss?

0:01:55.800,0:01:57.600
Ett fullskaligt kärnvapenkrig?

0:01:59.000,0:02:00.560
En global pandemi?

0:02:02.320,0:02:03.640
Ett asteroidnedslag?

0:02:05.640,0:02:08.216
Justin Bieber blir USAs president?

0:02:08.240,0:02:10.520
(Skratt)

0:02:12.760,0:02:16.680
Poängen är att, något måste förgöra[br]civilisationen så som vi känner den.

0:02:17.360,0:02:21.656
Ni måste föreställa er[br]hur illa det måste vara

0:02:21.680,0:02:25.016
för att hindra oss att göra[br]framsteg inom tekniken

0:02:25.040,0:02:26.256
permanent,

0:02:26.280,0:02:28.296
generation efter generation.

0:02:28.320,0:02:30.456
Nästan per definition, är detta det värsta

0:02:30.480,0:02:32.496
som någonsin inträffat genom historien.

0:02:32.520,0:02:33.816
Så det enda alternativet,

0:02:33.840,0:02:36.176
är det som finns bakom den andra dörren,

0:02:36.200,0:02:39.336
att vi fortsätter att utveckla[br]våra intelligenta maskiner

0:02:39.360,0:02:40.960
år efter år efter år.

0:02:41.720,0:02:45.360
Vid en viss punkt, kommer vi att bygga[br]maskiner som är smartare än vi,

0:02:46.080,0:02:48.696
och när vi väl har dessa smarta maskiner,

0:02:48.720,0:02:50.696
kommer de att förbättra sig själva.

0:02:50.720,0:02:53.456
Då riskerar vi[br]det matematikern IJ Good kallade,

0:02:53.480,0:02:55.256
en "intelligensexplosion",

0:02:55.280,0:02:57.280
dvs att processen går oss ur händerna.

0:02:58.120,0:03:00.936
Detta skojas ofta bort, som här,

0:03:00.960,0:03:04.080
som en rädsla för att en[br]armé av ondsinta robotar

0:03:04.080,0:03:05.456
kommer att attackera oss.

0:03:05.480,0:03:08.176
Men det är inte det troligaste scenariot.

0:03:08.200,0:03:13.056
Våra maskiner kommer inte[br]att bli spontant illvilliga.

0:03:13.080,0:03:15.696
Bekymret är att vi kommer[br]att bygga maskiner

0:03:15.720,0:03:17.776
som är så mycket mer kompetenta än vi

0:03:17.800,0:03:21.576
att den minsta lilla skillnad[br]mellan deras mål och våra

0:03:21.600,0:03:23.080
skulle kunna förgöra oss.

0:03:23.960,0:03:26.040
Tänk bara på vår inställning till myror.

0:03:26.600,0:03:28.256
Vi hatar inte dem.

0:03:28.280,0:03:30.336
Vi skadar inte dem medvetet.

0:03:30.360,0:03:32.736
Ibland anstränger vi oss[br]för att inte skada dem.

0:03:32.760,0:03:34.776
Vi kliver över dem på trottoaren.

0:03:34.800,0:03:36.936
Men så fort deras närvaro

0:03:36.960,0:03:39.456
kommer i allvarlig konflikt med våra mål,

0:03:39.480,0:03:41.957
som till exempel vid husbyggnationer,

0:03:41.981,0:03:43.941
förintar vi dem utan pardon.

0:03:44.480,0:03:47.416
Bekymret är att vi en dag[br]kommer att bygga maskiner

0:03:47.440,0:03:50.176
som, oavsett om de är medvetna eller ej,

0:03:50.200,0:03:52.400
skulle kunna behandla oss[br]med samma förakt.

0:03:53.760,0:03:56.520
Jag misstänker att det verkar[br]långsökt för många av er.

0:03:57.360,0:04:03.696
Jag slår vad om att en del av er tvivlar[br]på att superintelligent AI är möjlig,

0:04:03.720,0:04:05.376
än mindre nödvändig.

0:04:05.400,0:04:09.020
Men då måste ni finna felen med[br]några av följande antaganden.

0:04:09.044,0:04:10.616
Det finns bara tre.

0:04:11.800,0:04:16.519
Intelligens handlar om processandet[br]av information i fysiska system.

0:04:17.320,0:04:19.935
Det är egentligen mer[br]än bara ett antagande.

0:04:19.959,0:04:23.416
Vi använder redan maskininlärning[br]i många maskiner,

0:04:23.440,0:04:25.456
och många av dessa maskiner presterar

0:04:25.480,0:04:28.120
redan på nivåer långt över[br]mänsklig intelligens.

0:04:28.840,0:04:31.416
Och vi vet att materia

0:04:31.440,0:04:34.056
kan skapa det som[br]kallas "generell intelligens"

0:04:34.080,0:04:37.736
en förmåga att tänka flexibelt[br]över flera dimensioner,

0:04:37.760,0:04:40.896
eftersom våra hjärnor[br]har klarat det. Eller hur?

0:04:40.920,0:04:44.856
Jag menar, det är ju bara atomer här inne,

0:04:44.880,0:04:49.376
och så länge vi fortsätter att[br]bygga system av atomer

0:04:49.400,0:04:52.096
som uppvisar mer och mer intelligens,

0:04:52.120,0:04:54.656
kommer vi till slut,[br]om vi inte blir avbrutna,

0:04:54.680,0:04:58.056
ha byggt in generell intelligens

0:04:58.080,0:04:59.376
i våra maskiner.

0:04:59.400,0:05:03.056
Det är viktigt att inse att[br]utvecklingstakten inte spelar någon roll,

0:05:03.080,0:05:06.256
eftersom minsta framsteg[br]räcker för att nå slutstationen.

0:05:06.280,0:05:10.056
Vi behöver inte Moores lag. Utvecklingen[br]behöver inte vara exponentiell.

0:05:10.080,0:05:11.870
Vi behöver bara fortsätta framåt.

0:05:13.480,0:05:16.400
Det andra antagandet är[br]att vi kommer fortsätta.

0:05:17.000,0:05:19.910
Vi fortsätter utvecklingen[br]av de intelligenta maskinerna.

0:05:21.000,0:05:25.376
Och givet värdet på intelligens -

0:05:25.400,0:05:28.936
jag menar, intelligens är antingen[br]summan av allt vi sätter värde på

0:05:28.960,0:05:31.736
eller som vi behöver för att[br]skydda det vi värdesätter.

0:05:31.760,0:05:34.016
Det är vår värdefullaste resurs.

0:05:34.040,0:05:35.576
Så vi vill göra det här.

0:05:35.600,0:05:38.936
Vi har problem som vi desperat måste lösa.

0:05:38.960,0:05:42.160
Vi vill bota sjukdomar som[br]Alzheimers och cancer.

0:05:42.960,0:05:46.896
Vi vill förstå de ekonomiska systemen.[br]Vi vill utveckla klimatforskningen.

0:05:46.920,0:05:49.176
Så vi kommer att göra det, om vi kan.

0:05:49.200,0:05:52.486
Tåget har redan lämnat stationen,[br]och det finns ingen broms.

0:05:53.880,0:05:59.336
Slutligen, vi har inte[br]nått intelligensens topp,

0:05:59.360,0:06:01.160
vi är troligen inte ens i närheten.

0:06:01.640,0:06:03.536
Det är den riktigt kritiska insikten.

0:06:03.560,0:06:06.146
Det är det här som gör[br]vår situation så vansklig,

0:06:06.146,0:06:10.040
och det gör också våra[br]riskantaganden så opålitliga.

0:06:11.120,0:06:13.840
Fundera på den smartaste person[br]som någonsin levt.

0:06:14.640,0:06:18.056
En som finns på nästan allas lista[br]är John von Neumann.

0:06:18.080,0:06:21.416
Jag menar, de intryck som Neumann[br]gjorde på folk runt honom,

0:06:21.440,0:06:25.496
inkluderat de främsta matematikerna[br]och fysikerna under hans levnad,

0:06:25.520,0:06:27.456
är ganska väldokumenterade.

0:06:27.480,0:06:31.256
Om bara hälften av berättelserna[br]om honom är halvsanna,

0:06:31.280,0:06:32.666
råder det ingen tvekan om

0:06:32.666,0:06:34.976
att han är en av de smartaste någonsin.

0:06:35.000,0:06:37.520
Så fundera på vidden av intelligens.

0:06:38.320,0:06:39.749
Här har vi John von Neumann.

0:06:41.560,0:06:42.894
Så har vi dig och mig.

0:06:44.120,0:06:45.416
Så har vi kycklingar.

0:06:45.440,0:06:47.376
(Skratt)

0:06:47.400,0:06:48.616
Ursäkta, en kyckling.

0:06:48.640,0:06:49.896
(Skratt)

0:06:49.920,0:06:53.656
Det finns inga skäl att göra föredraget[br]mer deprimerande än det redan är.

0:06:53.680,0:06:55.280
(Skratt)

0:06:56.339,0:06:59.816
Det verkar dock mycket troligt, [br]att spektrat av intelligens,

0:06:59.840,0:07:02.960
sträcker sig mycket längre[br]än vi kan föreställa oss idag,

0:07:03.880,0:07:07.096
och om vi bygger maskiner[br]som är intelligentare än vi,

0:07:07.120,0:07:09.416
kommer de troligtvis[br]utforska detta spektrum

0:07:09.440,0:07:11.296
på sätt som vi inte kan föreställa oss,

0:07:11.320,0:07:13.840
och överträffa oss på[br]sätt som vi inte kan förstå.

0:07:15.000,0:07:19.336
Det är viktigt att se att det här är sant[br]genom hastigheten det sker med.

0:07:19.360,0:07:24.416
Ok? Föreställ er att vi[br]byggt en superintelligent AI

0:07:24.440,0:07:27.896
som inte är smartare än din[br]genomsnittliga forskargrupp

0:07:27.920,0:07:30.216
på Stanford eller MIT.

0:07:30.240,0:07:33.096
Elektroniska kretsar är ungefär[br]en miljon gånger snabbare

0:07:33.096,0:07:34.496
än biokemiska,

0:07:34.520,0:07:37.656
så maskinen skulle tänka ungefär[br]en miljon gånger snabbare

0:07:37.680,0:07:39.496
än hjärnorna som byggt den.

0:07:39.520,0:07:41.176
Ni låter den köra i en vecka,

0:07:41.200,0:07:45.760
och den kommer att processa[br]20 000 år av mänskligt tänkande,

0:07:46.400,0:07:48.360
vecka ut och vecka in.

0:07:49.640,0:07:52.736
Hur kan vi ens förstå, än mindre begränsa

0:07:52.760,0:07:55.040
en kraft som gör sådana framsteg?

0:07:56.840,0:07:58.976
Det andra som är uppriktigt oroande,

0:07:59.000,0:08:03.976
är, föreställ dig ett bästa scenario.

0:08:04.000,0:08:08.176
Föreställ dig att vi designar[br]en superintelligent AI

0:08:08.200,0:08:09.576
utan säkerhetsproblem.

0:08:09.600,0:08:12.856
Vi har den perfekta designen från början.

0:08:12.880,0:08:15.096
Det är som att vi skulle få ett orakel

0:08:15.120,0:08:17.136
som beter sig exakt som vi avsett.

0:08:17.160,0:08:20.880
Den här maskinen skulle vara[br]den perfekta "jobbspararen".

0:08:21.680,0:08:24.109
Den kan designa maskinen[br]som kan bygga maskinen

0:08:24.133,0:08:25.896
som kan utföra allt fysiskt arbete,

0:08:25.920,0:08:27.376
och drivs av solenergi,

0:08:27.400,0:08:30.096
mer eller mindre till[br]kostnaden för råmaterialet.

0:08:30.120,0:08:33.376
Då pratar vi om slutet[br]av mänsklighetens slit.

0:08:33.400,0:08:36.360
Och även om slutet för mycket[br]av intellektuellt arbete.

0:08:37.200,0:08:40.256
Så vad ska apor som vi göra[br]under sådana omständigheter?

0:08:40.280,0:08:44.360
Ja, vi får tid över att kasta frisbee[br]och ge varandra massage.

0:08:45.840,0:08:48.696
Lägg till lite LSD och några[br]underliga klädesplagg,

0:08:48.720,0:08:50.896
och hela världen kan bli som Burning Man.

0:08:50.920,0:08:52.560
(Skratt)

0:08:54.320,0:08:56.320
Ok, det kan låta ganska trevligt,

0:08:57.280,0:08:59.656
men ställ dig frågan vad som skulle ske

0:08:59.680,0:09:02.416
under våra nuvarande[br]ekonomiska och politiska system?

0:09:02.440,0:09:04.856
Det verkar troligt att vi skulle bevittna

0:09:04.880,0:09:09.016
enorma skillnader i välfärd[br]och tillgång till arbete

0:09:09.040,0:09:10.666
som vi aldrig tidigare upplevt.

0:09:10.666,0:09:13.176
Saknas en vilja att[br]låta detta nya välstånd

0:09:13.200,0:09:14.680
tjäna hela mänskligheten,

0:09:15.640,0:09:19.256
kommer några triljonärer att pryda[br]omslagen på våra affärstidningar

0:09:19.280,0:09:21.720
medan resten av världen kan få svälta.

0:09:22.320,0:09:24.616
Vad skulle ryssarna eller kineserna göra

0:09:24.640,0:09:27.256
om de hörde att ett[br]företag i Silicon Valley

0:09:27.280,0:09:30.016
höll på att sjösätta en[br]superintelligent AI?

0:09:30.040,0:09:32.896
Den maskinen skulle vara[br]kapabel att föra krig,

0:09:32.920,0:09:35.136
antingen på land eller i cyberrymden,

0:09:35.160,0:09:36.990
med aldrig tidigare skådad kraft.

0:09:38.120,0:09:40.146
Det är ett vinnaren-tar-allt scenario.

0:09:40.146,0:09:43.136
Att ligga sex månader före i den tävlingen

0:09:43.160,0:09:45.936
är att vara 500 000 år före,

0:09:45.960,0:09:47.456
minst.

0:09:47.480,0:09:52.216
Det ser ut som att blott rykten[br]kring denna typ av genombrott

0:09:52.240,0:09:54.616
kan leda till att vår art går bärsärk.

0:09:54.640,0:09:57.536
En av de mest skrämmande sakerna,

0:09:57.560,0:10:00.336
enligt min mening, i dag,

0:10:00.360,0:10:04.656
är det som forskare inom AI säger

0:10:04.680,0:10:06.240
när de vill lugna oss.

0:10:07.000,0:10:10.616
Det vanligaste argumentet för att[br]vi inte ska oroa oss handlar om tid.

0:10:10.616,0:10:12.536
Det här ligger långt fram, vet du väl.

0:10:12.560,0:10:15.000
Det här är säkert 50 eller 100 år bort.

0:10:15.720,0:10:16.976
En forskare har sagt,

0:10:17.000,0:10:18.736
"Att oroa sig för AI-säkerhet är

0:10:18.736,0:10:21.070
som att oroa sig för[br]ett överbefolkat Mars."

0:10:22.116,0:10:23.736
Det är Silicon Valley-versionen av

0:10:23.760,0:10:26.136
"oroa inte ditt söta lilla huvud."

0:10:26.160,0:10:27.496
(Skratt)

0:10:27.520,0:10:29.416
Ingen verkar uppmärksamma att,

0:10:29.440,0:10:32.056
att referera till tidsaspekten

0:10:32.080,0:10:34.656
är ett "Goddag yxskaft"-svar.

0:10:34.680,0:10:37.936
Om intelligens bara handlar[br]om att processa information,

0:10:37.960,0:10:40.616
och vi fortsätter att[br]utveckla våra maskiner,

0:10:40.640,0:10:43.640
kommer vi till slut skapa[br]någon form av superintelligens.

0:10:44.320,0:10:47.976
Vi har ingen aning om[br]hur lång tid det kommer att ta

0:10:48.000,0:10:50.400
att skapa villkoren för[br]att göra det riskfritt.

0:10:52.200,0:10:53.496
Jag tar det en gång till.

0:10:53.520,0:10:57.336
Vi vet inte hur lång tid det kommer att ta

0:10:57.360,0:10:59.600
för att skapa de säkra villkoren.

0:11:00.920,0:11:04.546
Du har kanske inte noterat det,[br]men 50 år är inte vad det brukade vara.

0:11:04.546,0:11:06.856
Det här är 50 år i månader.

0:11:06.880,0:11:08.720
Så här länge har vi haft iPhone.

0:11:09.440,0:11:12.040
Så här länge har "Simpsons" visats på TV.

0:11:12.680,0:11:15.056
50 år är inte så lång tid

0:11:15.080,0:11:18.390
att möta den största utmaningen[br]mänskligheten någonsin skådat.

0:11:19.640,0:11:23.656
Än en gång, vi verkar inte kunna uppbåda[br]ett passande emetionellt gensvar

0:11:23.680,0:11:26.376
för den framtid vi har all[br]anledning att tro kommer.

0:11:26.400,0:11:30.376
Datorforskaren Stuart Russell[br]drar en intressant parallell.

0:11:30.400,0:11:35.296
Han sade, föreställ er att vi fick ett[br]meddelande från en främmande civilisation,

0:11:35.320,0:11:37.016
som sade:

0:11:37.040,0:11:38.576
"Människor på Jorden,

0:11:38.600,0:11:40.960
vi kommer att landa[br]på er planet om 50 år.

0:11:41.800,0:11:43.376
Gör er redo."

0:11:43.400,0:11:47.656
Och nu räknar vi bara ner månaderna[br]tills moderskeppet landar?

0:11:47.680,0:11:50.680
Vi borde förstå att det[br]brådskar mer än vad vi gör.

0:11:52.680,0:11:54.536
Vi hör att vi inte behöver oroa oss

0:11:54.560,0:11:57.576
för maskinerna kommer[br]att dela våra värderingar

0:11:57.600,0:12:00.216
eftersom de kommer att[br]vara en förlängning av oss.

0:12:00.240,0:12:02.056
De kommer att ympas in i våra hjärnor,

0:12:02.080,0:12:04.440
och vi kommer att vara[br]deras limbiska system.

0:12:05.120,0:12:06.536
Reflektera nu över

0:12:06.560,0:12:09.736
att den tryggaste och[br]förståndigaste vägen framåt,

0:12:09.760,0:12:11.096
som förespråkas,

0:12:11.120,0:12:13.920
är att operera in tekniken[br]direkt i våra hjärnor.

0:12:14.600,0:12:17.976
Det kanske är den tryggaste[br]och smartaste vägen att ta,

0:12:18.000,0:12:21.056
men vanligtvis måste[br]säkerhetsriskerna med en teknik

0:12:21.080,0:12:24.736
vara ordentligt utredda innan[br]man stoppar in den i hjärnan.

0:12:24.760,0:12:26.776
(Skratt)

0:12:26.800,0:12:32.136
Det djupare problemet är att[br]utveckla en fristående superintelligent AI

0:12:32.160,0:12:33.896
förmodligen är enklare

0:12:33.920,0:12:35.776
än att utveckla superintelligent AI

0:12:35.800,0:12:37.576
och ha koll på neurovetenskapen

0:12:37.600,0:12:40.400
som låter oss sömlöst[br]integrera våra sinnen med den.

0:12:40.800,0:12:43.976
Givet att företag och[br]stater som står för vetenskapen

0:12:44.000,0:12:47.656
sannolikt kommer att uppfatta sig[br]vara i kamp med alla andra,

0:12:47.680,0:12:50.986
givet att genom att vinna kapplöpningen[br]vinner man världen,

0:12:50.986,0:12:53.416
förutsatt att de inte[br]förstör den i nästa steg,

0:12:53.440,0:12:56.056
då verkar det troligt att[br]allt som är enklare att göra

0:12:56.080,0:12:57.280
kommer att göras först.

0:12:58.560,0:13:01.416
Tyvärr har jag ingen lösning[br]på det här problemet,

0:13:01.440,0:13:03.740
mer än att fler av oss[br]måste fundera på det.

0:13:03.740,0:13:06.456
Jag tror vi behöver ett Manhattan-projekt

0:13:06.480,0:13:08.496
på temat artificiell intelligens.

0:13:08.520,0:13:11.526
Inte för att bygga den,[br]det tror jag oundvikligen vi gör,

0:13:11.526,0:13:14.616
men för att förstå hur vi ska[br]undvika en kapprustning

0:13:14.640,0:13:18.136
och för att utveckla den i linje[br]med våra egna intressen.

0:13:18.160,0:13:20.296
När man pratar om superintelligent AI

0:13:20.320,0:13:22.576
som kan förändra sig själv,

0:13:22.600,0:13:27.216
verkar det som att vi bara har[br]en chans att få det rätt från början,

0:13:27.240,0:13:29.296
och även då måste vi sätta oss in i

0:13:29.320,0:13:32.360
och lösa de ekonomiska och[br]politiska konsekvenserna.

0:13:33.760,0:13:35.816
Men i den stund vi tillstår

0:13:35.840,0:13:39.840
att informationsbearbetning[br]är källan till intelligens,

0:13:40.720,0:13:45.520
att något datorstyrt beräkningsprogram[br]är basen för intelligens,

0:13:46.360,0:13:50.120
och att vi kommer att förbättra[br]dessa system kontinuerligt,

0:13:51.280,0:13:55.736
och vi erkänner att[br]kognitionshorisonten vida överstiger

0:13:55.760,0:13:56.960
vad vi vet idag,

0:13:58.120,0:13:59.336
då måste vi också erkänna

0:13:59.360,0:14:02.000
att vi är i färd med att[br]skapa någon form av gud.

0:14:03.400,0:14:04.976
Nu borde vara ett bra tillfälle att

0:14:05.000,0:14:06.953
se till att det är en gud vi vill ha.

0:14:08.120,0:14:09.656
Tack så mycket.

0:14:09.680,0:14:12.633
(Applåder)