Jag ska prata om en intuitionsbrist som många av oss lider av. Det är ett misslyckande att upptäcka en viss typ av fara. Jag ska beskriva ett scenario som jag tycker är både skrämmande och förmodligen kommer att ske, och det är en dålig kombination, som det visar sig. Istället för att bli rädda, kommer många tycka att det jag pratar om är ganska häftigt. Jag ska beskriva hur de framsteg vi gör inom artificiell intelligens till slut kan förgöra oss. Faktum är, jag tror det är svårt att se att de inte gör det eller får oss att förgöra oss själva. Och om du tänker det minsta likt mig, tycker du att det här är spännande att tänka på. Den inställningen är en del av problemet. OK? Den inställningen borde oroa dig. Om jag i det här föredraget skulle övertyga dig om att vi kan drabbas av en global svältkatastrof, på grund av klimatförändringar eller någon annan katastrof, och att dina barnbarn, eller deras barnbarn, sannolikt skulle leva så här, då skulle du inte tänka, "Intressant. Jag gillar föredraget." Svält är inte roligt. Död i science fiction, å andra sidan, är roligt, och en av de saker som för närvarande oroar mig mest i utvecklingen av AI är att vi tycks oförmögna att förespråka ett passande emotionellt gensvar inför de risker som ligger framför oss. Jag kan inte förespråka ett gensvar, och jag håller det här talet. Det är som att vi står framför två dörrar. Väljer vi dörr ett, slutar vi göra framsteg i utvecklandet av intelligenta maskiner. Av någon anledning blir vår hård- och mjukvara inte bättre. Fundera lite på varför det skulle kunna hända. Jag menar, givet värdet av intelligens och automation, kommer vi fortsätta utveckla tekniken, om vi kan. Vad skulle kunna stoppa oss? Ett fullskaligt kärnvapenkrig? En global pandemi? Ett asteroidnedslag? Justin Bieber blir USAs president? (Skratt) Poängen är att, något måste förgöra civilisationen så som vi känner den. Ni måste föreställa er hur illa det måste vara för att hindra oss att göra framsteg inom tekniken permanent, generation efter generation. Nästan per definition, är detta det värsta som någonsin inträffat genom historien. Så det enda alternativet, är det som finns bakom den andra dörren, att vi fortsätter att utveckla våra intelligenta maskiner år efter år efter år. Vid en viss punkt, kommer vi att bygga maskiner som är smartare än vi, och när vi väl har dessa smarta maskiner, kommer de att förbättra sig själva. Då riskerar vi det matematikern IJ Good kallade, en "intelligensexplosion", dvs att processen går oss ur händerna. Detta skojas ofta bort, som här, som en rädsla för att en armé av ondsinta robotar kommer att attackera oss. Men det är inte det troligaste scenariot. Våra maskiner kommer inte att bli spontant illvilliga. Bekymret är att vi kommer att bygga maskiner som är så mycket mer kompetenta än vi att den minsta lilla skillnad mellan deras mål och våra skulle kunna förgöra oss. Tänk bara på vår inställning till myror. Vi hatar inte dem. Vi skadar inte dem medvetet. Ibland anstränger vi oss för att inte skada dem. Vi kliver över dem på trottoaren. Men så fort deras närvaro kommer i allvarlig konflikt med våra mål, som till exempel vid husbyggnationer, förintar vi dem utan pardon. Bekymret är att vi en dag kommer att bygga maskiner som, oavsett om de är medvetna eller ej, skulle kunna behandla oss med samma förakt. Jag misstänker att det verkar långsökt för många av er. Jag slår vad om att en del av er tvivlar på att superintelligent AI är möjlig, än mindre nödvändig. Men då måste ni finna felen med några av följande antaganden. Det finns bara tre. Intelligens handlar om processandet av information i fysiska system. Det är egentligen mer än bara ett antagande. Vi använder redan maskininlärning i många maskiner, och många av dessa maskiner presterar redan på nivåer långt över mänsklig intelligens. Och vi vet att materia kan skapa det som kallas "generell intelligens" en förmåga att tänka flexibelt över flera dimensioner, eftersom våra hjärnor har klarat det. Eller hur? Jag menar, det är ju bara atomer här inne, och så länge vi fortsätter att bygga system av atomer som uppvisar mer och mer intelligens, kommer vi till slut, om vi inte blir avbrutna, ha byggt in generell intelligens i våra maskiner. Det är viktigt att inse att utvecklingstakten inte spelar någon roll, eftersom minsta framsteg räcker för att nå slutstationen. Vi behöver inte Moores lag. Utvecklingen behöver inte vara exponentiell. Vi behöver bara fortsätta framåt. Det andra antagandet är att vi kommer fortsätta. Vi fortsätter utvecklingen av de intelligenta maskinerna. Och givet värdet på intelligens - jag menar, intelligens är antingen summan av allt vi sätter värde på eller som vi behöver för att skydda det vi värdesätter. Det är vår värdefullaste resurs. Så vi vill göra det här. Vi har problem som vi desperat måste lösa. Vi vill bota sjukdomar som Alzheimers och cancer. Vi vill förstå de ekonomiska systemen. Vi vill utveckla klimatforskningen. Så vi kommer att göra det, om vi kan. Tåget har redan lämnat stationen, och det finns ingen broms. Slutligen, vi har inte nått intelligensens topp, vi är troligen inte ens i närheten. Det är den riktigt kritiska insikten. Det är det här som gör vår situation så vansklig, och det gör också våra riskantaganden så opålitliga. Fundera på den smartaste person som någonsin levt. En som finns på nästan allas lista är John von Neumann. Jag menar, de intryck som Neumann gjorde på folk runt honom, inkluderat de främsta matematikerna och fysikerna under hans levnad, är ganska väldokumenterade. Om bara hälften av berättelserna om honom är halvsanna, råder det ingen tvekan om att han är en av de smartaste någonsin. Så fundera på vidden av intelligens. Här har vi John von Neumann. Så har vi dig och mig. Så har vi kycklingar. (Skratt) Ursäkta, en kyckling. (Skratt) Det finns inga skäl att göra föredraget mer deprimerande än det redan är. (Skratt) Det verkar dock mycket troligt, att spektrat av intelligens, sträcker sig mycket längre än vi kan föreställa oss idag, och om vi bygger maskiner som är intelligentare än vi, kommer de troligtvis utforska detta spektrum på sätt som vi inte kan föreställa oss, och överträffa oss på sätt som vi inte kan förstå. Det är viktigt att se att det här är sant genom hastigheten det sker med. Ok? Föreställ er att vi byggt en superintelligent AI som inte är smartare än din genomsnittliga forskargrupp på Stanford eller MIT. Elektroniska kretsar är ungefär en miljon gånger snabbare än biokemiska, så maskinen skulle tänka ungefär en miljon gånger snabbare än hjärnorna som byggt den. Ni låter den köra i en vecka, och den kommer att processa 20 000 år av mänskligt tänkande, vecka ut och vecka in. Hur kan vi ens förstå, än mindre begränsa en kraft som gör sådana framsteg? Det andra som är uppriktigt oroande, är, föreställ dig ett bästa scenario. Föreställ dig att vi designar en superintelligent AI utan säkerhetsproblem. Vi har den perfekta designen från början. Det är som att vi skulle få ett orakel som beter sig exakt som vi avsett. Den här maskinen skulle vara den perfekta "jobbspararen". Den kan designa maskinen som kan bygga maskinen som kan utföra allt fysiskt arbete, och drivs av solenergi, mer eller mindre till kostnaden för råmaterialet. Då pratar vi om slutet av mänsklighetens slit. Och även om slutet för mycket av intellektuellt arbete. Så vad ska apor som vi göra under sådana omständigheter? Ja, vi får tid över att kasta frisbee och ge varandra massage. Lägg till lite LSD och några underliga klädesplagg, och hela världen kan bli som Burning Man. (Skratt) Ok, det kan låta ganska trevligt, men ställ dig frågan vad som skulle ske under våra nuvarande ekonomiska och politiska system? Det verkar troligt att vi skulle bevittna enorma skillnader i välfärd och tillgång till arbete som vi aldrig tidigare upplevt. Saknas en vilja att låta detta nya välstånd tjäna hela mänskligheten, kommer några triljonärer att pryda omslagen på våra affärstidningar medan resten av världen kan få svälta. Vad skulle ryssarna eller kineserna göra om de hörde att ett företag i Silicon Valley höll på att sjösätta en superintelligent AI? Den maskinen skulle vara kapabel att föra krig, antingen på land eller i cyberrymden, med aldrig tidigare skådad kraft. Det är ett vinnaren-tar-allt scenario. Att ligga sex månader före i den tävlingen är att vara 500 000 år före, minst. Det ser ut som att blott rykten kring denna typ av genombrott kan leda till att vår art går bärsärk. En av de mest skrämmande sakerna, enligt min mening, i dag, är det som forskare inom AI säger när de vill lugna oss. Det vanligaste argumentet för att vi inte ska oroa oss handlar om tid. Det här ligger långt fram, vet du väl. Det här är säkert 50 eller 100 år bort. En forskare har sagt, "Att oroa sig för AI-säkerhet är som att oroa sig för ett överbefolkat Mars." Det är Silicon Valley-versionen av "oroa inte ditt söta lilla huvud." (Skratt) Ingen verkar uppmärksamma att, att referera till tidsaspekten är ett "Goddag yxskaft"-svar. Om intelligens bara handlar om att processa information, och vi fortsätter att utveckla våra maskiner, kommer vi till slut skapa någon form av superintelligens. Vi har ingen aning om hur lång tid det kommer att ta att skapa villkoren för att göra det riskfritt. Jag tar det en gång till. Vi vet inte hur lång tid det kommer att ta för att skapa de säkra villkoren. Du har kanske inte noterat det, men 50 år är inte vad det brukade vara. Det här är 50 år i månader. Så här länge har vi haft iPhone. Så här länge har "Simpsons" visats på TV. 50 år är inte så lång tid att möta den största utmaningen mänskligheten någonsin skådat. Än en gång, vi verkar inte kunna uppbåda ett passande emetionellt gensvar för den framtid vi har all anledning att tro kommer. Datorforskaren Stuart Russell drar en intressant parallell. Han sade, föreställ er att vi fick ett meddelande från en främmande civilisation, som sade: "Människor på Jorden, vi kommer att landa på er planet om 50 år. Gör er redo." Och nu räknar vi bara ner månaderna tills moderskeppet landar? Vi borde förstå att det brådskar mer än vad vi gör. Vi hör att vi inte behöver oroa oss för maskinerna kommer att dela våra värderingar eftersom de kommer att vara en förlängning av oss. De kommer att ympas in i våra hjärnor, och vi kommer att vara deras limbiska system. Reflektera nu över att den tryggaste och förståndigaste vägen framåt, som förespråkas, är att operera in tekniken direkt i våra hjärnor. Det kanske är den tryggaste och smartaste vägen att ta, men vanligtvis måste säkerhetsriskerna med en teknik vara ordentligt utredda innan man stoppar in den i hjärnan. (Skratt) Det djupare problemet är att utveckla en fristående superintelligent AI förmodligen är enklare än att utveckla superintelligent AI och ha koll på neurovetenskapen som låter oss sömlöst integrera våra sinnen med den. Givet att företag och stater som står för vetenskapen sannolikt kommer att uppfatta sig vara i kamp med alla andra, givet att genom att vinna kapplöpningen vinner man världen, förutsatt att de inte förstör den i nästa steg, då verkar det troligt att allt som är enklare att göra kommer att göras först. Tyvärr har jag ingen lösning på det här problemet, mer än att fler av oss måste fundera på det. Jag tror vi behöver ett Manhattan-projekt på temat artificiell intelligens. Inte för att bygga den, det tror jag oundvikligen vi gör, men för att förstå hur vi ska undvika en kapprustning och för att utveckla den i linje med våra egna intressen. När man pratar om superintelligent AI som kan förändra sig själv, verkar det som att vi bara har en chans att få det rätt från början, och även då måste vi sätta oss in i och lösa de ekonomiska och politiska konsekvenserna. Men i den stund vi tillstår att informationsbearbetning är källan till intelligens, att något datorstyrt beräkningsprogram är basen för intelligens, och att vi kommer att förbättra dessa system kontinuerligt, och vi erkänner att kognitionshorisonten vida överstiger vad vi vet idag, då måste vi också erkänna att vi är i färd med att skapa någon form av gud. Nu borde vara ett bra tillfälle att se till att det är en gud vi vill ha. Tack så mycket. (Applåder)