Jag ska prata om en intuitionsbrist
som många av oss lider av.
Det är ett misslyckande att
upptäcka en viss typ av fara.
Jag ska beskriva ett scenario
som jag tycker är både skrämmande
och förmodligen kommer att ske,
och det är en dålig kombination,
som det visar sig.
Istället för att bli rädda,
kommer många tycka
att det jag pratar om är ganska häftigt.
Jag ska beskriva hur de framsteg vi gör
inom artificiell intelligens
till slut kan förgöra oss.
Faktum är, jag tror det är svårt
att se att de inte gör det
eller får oss att förgöra oss själva.
Och om du tänker det minsta likt mig,
tycker du att det här är
spännande att tänka på.
Den inställningen är en del av problemet.
OK? Den inställningen borde oroa dig.
Om jag i det här föredraget
skulle övertyga dig om
att vi kan drabbas av en
global svältkatastrof,
på grund av klimatförändringar
eller någon annan katastrof,
och att dina barnbarn,
eller deras barnbarn,
sannolikt skulle leva så här,
då skulle du inte tänka,
"Intressant.
Jag gillar föredraget."
Svält är inte roligt.
Död i science fiction,
å andra sidan, är roligt,
och en av de saker som för närvarande
oroar mig mest i utvecklingen av AI
är att vi tycks oförmögna att förespråka
ett passande emotionellt gensvar
inför de risker som ligger framför oss.
Jag kan inte förespråka ett gensvar,
och jag håller det här talet.
Det är som att vi står framför två dörrar.
Väljer vi dörr ett,
slutar vi göra framsteg i utvecklandet
av intelligenta maskiner.
Av någon anledning blir vår
hård- och mjukvara inte bättre.
Fundera lite på varför
det skulle kunna hända.
Jag menar, givet värdet av
intelligens och automation,
kommer vi fortsätta utveckla
tekniken, om vi kan.
Vad skulle kunna stoppa oss?
Ett fullskaligt kärnvapenkrig?
En global pandemi?
Ett asteroidnedslag?
Justin Bieber blir USAs president?
(Skratt)
Poängen är att, något måste förgöra
civilisationen så som vi känner den.
Ni måste föreställa er
hur illa det måste vara
för att hindra oss att göra
framsteg inom tekniken
permanent,
generation efter generation.
Nästan per definition, är detta det värsta
som någonsin inträffat genom historien.
Så det enda alternativet,
är det som finns bakom den andra dörren,
att vi fortsätter att utveckla
våra intelligenta maskiner
år efter år efter år.
Vid en viss punkt, kommer vi att bygga
maskiner som är smartare än vi,
och när vi väl har dessa smarta maskiner,
kommer de att förbättra sig själva.
Då riskerar vi
det matematikern IJ Good kallade,
en "intelligensexplosion",
dvs att processen går oss ur händerna.
Detta skojas ofta bort, som här,
som en rädsla för att en
armé av ondsinta robotar
kommer att attackera oss.
Men det är inte det troligaste scenariot.
Våra maskiner kommer inte
att bli spontant illvilliga.
Bekymret är att vi kommer
att bygga maskiner
som är så mycket mer kompetenta än vi
att den minsta lilla skillnad
mellan deras mål och våra
skulle kunna förgöra oss.
Tänk bara på vår inställning till myror.
Vi hatar inte dem.
Vi skadar inte dem medvetet.
Ibland anstränger vi oss
för att inte skada dem.
Vi kliver över dem på trottoaren.
Men så fort deras närvaro
kommer i allvarlig konflikt med våra mål,
som till exempel vid husbyggnationer,
förintar vi dem utan pardon.
Bekymret är att vi en dag
kommer att bygga maskiner
som, oavsett om de är medvetna eller ej,
skulle kunna behandla oss
med samma förakt.
Jag misstänker att det verkar
långsökt för många av er.
Jag slår vad om att en del av er tvivlar
på att superintelligent AI är möjlig,
än mindre nödvändig.
Men då måste ni finna felen med
några av följande antaganden.
Det finns bara tre.
Intelligens handlar om processandet
av information i fysiska system.
Det är egentligen mer
än bara ett antagande.
Vi använder redan maskininlärning
i många maskiner,
och många av dessa maskiner presterar
redan på nivåer långt över
mänsklig intelligens.
Och vi vet att materia
kan skapa det som
kallas "generell intelligens"
en förmåga att tänka flexibelt
över flera dimensioner,
eftersom våra hjärnor
har klarat det. Eller hur?
Jag menar, det är ju bara atomer här inne,
och så länge vi fortsätter att
bygga system av atomer
som uppvisar mer och mer intelligens,
kommer vi till slut,
om vi inte blir avbrutna,
ha byggt in generell intelligens
i våra maskiner.
Det är viktigt att inse att
utvecklingstakten inte spelar någon roll,
eftersom minsta framsteg
räcker för att nå slutstationen.
Vi behöver inte Moores lag. Utvecklingen
behöver inte vara exponentiell.
Vi behöver bara fortsätta framåt.
Det andra antagandet är
att vi kommer fortsätta.
Vi fortsätter utvecklingen
av de intelligenta maskinerna.
Och givet värdet på intelligens -
jag menar, intelligens är antingen
summan av allt vi sätter värde på
eller som vi behöver för att
skydda det vi värdesätter.
Det är vår värdefullaste resurs.
Så vi vill göra det här.
Vi har problem som vi desperat måste lösa.
Vi vill bota sjukdomar som
Alzheimers och cancer.
Vi vill förstå de ekonomiska systemen.
Vi vill utveckla klimatforskningen.
Så vi kommer att göra det, om vi kan.
Tåget har redan lämnat stationen,
och det finns ingen broms.
Slutligen, vi har inte
nått intelligensens topp,
vi är troligen inte ens i närheten.
Det är den riktigt kritiska insikten.
Det är det här som gör
vår situation så vansklig,
och det gör också våra
riskantaganden så opålitliga.
Fundera på den smartaste person
som någonsin levt.
En som finns på nästan allas lista
är John von Neumann.
Jag menar, de intryck som Neumann
gjorde på folk runt honom,
inkluderat de främsta matematikerna
och fysikerna under hans levnad,
är ganska väldokumenterade.
Om bara hälften av berättelserna
om honom är halvsanna,
råder det ingen tvekan om
att han är en av de smartaste någonsin.
Så fundera på vidden av intelligens.
Här har vi John von Neumann.
Så har vi dig och mig.
Så har vi kycklingar.
(Skratt)
Ursäkta, en kyckling.
(Skratt)
Det finns inga skäl att göra föredraget
mer deprimerande än det redan är.
(Skratt)
Det verkar dock mycket troligt,
att spektrat av intelligens,
sträcker sig mycket längre
än vi kan föreställa oss idag,
och om vi bygger maskiner
som är intelligentare än vi,
kommer de troligtvis
utforska detta spektrum
på sätt som vi inte kan föreställa oss,
och överträffa oss på
sätt som vi inte kan förstå.
Det är viktigt att se att det här är sant
genom hastigheten det sker med.
Ok? Föreställ er att vi
byggt en superintelligent AI
som inte är smartare än din
genomsnittliga forskargrupp
på Stanford eller MIT.
Elektroniska kretsar är ungefär
en miljon gånger snabbare
än biokemiska,
så maskinen skulle tänka ungefär
en miljon gånger snabbare
än hjärnorna som byggt den.
Ni låter den köra i en vecka,
och den kommer att processa
20 000 år av mänskligt tänkande,
vecka ut och vecka in.
Hur kan vi ens förstå, än mindre begränsa
en kraft som gör sådana framsteg?
Det andra som är uppriktigt oroande,
är, föreställ dig ett bästa scenario.
Föreställ dig att vi designar
en superintelligent AI
utan säkerhetsproblem.
Vi har den perfekta designen från början.
Det är som att vi skulle få ett orakel
som beter sig exakt som vi avsett.
Den här maskinen skulle vara
den perfekta "jobbspararen".
Den kan designa maskinen
som kan bygga maskinen
som kan utföra allt fysiskt arbete,
och drivs av solenergi,
mer eller mindre till
kostnaden för råmaterialet.
Då pratar vi om slutet
av mänsklighetens slit.
Och även om slutet för mycket
av intellektuellt arbete.
Så vad ska apor som vi göra
under sådana omständigheter?
Ja, vi får tid över att kasta frisbee
och ge varandra massage.
Lägg till lite LSD och några
underliga klädesplagg,
och hela världen kan bli som Burning Man.
(Skratt)
Ok, det kan låta ganska trevligt,
men ställ dig frågan vad som skulle ske
under våra nuvarande
ekonomiska och politiska system?
Det verkar troligt att vi skulle bevittna
enorma skillnader i välfärd
och tillgång till arbete
som vi aldrig tidigare upplevt.
Saknas en vilja att
låta detta nya välstånd
tjäna hela mänskligheten,
kommer några triljonärer att pryda
omslagen på våra affärstidningar
medan resten av världen kan få svälta.
Vad skulle ryssarna eller kineserna göra
om de hörde att ett
företag i Silicon Valley
höll på att sjösätta en
superintelligent AI?
Den maskinen skulle vara
kapabel att föra krig,
antingen på land eller i cyberrymden,
med aldrig tidigare skådad kraft.
Det är ett vinnaren-tar-allt scenario.
Att ligga sex månader före i den tävlingen
är att vara 500 000 år före,
minst.
Det ser ut som att blott rykten
kring denna typ av genombrott
kan leda till att vår art går bärsärk.
En av de mest skrämmande sakerna,
enligt min mening, i dag,
är det som forskare inom AI säger
när de vill lugna oss.
Det vanligaste argumentet för att
vi inte ska oroa oss handlar om tid.
Det här ligger långt fram, vet du väl.
Det här är säkert 50 eller 100 år bort.
En forskare har sagt,
"Att oroa sig för AI-säkerhet är
som att oroa sig för
ett överbefolkat Mars."
Det är Silicon Valley-versionen av
"oroa inte ditt söta lilla huvud."
(Skratt)
Ingen verkar uppmärksamma att,
att referera till tidsaspekten
är ett "Goddag yxskaft"-svar.
Om intelligens bara handlar
om att processa information,
och vi fortsätter att
utveckla våra maskiner,
kommer vi till slut skapa
någon form av superintelligens.
Vi har ingen aning om
hur lång tid det kommer att ta
att skapa villkoren för
att göra det riskfritt.
Jag tar det en gång till.
Vi vet inte hur lång tid det kommer att ta
för att skapa de säkra villkoren.
Du har kanske inte noterat det,
men 50 år är inte vad det brukade vara.
Det här är 50 år i månader.
Så här länge har vi haft iPhone.
Så här länge har "Simpsons" visats på TV.
50 år är inte så lång tid
att möta den största utmaningen
mänskligheten någonsin skådat.
Än en gång, vi verkar inte kunna uppbåda
ett passande emetionellt gensvar
för den framtid vi har all
anledning att tro kommer.
Datorforskaren Stuart Russell
drar en intressant parallell.
Han sade, föreställ er att vi fick ett
meddelande från en främmande civilisation,
som sade:
"Människor på Jorden,
vi kommer att landa
på er planet om 50 år.
Gör er redo."
Och nu räknar vi bara ner månaderna
tills moderskeppet landar?
Vi borde förstå att det
brådskar mer än vad vi gör.
Vi hör att vi inte behöver oroa oss
för maskinerna kommer
att dela våra värderingar
eftersom de kommer att
vara en förlängning av oss.
De kommer att ympas in i våra hjärnor,
och vi kommer att vara
deras limbiska system.
Reflektera nu över
att den tryggaste och
förståndigaste vägen framåt,
som förespråkas,
är att operera in tekniken
direkt i våra hjärnor.
Det kanske är den tryggaste
och smartaste vägen att ta,
men vanligtvis måste
säkerhetsriskerna med en teknik
vara ordentligt utredda innan
man stoppar in den i hjärnan.
(Skratt)
Det djupare problemet är att
utveckla en fristående superintelligent AI
förmodligen är enklare
än att utveckla superintelligent AI
och ha koll på neurovetenskapen
som låter oss sömlöst
integrera våra sinnen med den.
Givet att företag och
stater som står för vetenskapen
sannolikt kommer att uppfatta sig
vara i kamp med alla andra,
givet att genom att vinna kapplöpningen
vinner man världen,
förutsatt att de inte
förstör den i nästa steg,
då verkar det troligt att
allt som är enklare att göra
kommer att göras först.
Tyvärr har jag ingen lösning
på det här problemet,
mer än att fler av oss
måste fundera på det.
Jag tror vi behöver ett Manhattan-projekt
på temat artificiell intelligens.
Inte för att bygga den,
det tror jag oundvikligen vi gör,
men för att förstå hur vi ska
undvika en kapprustning
och för att utveckla den i linje
med våra egna intressen.
När man pratar om superintelligent AI
som kan förändra sig själv,
verkar det som att vi bara har
en chans att få det rätt från början,
och även då måste vi sätta oss in i
och lösa de ekonomiska och
politiska konsekvenserna.
Men i den stund vi tillstår
att informationsbearbetning
är källan till intelligens,
att något datorstyrt beräkningsprogram
är basen för intelligens,
och att vi kommer att förbättra
dessa system kontinuerligt,
och vi erkänner att
kognitionshorisonten vida överstiger
vad vi vet idag,
då måste vi också erkänna
att vi är i färd med att
skapa någon form av gud.
Nu borde vara ett bra tillfälle att
se till att det är en gud vi vill ha.
Tack så mycket.
(Applåder)