Kan vi utveckla artificiell intelligens utan att tappa kontrollen över den?

Rädd för superintelligent AI? Det borde du vara, säger neuroforskaren och filosofen Sam Harris, och inte bara på ett teoretiskt plan. Vi kommer att bygga supermänskliga maskiner, säger Harris, men vi har ännu inte börjat brottas med de problem som följer med skapandet av någonting som kan komma att behandla oss på samma sätt som vi behandlar myror.

Jag ska prata om en intuitionsbrist

som många av oss lider av.

Det är ett misslyckande att
upptäcka en viss typ av fara.

Jag ska beskriva ett scenario

som jag tycker är både skrämmande

och förmodligen kommer att ske,

och det är en dålig kombination,

som det visar sig.

Istället för att bli rädda,
kommer många tycka

att det jag pratar om är ganska häftigt.

Jag ska beskriva hur de framsteg vi gör

inom artificiell intelligens

till slut kan förgöra oss.

Faktum är, jag tror det är svårt
att se att de inte gör det

eller får oss att förgöra oss själva.

Och om du tänker det minsta likt mig,

tycker du att det här är
spännande att tänka på.

Den inställningen är en del av problemet.

OK? Den inställningen borde oroa dig.

Om jag i det här föredraget
skulle övertyga dig om

att vi kan drabbas av en
global svältkatastrof,

på grund av klimatförändringar
eller någon annan katastrof,

och att dina barnbarn,
eller deras barnbarn,

sannolikt skulle leva så här,

då skulle du inte tänka,

"Intressant.

Jag gillar föredraget."

Svält är inte roligt.

Död i science fiction,
å andra sidan, är roligt,

och en av de saker som för närvarande
oroar mig mest i utvecklingen av AI

är att vi tycks oförmögna att förespråka
ett passande emotionellt gensvar

inför de risker som ligger framför oss.

Jag kan inte förespråka ett gensvar,
och jag håller det här talet.

Det är som att vi står framför två dörrar.

Väljer vi dörr ett,

slutar vi göra framsteg i utvecklandet
av intelligenta maskiner.

Av någon anledning blir vår
hård- och mjukvara inte bättre.

Fundera lite på varför
det skulle kunna hända.

Jag menar, givet värdet av
intelligens och automation,

kommer vi fortsätta utveckla
tekniken, om vi kan.

Vad skulle kunna stoppa oss?

Ett fullskaligt kärnvapenkrig?

En global pandemi?

Ett asteroidnedslag?

Justin Bieber blir USAs president?

(Skratt)

Poängen är att, något måste förgöra
civilisationen så som vi känner den.

Ni måste föreställa er
hur illa det måste vara

för att hindra oss att göra
framsteg inom tekniken

permanent,

generation efter generation.

Nästan per definition, är detta det värsta

som någonsin inträffat genom historien.

Så det enda alternativet,

är det som finns bakom den andra dörren,

att vi fortsätter att utveckla
våra intelligenta maskiner

år efter år efter år.

Vid en viss punkt, kommer vi att bygga
maskiner som är smartare än vi,

och när vi väl har dessa smarta maskiner,

kommer de att förbättra sig själva.

Då riskerar vi
det matematikern IJ Good kallade,

en "intelligensexplosion",

dvs att processen går oss ur händerna.

Detta skojas ofta bort, som här,

som en rädsla för att en
armé av ondsinta robotar

kommer att attackera oss.

Men det är inte det troligaste scenariot.

Våra maskiner kommer inte
att bli spontant illvilliga.

Bekymret är att vi kommer
att bygga maskiner

som är så mycket mer kompetenta än vi

att den minsta lilla skillnad
mellan deras mål och våra

skulle kunna förgöra oss.

Tänk bara på vår inställning till myror.

Vi hatar inte dem.

Vi skadar inte dem medvetet.

Ibland anstränger vi oss
för att inte skada dem.

Vi kliver över dem på trottoaren.

Men så fort deras närvaro

kommer i allvarlig konflikt med våra mål,

som till exempel vid husbyggnationer,

förintar vi dem utan pardon.

Bekymret är att vi en dag
kommer att bygga maskiner

som, oavsett om de är medvetna eller ej,

skulle kunna behandla oss
med samma förakt.

Jag misstänker att det verkar
långsökt för många av er.

Jag slår vad om att en del av er tvivlar
på att superintelligent AI är möjlig,

än mindre nödvändig.

Men då måste ni finna felen med
några av följande antaganden.

Det finns bara tre.

Intelligens handlar om processandet
av information i fysiska system.

Det är egentligen mer
än bara ett antagande.

Vi använder redan maskininlärning
i många maskiner,

och många av dessa maskiner presterar

redan på nivåer långt över
mänsklig intelligens.

Och vi vet att materia

kan skapa det som
kallas "generell intelligens"

en förmåga att tänka flexibelt
över flera dimensioner,

eftersom våra hjärnor
har klarat det. Eller hur?

Jag menar, det är ju bara atomer här inne,

och så länge vi fortsätter att
bygga system av atomer

som uppvisar mer och mer intelligens,

kommer vi till slut,
om vi inte blir avbrutna,

ha byggt in generell intelligens

i våra maskiner.

Det är viktigt att inse att
utvecklingstakten inte spelar någon roll,

eftersom minsta framsteg
räcker för att nå slutstationen.

Vi behöver inte Moores lag. Utvecklingen
behöver inte vara exponentiell.

Vi behöver bara fortsätta framåt.

Det andra antagandet är
att vi kommer fortsätta.

Vi fortsätter utvecklingen
av de intelligenta maskinerna.

Och givet värdet på intelligens -

jag menar, intelligens är antingen
summan av allt vi sätter värde på

eller som vi behöver för att
skydda det vi värdesätter.

Det är vår värdefullaste resurs.

Så vi vill göra det här.

Vi har problem som vi desperat måste lösa.

Vi vill bota sjukdomar som
Alzheimers och cancer.

Vi vill förstå de ekonomiska systemen.
Vi vill utveckla klimatforskningen.

Så vi kommer att göra det, om vi kan.

Tåget har redan lämnat stationen,
och det finns ingen broms.

Slutligen, vi har inte
nått intelligensens topp,

vi är troligen inte ens i närheten.

Det är den riktigt kritiska insikten.

Det är det här som gör
vår situation så vansklig,

och det gör också våra
riskantaganden så opålitliga.

Fundera på den smartaste person
som någonsin levt.

En som finns på nästan allas lista
är John von Neumann.

Jag menar, de intryck som Neumann
gjorde på folk runt honom,

inkluderat de främsta matematikerna
och fysikerna under hans levnad,

är ganska väldokumenterade.

Om bara hälften av berättelserna
om honom är halvsanna,

råder det ingen tvekan om

att han är en av de smartaste någonsin.

Så fundera på vidden av intelligens.

Här har vi John von Neumann.

Så har vi dig och mig.

Så har vi kycklingar.

(Skratt)

Ursäkta, en kyckling.

(Skratt)

Det finns inga skäl att göra föredraget
mer deprimerande än det redan är.

(Skratt)

Det verkar dock mycket troligt,
att spektrat av intelligens,

sträcker sig mycket längre
än vi kan föreställa oss idag,

och om vi bygger maskiner
som är intelligentare än vi,

kommer de troligtvis
utforska detta spektrum

på sätt som vi inte kan föreställa oss,

och överträffa oss på
sätt som vi inte kan förstå.

Det är viktigt att se att det här är sant
genom hastigheten det sker med.

Ok? Föreställ er att vi
byggt en superintelligent AI

som inte är smartare än din
genomsnittliga forskargrupp

på Stanford eller MIT.

Elektroniska kretsar är ungefär
en miljon gånger snabbare

än biokemiska,

så maskinen skulle tänka ungefär
en miljon gånger snabbare

än hjärnorna som byggt den.

Ni låter den köra i en vecka,

och den kommer att processa
20 000 år av mänskligt tänkande,

vecka ut och vecka in.

Hur kan vi ens förstå, än mindre begränsa

en kraft som gör sådana framsteg?

Det andra som är uppriktigt oroande,

är, föreställ dig ett bästa scenario.

Föreställ dig att vi designar
en superintelligent AI

utan säkerhetsproblem.

Vi har den perfekta designen från början.

Det är som att vi skulle få ett orakel

som beter sig exakt som vi avsett.

Den här maskinen skulle vara
den perfekta "jobbspararen".

Den kan designa maskinen
som kan bygga maskinen

som kan utföra allt fysiskt arbete,

och drivs av solenergi,

mer eller mindre till
kostnaden för råmaterialet.

Då pratar vi om slutet
av mänsklighetens slit.

Och även om slutet för mycket
av intellektuellt arbete.

Så vad ska apor som vi göra
under sådana omständigheter?

Ja, vi får tid över att kasta frisbee
och ge varandra massage.

Lägg till lite LSD och några
underliga klädesplagg,

och hela världen kan bli som Burning Man.

(Skratt)

Ok, det kan låta ganska trevligt,

men ställ dig frågan vad som skulle ske

under våra nuvarande
ekonomiska och politiska system?

Det verkar troligt att vi skulle bevittna

enorma skillnader i välfärd
och tillgång till arbete

som vi aldrig tidigare upplevt.

Saknas en vilja att
låta detta nya välstånd

tjäna hela mänskligheten,

kommer några triljonärer att pryda
omslagen på våra affärstidningar

medan resten av världen kan få svälta.

Vad skulle ryssarna eller kineserna göra

om de hörde att ett
företag i Silicon Valley

höll på att sjösätta en
superintelligent AI?

Den maskinen skulle vara
kapabel att föra krig,

antingen på land eller i cyberrymden,

med aldrig tidigare skådad kraft.

Det är ett vinnaren-tar-allt scenario.

Att ligga sex månader före i den tävlingen

är att vara 500 000 år före,

minst.

Det ser ut som att blott rykten
kring denna typ av genombrott

kan leda till att vår art går bärsärk.

En av de mest skrämmande sakerna,

enligt min mening, i dag,

är det som forskare inom AI säger

när de vill lugna oss.

Det vanligaste argumentet för att
vi inte ska oroa oss handlar om tid.

Det här ligger långt fram, vet du väl.

Det här är säkert 50 eller 100 år bort.

En forskare har sagt,

"Att oroa sig för AI-säkerhet är

som att oroa sig för
ett överbefolkat Mars."

Det är Silicon Valley-versionen av

"oroa inte ditt söta lilla huvud."

(Skratt)

Ingen verkar uppmärksamma att,

att referera till tidsaspekten

är ett "Goddag yxskaft"-svar.

Om intelligens bara handlar
om att processa information,

och vi fortsätter att
utveckla våra maskiner,

kommer vi till slut skapa
någon form av superintelligens.

Vi har ingen aning om
hur lång tid det kommer att ta

att skapa villkoren för
att göra det riskfritt.

Jag tar det en gång till.

Vi vet inte hur lång tid det kommer att ta

för att skapa de säkra villkoren.

Du har kanske inte noterat det,
men 50 år är inte vad det brukade vara.

Det här är 50 år i månader.

Så här länge har vi haft iPhone.

Så här länge har "Simpsons" visats på TV.

50 år är inte så lång tid

att möta den största utmaningen
mänskligheten någonsin skådat.

Än en gång, vi verkar inte kunna uppbåda
ett passande emetionellt gensvar

för den framtid vi har all
anledning att tro kommer.

Datorforskaren Stuart Russell
drar en intressant parallell.

Han sade, föreställ er att vi fick ett
meddelande från en främmande civilisation,

som sade:

"Människor på Jorden,

vi kommer att landa
på er planet om 50 år.

Gör er redo."

Och nu räknar vi bara ner månaderna
tills moderskeppet landar?

Vi borde förstå att det
brådskar mer än vad vi gör.

Vi hör att vi inte behöver oroa oss

för maskinerna kommer
att dela våra värderingar

eftersom de kommer att
vara en förlängning av oss.

De kommer att ympas in i våra hjärnor,

och vi kommer att vara
deras limbiska system.

Reflektera nu över

att den tryggaste och
förståndigaste vägen framåt,

som förespråkas,

är att operera in tekniken
direkt i våra hjärnor.

Det kanske är den tryggaste
och smartaste vägen att ta,

men vanligtvis måste
säkerhetsriskerna med en teknik

vara ordentligt utredda innan
man stoppar in den i hjärnan.

(Skratt)

Det djupare problemet är att
utveckla en fristående superintelligent AI

förmodligen är enklare

än att utveckla superintelligent AI

och ha koll på neurovetenskapen

som låter oss sömlöst
integrera våra sinnen med den.

Givet att företag och
stater som står för vetenskapen

sannolikt kommer att uppfatta sig
vara i kamp med alla andra,

givet att genom att vinna kapplöpningen
vinner man världen,

förutsatt att de inte
förstör den i nästa steg,

då verkar det troligt att
allt som är enklare att göra

kommer att göras först.

Tyvärr har jag ingen lösning
på det här problemet,

mer än att fler av oss
måste fundera på det.

Jag tror vi behöver ett Manhattan-projekt

på temat artificiell intelligens.

Inte för att bygga den,
det tror jag oundvikligen vi gör,

men för att förstå hur vi ska
undvika en kapprustning

och för att utveckla den i linje
med våra egna intressen.

När man pratar om superintelligent AI

som kan förändra sig själv,

verkar det som att vi bara har
en chans att få det rätt från början,

och även då måste vi sätta oss in i

och lösa de ekonomiska och
politiska konsekvenserna.

Men i den stund vi tillstår

att informationsbearbetning
är källan till intelligens,

att något datorstyrt beräkningsprogram
är basen för intelligens,

och att vi kommer att förbättra
dessa system kontinuerligt,

och vi erkänner att
kognitionshorisonten vida överstiger

vad vi vet idag,

då måste vi också erkänna

att vi är i färd med att
skapa någon form av gud.

Nu borde vara ett bra tillfälle att

se till att det är en gud vi vill ha.

Tack så mycket.

(Applåder)