Ik kom praten over een gebrek aan intuïtie
waar velen van ons aan lijden.
Het is eigenlijk een gebrek om een bepaald soort gevaar aan te voelen.
Ik ga een scenario beschrijven
dat volgens mij zowel angstaanjagend
als waarschijnlijk is,
en dat is geen goede combinatie,
zoals zal blijken.
Toch, in plaats van bang te zijn,
vinden de meesten van jullie dat eerder cool.
Ik ga uitleggen waarom de vooruitgang die we boeken
in artificiële intelligentie, AI,
ons uiteindelijk zou kunnen vernietigen.
Ik vind het erg moeilijk om te zien hoe AI ons niet zal vernietigen
of ons inspireren om onszelf te vernietigen.
Als je een beetje als ik bent,
vind je het toch leuk om over deze dingen na te denken.
Dat antwoord is een deel van het probleem.
Dat antwoord zou je moeten verontrusten.
Als ik er jullie in deze talk van zou overtuigen
dat we wellicht op een wereldwijde hongersnood afstevenen,
door klimaatverandering of een andere ramp,
en dat jullie kleinkinderen of hun kleinkinderen,
zeer waarschijnlijk zo'n leven zouden leiden,
zou je niet denken,
"Interessant.
Leuke TED Talk."
Hongersnood is niet leuk.
Daarentegen is doodgaan door sciencefiction wel leuk.
Eén van de dingen die me het meest zorgen baren
over de huidige ontwikkeling van AI
is dat we niet in staat lijken om de juiste emotionele reactie op te wekken
op de gevaren die op ons afkomen.
Ik voel deze reactie ook niet, en ik geef nog wel deze talk.
Het is alsof we voor twee deuren staan.
Achter deur nummer één
houden we op met het maken van steeds intelligentere machines.
Onze computerhardware en -software
stopt gewoon met beter worden, om wat voor reden dan ook.
Denk er even over na waarom dit zou kunnen gebeuren.
Omdat intelligentie en automatisering zo waardevol zijn,
zullen we doorgaan met onze technologie te verbeteren als we enigszins kunnen.
Wat kan ons tegenhouden?
Een mondiale nucleaire oorlog?
Een wereldwijde pandemie?
Een asteroïde-inslag?
Justin Bieber president van de Verenigde Staten?
(Gelach)
Het gaat om iets dat onze huidige beschaving zou moeten vernietigen.
Je moet je voorstellen hoe erg het zou moeten zijn
om ons tegen te houden onze technologie te verbeteren,
blijvend,
generatie na generatie.
Bijna per definitie is dit het ergste
dat ooit gebeurd is in de menselijke geschiedenis.
Het enige alternatief
is wat er achter deur nummer twee ligt,
namelijk dat we doorgaan met onze intelligente machines
jaar na jaar na jaar te verbeteren.
Op een bepaald moment zullen we machines bouwen die slimmer zijn dan wij,
en zodra we machines hebben die slimmer zijn dan wij,
gaan ze zichzelf verder verbeteren.
Dan lopen we het risico op wat de wiskundige IJ Good
een 'intelligentie-explosie' noemde:
dat het proces niet meer te beheersen valt.
Daarvan werd vaak, zoals hier, een karikatuur gemaakt:
de angst dat legers van kwaadaardige robots
ons zouden aanvallen.
Maar dat is niet het meest waarschijnlijke scenario.
Het is niet zo dat onze machines spontaan boosaardig zullen worden.
Het probleem is eigenlijk dat we machines gaan bouwen
die zo veel competenter zijn dan wij
dat het geringste verschil tussen hun doelen en de onze
ons einde kan betekenen.
Denk maar aan hoe we ons verhouden tot mieren.
We haten ze niet.
We zijn er niet op uit om ze kwaad te doen.
We nemen soms zelfs de moeite om ze niet te schaden.
We stappen over hen op de stoep.
Maar wanneer hun aanwezigheid
serieus in strijd is met één van onze doeleinden,
laten we zeggen bij de bouw van een gebouw als dit,
vernietigen we ze zonder er bij stil te staan.
Het probleem is dat we op een dag machines gaan bouwen
die, bewust of niet,
ons met gelijkaardige onverschilligheid gaan behandelen.
Ik vermoed dat dit voor velen van jullie wat vergezocht lijkt.
Ik wed dat er zijn die er aan twijfelen
of superintelligente AI überhaupt mogelijk is,
laat staan onvermijdelijk.
Maar dan moet je de fout vinden in één van de volgende veronderstellingen.
Er zijn er slechts drie.
Intelligentie is een kwestie van informatieverwerking in fysische systemen.
Eigenlijk is dit iets meer dan een veronderstelling.
We hebben al beperkte intelligentie ingebouwd in onze machines
en veel van die machines werken al
op een bovenmenselijk niveau van intelligentie.
We weten dat loutere materie
aanleiding kan geven tot wat 'algemene intelligentie' wordt genoemd,
het vermogen om flexibel te denken op meerdere domeinen,
omdat onze hersenen dat kunnen.
Ik bedoel, er zijn hier alleen maar atomen
en zolang we systemen van atomen blijven bouwen
die steeds intelligenter gedrag gaan vertonen,
zullen we uiteindelijk, tenzij iets ons tegenhoudt,
algemene intelligentie creëren
in onze machines.
Het maakt niet uit hoe snel we vooruitgaan,
want elke vooruitgang brengt ons dichter bij het eindpunt.
Vergeet de wet van Moore, exponentiële vooruitgang is niet nodig.
We hoeven alleen maar door te gaan.
De tweede veronderstelling is dat we zullen blijven doorgaan.
We zullen onze intelligente machines blijven verbeteren.
En gezien de waarde van intelligentie --
ik bedoel, intelligentie is ofwel de bron van alles wat we waarderen
of ze moet alles beschermen wat we waarderen.
Het is ons waardevolste hulpmiddel.
Dus we willen dit doen.
We hebben problemen die we nodig moeten oplossen.
We willen ziektes als Alzheimer en kanker genezen.
We willen economische systemen begrijpen en onze klimaatwetenschap verbeteren.
Dus zullen we dit doen, als we kunnen.
De trein is al vertrokken en er is geen houden aan.
Tot slot staan we waarschijnlijk niet op een piek van intelligentie,
of ook maar ergens in de buurt ervan.
En dit is echt het cruciale inzicht.
Dit maakt onze situatie zo precair
en dit maakt onze intuïties over de risico's zo onbetrouwbaar.
Beschouw de slimste mens die ooit heeft geleefd.
Op bijna ieders lijstje staat hier John von Neumann.
Ik bedoel, de indruk die von Neumann maakte op de mensen om hem heen,
inclusief de grootste wiskundigen en fysici van zijn tijd,
is redelijk goed gedocumenteerd.
Als slechts de helft van de verhalen over hem half waar zijn,
dan kan het niet anders
dan dat hij één van de slimste mensen ooit was.
Bekijk dit spectrum van intelligentie eens.
Hier hebben we John von Neumann.
En dan hebben we jou en mij.
En dan hebben we een kip.
(Gelach)
Sorry, een kip.
(Gelach)
Ik moet dit gesprek niet deprimerender maken dan nodig.
(Gelach)
Het lijkt echter uiterst waarschijnlijk dat het spectrum van intelligentie
veel verder reikt dan we op dit moment beseffen.
Als we machines bouwen die intelligenter zijn dan wij,
gaan ze hoogstwaarschijnlijk dit spectrum verkennen
op een onvoorstelbare manier
en ons onvoorstelbaar overtreffen.
Het is belangrijk te beseffen dat dit al waar is voor de snelheid alleen.
Stel dat we zojuist een superintelligente AI hadden gemaakt
die niet slimmer was dan een gemiddeld team van onderzoekers
aan Stanford en MIT.
Elektronische schakelingen werken ongeveer een miljoen keer sneller
dan biochemische.
Dus zou deze machine ongeveer een miljoen keer sneller moeten denken
dan de geesten die ze ontwierpen.
Laat ze één week lopen
en ze zal voor 20 000 jaar intellectuele arbeid op menselijk niveau uitvoeren,
week na week na week.
Hoe kunnen we een verstand dat dit soort vooruitgang maakt
nog begrijpen, laat staan beheersen?
Wat, eerlijk gezegd, ook nog verontrustend is:
stel je even het beste scenario voor.
Veronderstel dat we een superintelligente AI ontwerpen
die absoluut veilig is.
We vinden gelijk het perfecte ontwerp.
Het is alsof we een orakel hebben gekregen
dat zich precies zoals bedoeld gedraagt.
Deze machine zou het perfecte arbeidsbesparende apparaat zijn.
Het kan de machine ontwerpen die de machine kan bouwen
die elk fysiek werk aankan,
aangedreven door zonlicht,
min of meer voor de kosten van de grondstoffen.
Gedaan met alle menselijk geploeter!
Maar ook het einde van de meeste intellectuele arbeid.
Wat gaan apen zoals wij in deze omstandigheden doen?
Nou ja, we zouden vrij zijn om frisbee te spelen en elkaar massages te geven.
Gooi er nog wat LSD en rare kleren tegenaan
en de hele wereld wordt één groot Burning Man-festival.
(Gelach)
Nu klinkt dat misschien best goed,
maar vraag jezelf eens af wat er zou gebeuren
onder onze huidige economische en politieke orde.
Het lijkt waarschijnlijk dat we getuige zouden zijn
van een niveau van ongelijke verdeling van rijkdom en werkloosheid
die we nooit eerder hebben gezien.
Zonder bereidheid om deze nieuwe rijkdom
onmiddellijk met iedereen te delen,
zullen enkele biljonairs de covers van onze zakenmagazines sieren
terwijl de rest van de wereld vrij zou zijn om te verhongeren.
Wat zouden de Russen of de Chinezen doen
als ze hoorden dat een bedrijf in Silicon Valley
op het punt stond een superintelligente AI te maken?
Deze machine zou in staat zijn tot het voeren van oorlog,
hetzij op aarde of in cyberspace,
met ongekende kracht.
Dit is een winnaar-pakt-alles-scenario.
Zes maanden voorsprong op de concurrentie
komt overeen met 500 000 jaar voorsprong,
op z'n minst.
Dus het lijkt erop dat zelfs louter geruchten van dit soort doorbraak
ertoe kunnen leiden dat het mensdom wild zal worden.
Eén van de meest angstaanjagende dingen,
naar mijn mening,
zijn het soort dingen die AI-onderzoekers zeggen
wanneer ze ons gerust willen stellen.
Waar we ons vooral geen zorgen over moeten maken, is tijd.
Dit is nog allemaal ver weg, weet je.
Waarschijnlijk nog 50 of 100 jaar weg.
Eén onderzoeker heeft gezegd:
"Piekeren over AI-veiligheid
is net als je zorgen maken over overbevolking op Mars."
Dit is de Silicon Valley-versie
van 'breek er je mooie hoofdje niet over'.
(Gelach)
Niemand lijkt te merken
dat verwijzen naar de tijdshorizon
een totale 'non sequitur' is, een onjuist gevolg.
Als intelligentie alleen maar een kwestie van informatieverwerking is,
en we onze machines maar blijven verbeteren,
zullen we een bepaalde vorm van superintelligentie produceren.
We hebben geen idee hoe lang het zal duren
om de voorwaarden te creëren om dat veilig te doen.
Ik zeg het nog eens.
We hebben geen idee hoe lang het zal duren
om de voorwaarden te creëren om dat veilig te doen.
Mocht het je nog niet zijn opgevallen: 50 jaar is niet meer wat ooit was.
Dit is 50 jaar in maanden.
Zo lang hebben we de iPhone al.
Dit is hoe lang 'The Simpsons' al op televisie zijn.
Vijftig jaar is niet zo heel veel tijd
om één van de grootste uitdagingen aan te pakken
waarmee het mensdom ooit zal worden geconfronteerd.
We lijken er niet in te slagen om de juiste emotionele reactie te hebben
op iets waarvan we alle reden hebben te geloven dat het komt.
De computerwetenschapper Stuart Russell heeft hier een mooie analogie.
Hij zei, stel je voor dat we een bericht van een buitenaardse beschaving ontvangen,
dat luidt:
"Mensen van de Aarde,
binnen 50 jaar komen we naar jullie planeet.
Hou je gereed."
En dan gewoon de maanden aftellen tot aan de landing van het moederschip?
We zouden een beetje meer urgentie voelen dan we nu doen.
Waarom we ons ook geen zorgen zouden hoeven maken,
is dat deze machines sowieso onze waarden delen,
omdat ze letterlijk uitbreidingen van onszelf zullen zijn.
Ze zullen worden geënt op onze hersenen,
en wij zullen in wezen hun limbisch systeem worden.
Overweeg even
dat de veiligste en enige verstandige weg vooruit,
de aanbevolen weg,
is om deze technologie direct in onze hersenen te implanteren.
Dit kan in feite de veiligste en enige voorzichtige weg vooruit zijn,
maar meestal moet iemand zich toch volkomen veilig voelen bij een technologie
voordat hij ze in zijn hoofd steekt.
(Gelach)
Het dieperliggende probleem is dat superintelligente AI op zich bouwen
waarschijnlijk gemakkelijker lijkt
dan superintelligente AI bouwen
én de neurowetenschappen voltooien
die ons toelaten onze geest er naadloos mee te integreren.
Gezien het feit dat de bedrijven en overheden die dit werk doen
waarschijnlijk denken met een race bezig te zijn,
en omdat deze race winnen neerkomt op de wereld winnen,
gesteld dat je hem niet direct vernietigt,
dan lijkt het waarschijnlijk dat alles wat gemakkelijker is,
voorrang zal krijgen.
Ik heb helaas geen andere oplossing voor dit probleem
dan de aanbeveling dat we er over moeten gaan nadenken.
Ik denk aan iets als een Manhattan Project
over kunstmatige intelligentie.
Niet om het te bouwen, want dat gaan we sowieso doen,
maar om te begrijpen hoe een wapenwedloop te voorkomen
en het zo te bouwen dat het onze belangen dient.
Als je over superintelligente AI praat
die zichzelf kan aanpassen,
lijkt het erop dat we maar één kans hebben
om de beginvoorwaarden goed te krijgen
en zelfs dan zullen we moeten leren omgaan
met de economische en politieke gevolgen van die goede beginvoorwaarden.
Maar zodra we toegeven
dat informatieverwerking de bron van intelligentie is,
dat een geschikt computersysteem aan de basis van intelligentie ligt,
en we toegeven dat we deze systemen onafgebroken zullen blijven verbeteren,
en dat de kennishorizon waarschijnlijk veel verder reikt
dan we nu weten,
dan moeten we toegeven
dat we bezig zijn een soort god te maken.
Daarom moeten we er nu voor zorgen
dat het een god is waarmee we kunnen leven.
Dankjewel.
(Applaus)