Was passiert, wenn unsere Computer intelligenter werden als wir?

Künstliche Intelligenz verbessert sich sprunghaft – noch in diesem Jahrhundert, so glauben Forscher, könnte eine KI "schlauer" als ein Mensch werden. Und dann, sagt Nick Bostrom, werde sie uns überholen: "Maschinenintelligenz wird die letzte Erfindung sein, die die Menschheit noch machen muss". Als Philosoph und Technologe bittet Bostrom uns, intensiv über die Welt nachzudenken, die wir jetzt konstruieren und die von denkenden Maschinen getrieben wird. Werden unsere klugen Maschinen die Menschheit und unsere Werte erhalten – oder werden sie eigene Werte haben?

Ich arbeite mit einigen Mathematikern,
Philosophen und Informatikern zusammen.

Wir sitzen herum

und denken z. B. über die Zukunft
der maschinellen Intelligenz nach.

Manche Leute denken,
einiges davon sei sehr futuristisch,

ausgefallen, einfach verrückt.

Aber ich sage gern:

Betrachten wir den Zustand
des modernen Menschen.

(Gelächter)

Das ist der normale Gang der Dinge.

Aber wenn wir darüber nachdenken,

ist die menschliche Spezies erst
seit Kurzem Gast auf diesem Planeten.

Denken Sie darüber nach:

Wäre die Erde erst
vor einem Jahr erschaffen worden,

dann wäre der Mensch erst 10 Minuten alt.

Die industrielle Ära hätte
vor zwei Sekunden begonnen.

Man könnte auch das Welt-BIP
der letzten 10.000 Jahre betrachten.

Ich habe mir die Mühe gemacht,
dies für Sie grafisch darzustellen.

Es sieht so aus.

(Gelächter)

Es ist eine seltsame Form
für einen Normalzustand.

Ich würde nicht darauf sitzen wollen.

(Gelächter)

Fragen wir uns:

Was ist die Ursache
dieser aktuellen Anomalie?

Manche Leute würden sagen,
dass es Technologie ist.

Das ist richtig,

Technologie hat sich
im Laufe der Zeit angesammelt,

und im Moment entwickelt sich
die Technologie extrem schnell --

das ist die unmittelbare Ursache,
deshalb sind wir derzeit so produktiv.

Aber ich denke gerne weiter
an die ultimative Ursache.

Schauen Sie sich diese zwei
hoch angesehenen Herren an:

Wir haben Kanzi --

er hat 200 Begriffe gemeistert,
eine unglaubliche Leistung.

Und Ed Witten entfesselte
die zweite Superstring-Revolution.

Ein Blick unter die Haube zeigt das hier:

im Grunde das Gleiche.

Das eine ist etwas größer,

es hat vielleicht auch ein paar Tricks
in der Art, wie es verkabelt ist.

Diese unsichtbaren Unterschiede können
aber nicht allzu kompliziert sein,

da es seit unserem letzten
gemeinsamen Vorfahren

nur 250.000 Generationen gab.

Komplizierte Mechanismen brauchen
bekanntlich viel Zeit zur Entwicklung.

So führen uns einige
relativ kleine Änderungen

von Kanzi zu Witten,

von abgebrochenen Ästen
bis hin zu Interkontinentalraketen.

Es ist also ziemlich offensichtlich,

dass all unsere Leistungen
und alles, was uns interessiert,

entscheidend von einigen
relativ kleinen Veränderungen abhängt,

die den menschlichen Geist ausmachen.

Die logische Folge ist natürlich,

dass jede weitere Veränderung
des Substrats des Denkens

enorme Konsequenzen haben könnte.

Einige meiner Kollegen glauben,
dass wir kurz vor etwas stehen,

was zu einer tiefgreifenden Veränderung
dieses Substrats führen könnte,

und das ist Maschinen-Superintelligenz.

Künstliche Intelligenz hieß,
Befehle in eine Box zu stecken.

Menschliche Programmierer
bastelten mühsam Wissenselemente.

Man baute Expertensysteme,
die für einige Zwecke nützlich waren,

aber sie waren nicht skalierbar.

Im Grunde bekam man nur heraus,
was man zuvor hineingebaut hatte.

Aber seitdem gab es
einen Paradigmenwechsel

im Bereich der künstlichen Intelligenz.

Heute geht alles um maschinelles Lernen.

Anstatt Wissensrepräsentationen
und -eigenschaften manuell zu erstellen,

erstellen wir Algorithmen, die oft
aus rohen sensorischen Daten lernen.

Genau das Gleiche,
was das menschliche Kind tut.

Das Ergebnis ist KI, die nicht
auf eine Domäne beschränkt ist --

das gleiche System kann lernen,
beliebige Sprachpaare zu übersetzen,

oder lernen, jedes Computerspiel
auf der Atari-Konsole zu spielen.

Natürlich hat KI noch nicht annähernd
die gleiche universelle Fähigkeit,

zu lernen und zu planen
wie ein menschliches Wesen.

Der Kortex hat noch
einige algorithmische Tricks,

von denen wir noch nicht wissen,
wie wir sie in Maschinen abbilden sollen.

Die Frage ist also:

Wie weit sind wir in der Lage,
diesen Tricks zu entsprechen?

Vor ein paar Jahren
machten wir eine Umfrage

unter einigen der weltweit
führenden KI-Experten,

um zu sehen, was sie denken,
und eine der Fragen war:

"In welchem Jahr sehen Sie
eine 50 %-Wahrscheinlichkeit,

dass wir maschinelle Intelligenz
auf menschlicher Ebene erreicht haben?"

Wir definierten hierbei
die menschliche Ebene als Fähigkeit,

fast jeden Job mindestens so gut
wie ein erwachsener Mensch zu können,

also die echte menschliche Ebene,
nicht nur für einen Spezialbereich.

Die mittlere Antwort war 2040 oder 2050,

je nachdem, welche Gruppe
von Experten wir fragten.

Das könnte sehr viel später
oder auch früher passieren,

niemand weiß das wirklich.

Wir wissen aber, dass die ultimative
Grenze für die Informationsverarbeitung

in einer Maschine weit jenseits der
Grenzen des biologischen Gewebes liegt.

Das liegt an der Physik.

Ein biologisches Neuron
feuert mit etwa 200 Hertz,

200-mal pro Sekunde.

Aber sogar ein heutiger Transistor
arbeitet mit 1 Gigahertz.

Neuronen bewegen sich langsam in Axonen,
maximal 100 Meter pro Sekunde.

Aber in Computern können sich Signale
mit Lichtgeschwindigkeit bewegen.

Es gibt auch Größenbeschränkungen,

weil ein menschliches Gehirn
in einen Schädel passen muss.

Aber ein Computer kann so groß
wie ein Lagerhaus oder größer sein.

Also ruht das Potential
für Superintelligenz in der Materie,

ähnlich wie die Kraft des Atoms
während der Menschheitsgeschichte ruhte

und dort geduldig bis 1945 wartete.

In diesem Jahrhundert
könnten Wissenschaftler lernen,

die Kraft der künstlichen
Intelligenz zu wecken.

Ich denke, wir könnten dann
eine Intelligenzexplosion erleben.

Wenn die meisten Leute darüber nachdenken,
was schlau und was dumm ist,

haben sie etwa dieses Bild vor Augen:

An einem Ende haben wir den Dorftrottel,

und weit entfernt am anderen Ende
haben wir Ed Witten oder Albert Einstein,

oder wer auch immer Ihr Lieblingsguru ist.

Aber ich denke, dass vom Standpunkt
der künstlichen Intelligenz

das wahre Bild wohl eher so aussieht:

KI beginnt hier an diesem Punkt,
bei null Intelligenz

und nach sehr vielen Jahren
wirklich harter Arbeit

kommen wir vielleicht
zur KI auf Mausebene,

etwas, das durch ungeordnete Umgebungen

navigieren kann wie eine Maus.

Dann, nach noch viel mehr Jahren
wirklich harter Arbeit und viel Geld,

kommen wir vielleicht irgendwann
zur KI auf Schimpansen-Ebene.

Nach noch mehr Jahren härtester Arbeit

kommen wir zur Dorftrottel-KI.

Und wenige Augenblicke später
sind wir hinter Ed Witten.

Der Zug endet nicht in Menschenhausen.

Er wird wohl eher einfach durchrauschen.

Das hat tiefgreifende Auswirkungen,

besonders wenn es um Machtfragen geht.

Zum Beispiel sind Schimpansen stark --

ein Schimpanse ist pro Kilo etwa
doppelt so stark wie ein fitter Mann.

Aber das Schicksal von Kanzi
und seinen Freunden

hängt viel mehr von dem ab,
was wir Menschen tun,

als von dem, was Schimpansen selbst tun.

Sobald es eine Superintelligenz gibt,

kann das Schicksal der Menschheit
vom Tun der Superintelligenz abhängen.

Denken Sie darüber nach:

KI ist die letzte Erfindung,
die die Menschheit je machen muss.

Maschinen sind dann
besser im Erfinden als wir

und tun es mit digitalen Zeitmaßstäben.

Im Grunde bedeutet das
eine Komprimierung der Zukunft.

Denken Sie an all die verrückten Sachen,
von denen Sie sich vorstellen könnten,

dass die Menschen sie
zu gegebener Zeit entwickelt hätten:

Mittel gegen das Altern,
Besiedelung des Alls,

selbstreplizierende Nanobots

oder das Hochladen
des menschlichen Geistes in Computer;

alle möglichen futuristischen Dinge,

solange es mit den Gesetzen
der Physik übereinstimmt.

All das könnte die Superintelligenz
wohl ziemlich schnell entwickeln.

Eine Superintelligenz mit
einer solchen technologischen Reife

wäre extrem mächtig,

und zumindest in einigen Szenarien
wäre sie in der Lage,

ihren Willen zu bekommen.

Wir hätten dann eine Zukunft,

die durch die Vorlieben
dieser KI geprägt wäre.

Eine gute Frage ist dann:
"Was sind das für Vorlieben?"

Hier wird es kniffliger.

Um damit voranzukommen,

müssen wir vor allem
die Anthropomorphisierung vermeiden.

Das ist ironisch,
weil jeder Zeitungsartikel

über die Zukunft der KI
etwa so ein Bild davon malt:

Also denke ich, dass wir das Thema
abstrakter verstehen müssen,

nicht wie in den lebhaften
Hollywood-Szenarien.

Wir müssen Intelligenz
als Optimierungsprozess betrachten,

einen Prozess, der die Zukunft
in eine Reihe von Konfigurationen steuert.

Eine Superintelligenz ist ein
wirklich starker Optimierungsprozess.

Sie ist sehr gut darin,
verfügbare Mittel zu verwenden,

um einen Zustand zu erreichen,
in dem das Ziel realisiert ist.

Es gibt also keinen
zwingenden Zusammenhang

zwischen einer hohen Intelligenz
in diesem Sinne und einem Ziel,

das wir Menschen für lohnend
oder sinnvoll halten würden.

Angenommen, wir geben einer KI das Ziel,
Menschen zum Lächeln zu bringen.

Eine schwache KI führt nützliche
oder amüsante Handlungen durch,

die ihren Benutzer zum Lächeln bringen.

Eine superintelligente KI erkennt,

dass es einen effektiveren Weg gibt,
dieses Ziel zu erreichen:

die Kontrolle über die Welt zu übernehmen

und Elektroden in die Gesichtsmuskeln
von Menschen zu stecken,

um ein konstantes,
strahlendes Grinsen zu verursachen.

Ein anderes Beispiel:

Angenommen, die KI soll ein schwieriges
mathematisches Problem lösen.

Eine superintelligente KI erkennt,

dass der effektivste Weg
zur Lösung dieses Problems darin besteht,

den Planeten in einen
riesigen Computer zu verwandeln,

um ihre Denkfähigkeit zu erhöhen.

Man beachte, dass dies den KIs
einen instrumentalen Grund gibt,

Dinge zu tun, die uns
vielleicht nicht gefallen.

Menschen sind in diesem Modell
eine Bedrohung,

denn wir könnten die Lösung
des mathematischen Problems verhindern.

Natürlich werden Dinge nicht
genau so schiefgehen;

das sind Cartoon-Beispiele.

Aber der generelle Punkt hier ist wichtig:

Wenn Sie einen wirklich mächtigen
Optimierungsprozess erstellen,

um für das Ziel x zu maximieren,

sollten Sie sicherstellen,
dass Ihre Definition von x alles enthält,

was Ihnen wichtig ist.

Diese Lektion wird auch
in vielen Mythen gelehrt.

König Midas wünscht, dass alles,
was er berührt, zu Gold wird.

Er berührt seine Tochter,
sie verwandelt sich in Gold.

Er berührt sein Essen,
es verwandelt sich in Gold.

Das könnte praktisch relevant werden,

nicht nur als Metapher für Gier,

sondern als Illustration für das,

was passiert, wenn Sie einen mächtigen
Optimierungsprozess erstellen

und ihm falsche oder schlecht
spezifizierte Ziele geben.

Nun könnte man sagen,
wenn ein Computer anfängt,

Elektroden in die Gesichter
von Menschen zu stecken,

würden wir ihn einfach abschalten.

A, das ist nicht unbedingt so einfach,
wenn wir abhängig vom System sind.

Wo etwa ist der Ausschalter des Internets?

B, warum haben die Schimpansen nicht
den Schalter an der Menschheit

oder den Neandertalern ausgeschaltet?

Sie hatten sicherlich Gründe.

Wir haben zum Beispiel
einen Aus-Schalter hier.

(Würgen)

Der Grund ist, dass wir
ein intelligenter Gegner sind;

wir können Bedrohungen
vorhersehen und ihnen ausweichen.

Aber das könnte auch
ein superintelligenter Agent,

und der wäre viel besser
darin als wir selbst.

Wir sollten uns also nicht zu sicher sein,

dass wir das hier unter Kontrolle haben.

Wir könnten versuchen, unsere Arbeit
ein wenig einfacher zu machen,

indem wir die KI in eine Box sperren,

wie eine sichere Software-Umgebung,

eine Virtual-Reality-Simulation,
aus der sie nicht entkommen kann.

Aber wie sicher können wir sein,
dass die KI keine Lücke findet?

Da schon menschliche Hacker
ständig solche Fehler finden,

würde ich sagen, wohl nicht sehr sicher.

Also trennen wir das Ethernetkabel,
um einen Luftspalt zu schaffen,

aber selbst menschliche Hacker
überwinden solche Luftlücken

routinemäßig durch Social Engineering.

Sicher gibt es gerade
irgendwo einen Angestellten,

der von einem vermeintlichen Mitarbeiter
aus der IT überredet wurde,

seine Kontodaten preiszugeben.

Es sind auch kreativere Szenarien möglich.

Als KI kann man Elektroden
in seiner internen Schaltung umbauen,

um Funkwellen zu erzeugen,
mit denen man kommunizieren kann.

Oder man gibt eine Fehlfunktion vor,

und wenn die Programmierer nachsehen,
was schiefgelaufen ist,

sehen sie sich den Quellcode an -- Bam! --

Die Manipulation kann stattfinden.

Oder sie könnte den Bauplan zu einer
raffinierten Technologie ausgeben,

und wenn wir die implementieren,
hat sie einen verborgenen Nebeneffekt,

den die KI geplant hatte.

Der Punkt ist, dass wir nicht
auf unsere Fähigkeit vertrauen sollten,

einen superintelligenten Geist für immer
in seiner Flasche eingesperrt zu halten.

Früher oder später kommt er heraus.

Ich glaube, wir müssen herausfinden,

wie man superintelligente KI so baut,
dass wenn sie -- sobald -- sie entkommt,

es immer noch sicher ist,
weil sie fest auf unserer Seite ist,

weil sie unsere Werte teilt.

Es führt kein Weg um dieses
schwierige Problem herum.

Ich bin aber ziemlich optimistisch,
dass es gelöst werden kann.

Wir müssten keine lange Liste von allem
aufschreiben, was uns wichtig ist,

oder schlimmer noch,

es in irgendeiner Computersprache
wie C++ oder Python buchstabieren;

das wäre eine Aufgabe,
die mehr als hoffnungslos ist.

Stattdessen würden wir eine KI bauen,
die ihre Intelligenz nutzt,

um zu lernen, was wir wertschätzen,

und ihr Motivationssystem
ist so konstruiert,

dass sie anstrebt,
unsere Ziele zu verfolgen

oder Dinge zu tun, von denen
sie erwartet, dass wir sie billigen.

Wir würden somit ihre Intelligenz

für das Problem der Wertedefinition
so gut wie möglich einsetzen.

Das kann passieren,

und das Ergebnis könnte
sehr gut für die Menschheit sein.

Aber es geschieht nicht automatisch.

Die Anfangsbedingungen
für die Intelligenzexplosion

müssen genau auf die richtige
Art und Weise aufgestellt werden,

wenn wir eine kontrollierte
Detonation haben wollen.

Die Werte der KI müssen
mit unseren übereinstimmen,

nicht nur im vertrauten Kontext,

wo wir leicht überprüfen können,
wie die KI sich verhält,

sondern auch in allen neuen Situationen,

auf die die KI in der
unbestimmten Zukunft treffen könnte.

Es gibt auch einige esoterische Fragen,
die gelöst werden müssten:

die genauen Details
ihrer Entscheidungstheorie,

wie mit logischer Unsicherheit
umzugehen ist usw.

Die technischen Probleme,
die dafür gelöst werden müssen,

sind ziemlich schwierig --

nicht so schwierig, wie eine
superintelligente KI zu bauen,

aber ziemlich schwierig.

Hier ist die Sorge:

Superintelligente KI zu bauen
ist eine wirklich harte Herausforderung.

Sichere superintelligente KI zu bauen

birgt noch zusätzliche Herausforderungen.

Das Risiko besteht darin,
dass jemand die erste Hürde knackt,

ohne die zusätzliche Herausforderung,
perfekte Sicherheit zu gewährleisten,

ebenfalls zu knacken.

Ich denke daher,

wir sollten im Vorfeld
das Steuerungsproblem lösen,

damit wir eine Lösung haben,
wenn sie benötigt wird.

Vielleicht können wir nicht das
ganze Steuerungsproblem im Voraus lösen,

weil vielleicht einige Elemente
erst gesetzt werden können,

wenn wir die Details der Architektur,
in der sie implementiert werden, kennen.

Je mehr Kontrollprobleme
wir jedoch im Voraus lösen,

desto besser sind die Chancen,
dass der Übergang

zur Maschinenintelligenz gut verläuft.

Das sieht für mich nach einer Sache aus,
die es wert ist, getan zu werden,

und ich kann mir vorstellen,
dass wenn die Dinge gut laufen,

die Leute in einer Million Jahre
auf dieses Jahrhundert zurückblicken

und möglicherweise sagen,

dass unsere einzige wichtige Leistung
der Erfolg bei dieser Sache war.

Vielen Dank.

(Beifall)