WEBVTT

00:00:00.570 --> 00:00:06.177
Ich arbeite mit einigen Mathematikern,
Philosophen und Informatikern zusammen.

00:00:06.177 --> 00:00:08.446
Wir sitzen herum

00:00:08.446 --> 00:00:12.030
und denken z. B. über die Zukunft
der maschinellen Intelligenz nach.

00:00:12.030 --> 00:00:15.955
Manche Leute denken,
einiges davon sei sehr futuristisch,

00:00:16.605 --> 00:00:19.156
ausgefallen, einfach verrückt.

00:00:19.706 --> 00:00:21.326
Aber ich sage gern:

00:00:21.326 --> 00:00:24.930
Betrachten wir den Zustand
des modernen Menschen.

00:00:24.930 --> 00:00:26.342
(Gelächter)

00:00:26.342 --> 00:00:29.024
Das ist der normale Gang der Dinge.

NOTE Paragraph

00:00:29.024 --> 00:00:31.169
Aber wenn wir darüber nachdenken,

00:00:31.169 --> 00:00:35.632
ist die menschliche Spezies erst
seit Kurzem Gast auf diesem Planeten.

00:00:35.992 --> 00:00:38.134
Denken Sie darüber nach:

00:00:38.134 --> 00:00:41.250
Wäre die Erde erst
vor einem Jahr erschaffen worden,

00:00:41.250 --> 00:00:44.978
dann wäre der Mensch erst 10 Minuten alt.

00:00:44.978 --> 00:00:48.146
Die industrielle Ära hätte
vor zwei Sekunden begonnen.

00:00:49.276 --> 00:00:54.230
Man könnte auch das Welt-BIP
der letzten 10.000 Jahre betrachten.

00:00:54.230 --> 00:00:57.854
Ich habe mir die Mühe gemacht,
dies für Sie grafisch darzustellen.

00:00:57.854 --> 00:00:59.627
Es sieht so aus.

00:00:59.627 --> 00:01:00.658
(Gelächter)

00:01:00.658 --> 00:01:03.086
Es ist eine seltsame Form
für einen Normalzustand.

00:01:03.086 --> 00:01:05.447
Ich würde nicht darauf sitzen wollen.

NOTE Paragraph

00:01:05.447 --> 00:01:06.751
(Gelächter)

00:01:06.751 --> 00:01:08.492
Fragen wir uns:

00:01:08.492 --> 00:01:11.693
Was ist die Ursache
dieser aktuellen Anomalie?

00:01:11.843 --> 00:01:14.621
Manche Leute würden sagen,
dass es Technologie ist.

00:01:14.621 --> 00:01:16.242
Das ist richtig,

00:01:16.242 --> 00:01:19.593
Technologie hat sich 
im Laufe der Zeit angesammelt,

00:01:19.593 --> 00:01:23.568
und im Moment entwickelt sich 
die Technologie extrem schnell --

00:01:23.568 --> 00:01:28.093
das ist die unmittelbare Ursache, 
deshalb sind wir derzeit so produktiv.

00:01:28.533 --> 00:01:32.134
Aber ich denke gerne weiter 
an die ultimative Ursache.

NOTE Paragraph

00:01:33.114 --> 00:01:36.880
Schauen Sie sich diese zwei 
hoch angesehenen Herren an:

00:01:36.880 --> 00:01:38.480
Wir haben Kanzi --

00:01:38.480 --> 00:01:43.123
er hat 200 Begriffe gemeistert, 
eine unglaubliche Leistung.

00:01:43.123 --> 00:01:46.647
Und Ed Witten entfesselte 
die zweite Superstring-Revolution.

00:01:46.647 --> 00:01:48.899
Ein Blick unter die Haube zeigt das hier:

00:01:48.899 --> 00:01:50.501
im Grunde das Gleiche.

00:01:50.501 --> 00:01:52.154
Das eine ist etwas größer,

00:01:52.154 --> 00:01:55.622
es hat vielleicht auch ein paar Tricks 
in der Art, wie es verkabelt ist.

00:01:55.622 --> 00:01:59.094
Diese unsichtbaren Unterschiede können 
aber nicht allzu kompliziert sein,

00:01:59.094 --> 00:02:02.376
da es seit unserem letzten 
gemeinsamen Vorfahren

00:02:02.376 --> 00:02:05.309
nur 250.000 Generationen gab.

00:02:05.309 --> 00:02:09.780
Komplizierte Mechanismen brauchen
bekanntlich viel Zeit zur Entwicklung.

00:02:09.780 --> 00:02:13.299
So führen uns einige
relativ kleine Änderungen

00:02:13.299 --> 00:02:15.319
von Kanzi zu Witten,

00:02:15.566 --> 00:02:20.109
von abgebrochenen Ästen 
bis hin zu Interkontinentalraketen.

NOTE Paragraph

00:02:20.579 --> 00:02:23.054
Es ist also ziemlich offensichtlich,

00:02:23.054 --> 00:02:26.152
dass all unsere Leistungen
und alles, was uns interessiert,

00:02:26.152 --> 00:02:29.340
entscheidend von einigen 
relativ kleinen Veränderungen abhängt,

00:02:29.340 --> 00:02:32.022
die den menschlichen Geist ausmachen.

00:02:32.332 --> 00:02:34.849
Die logische Folge ist natürlich,

00:02:34.849 --> 00:02:39.021
dass jede weitere Veränderung 
des Substrats des Denkens

NOTE Paragraph

00:02:39.561 --> 00:02:42.466
enorme Konsequenzen haben könnte.

00:02:44.486 --> 00:02:47.584
Einige meiner Kollegen glauben,
dass wir kurz vor etwas stehen,

00:02:47.584 --> 00:02:51.557
was zu einer tiefgreifenden Veränderung
dieses Substrats führen könnte,

00:02:51.557 --> 00:02:54.486
und das ist Maschinen-Superintelligenz.

00:02:54.486 --> 00:02:58.891
Künstliche Intelligenz hieß,
Befehle in eine Box zu stecken.

00:02:58.891 --> 00:03:04.056
Menschliche Programmierer
bastelten mühsam Wissenselemente.

00:03:04.586 --> 00:03:07.906
Man baute Expertensysteme,
die für einige Zwecke nützlich waren,

00:03:07.906 --> 00:03:10.977
aber sie waren nicht skalierbar.

00:03:10.977 --> 00:03:14.310
Im Grunde bekam man nur heraus,
was man zuvor hineingebaut hatte.

00:03:14.310 --> 00:03:17.007
Aber seitdem gab es
einen Paradigmenwechsel

00:03:17.007 --> 00:03:18.874
im Bereich der künstlichen Intelligenz.

NOTE Paragraph

00:03:18.874 --> 00:03:21.644
Heute geht alles um maschinelles Lernen.

00:03:22.394 --> 00:03:27.781
Anstatt Wissensrepräsentationen
und -eigenschaften manuell zu erstellen,

00:03:28.511 --> 00:03:34.065
erstellen wir Algorithmen, die oft 
aus rohen sensorischen Daten lernen.

00:03:34.065 --> 00:03:39.063
Genau das Gleiche, 
was das menschliche Kind tut.

00:03:39.063 --> 00:03:43.270
Das Ergebnis ist KI, die nicht 
auf eine Domäne beschränkt ist --

00:03:43.270 --> 00:03:47.901
das gleiche System kann lernen, 
beliebige Sprachpaare zu übersetzen,

00:03:47.901 --> 00:03:53.338
oder lernen, jedes Computerspiel 
auf der Atari-Konsole zu spielen.

00:03:53.338 --> 00:03:58.807
Natürlich hat KI noch nicht annähernd
die gleiche universelle Fähigkeit,

00:03:58.807 --> 00:04:01.835
zu lernen und zu planen 
wie ein menschliches Wesen.

00:04:01.835 --> 00:04:04.231
Der Kortex hat noch
einige algorithmische Tricks,

00:04:04.241 --> 00:04:07.846
von denen wir noch nicht wissen, 
wie wir sie in Maschinen abbilden sollen.

NOTE Paragraph

00:04:07.886 --> 00:04:09.495
Die Frage ist also:

00:04:09.495 --> 00:04:13.285
Wie weit sind wir in der Lage, 
diesen Tricks zu entsprechen?

00:04:13.915 --> 00:04:16.188
Vor ein paar Jahren
machten wir eine Umfrage

00:04:16.188 --> 00:04:18.766
unter einigen der weltweit
führenden KI-Experten,

00:04:18.766 --> 00:04:21.440
um zu sehen, was sie denken, 
und eine der Fragen war:

00:04:21.440 --> 00:04:24.793
"In welchem Jahr sehen Sie
eine 50 %-Wahrscheinlichkeit,

00:04:24.793 --> 00:04:28.275
dass wir maschinelle Intelligenz 
auf menschlicher Ebene erreicht haben?"

00:04:28.785 --> 00:04:31.868
Wir definierten hierbei
die menschliche Ebene als Fähigkeit,

00:04:31.868 --> 00:04:35.839
fast jeden Job mindestens so gut
wie ein erwachsener Mensch zu können,

00:04:35.839 --> 00:04:39.844
also die echte menschliche Ebene, 
nicht nur für einen Spezialbereich.

00:04:39.844 --> 00:04:43.494
Die mittlere Antwort war 2040 oder 2050,

00:04:43.494 --> 00:04:46.470
je nachdem, welche Gruppe 
von Experten wir fragten.

00:04:46.950 --> 00:04:50.339
Das könnte sehr viel später 
oder auch früher passieren,

00:04:50.339 --> 00:04:52.279
niemand weiß das wirklich.

NOTE Paragraph

00:04:52.939 --> 00:04:57.671
Wir wissen aber, dass die ultimative 
Grenze für die Informationsverarbeitung

00:04:57.671 --> 00:05:02.542
in einer Maschine weit jenseits der 
Grenzen des biologischen Gewebes liegt.

00:05:02.941 --> 00:05:05.319
Das liegt an der Physik.

00:05:05.319 --> 00:05:08.708
Ein biologisches Neuron
feuert mit etwa 200 Hertz,

00:05:08.708 --> 00:05:10.337
200-mal pro Sekunde.

00:05:10.337 --> 00:05:13.931
Aber sogar ein heutiger Transistor 
arbeitet mit 1 Gigahertz.

00:05:13.931 --> 00:05:19.228
Neuronen bewegen sich langsam in Axonen,
maximal 100 Meter pro Sekunde.

00:05:19.228 --> 00:05:23.079
Aber in Computern können sich Signale
mit Lichtgeschwindigkeit bewegen.

00:05:23.079 --> 00:05:24.948
Es gibt auch Größenbeschränkungen,

00:05:24.948 --> 00:05:27.975
weil ein menschliches Gehirn
in einen Schädel passen muss.

00:05:27.975 --> 00:05:32.736
Aber ein Computer kann so groß
wie ein Lagerhaus oder größer sein.

00:05:32.736 --> 00:05:38.335
Also ruht das Potential 
für Superintelligenz in der Materie,

00:05:38.335 --> 00:05:44.047
ähnlich wie die Kraft des Atoms
während der Menschheitsgeschichte ruhte

00:05:44.047 --> 00:05:48.062
und dort geduldig bis 1945 wartete.

00:05:48.062 --> 00:05:50.840
In diesem Jahrhundert
könnten Wissenschaftler lernen,

00:05:50.840 --> 00:05:53.818
die Kraft der künstlichen
Intelligenz zu wecken.

00:05:53.818 --> 00:05:57.826
Ich denke, wir könnten dann 
eine Intelligenzexplosion erleben.

NOTE Paragraph

00:05:58.076 --> 00:06:02.363
Wenn die meisten Leute darüber nachdenken,
was schlau und was dumm ist,

00:06:02.363 --> 00:06:05.386
haben sie etwa dieses Bild vor Augen:

00:06:05.386 --> 00:06:07.984
An einem Ende haben wir den Dorftrottel,

00:06:07.984 --> 00:06:12.627
und weit entfernt am anderen Ende
haben wir Ed Witten oder Albert Einstein,

00:06:12.627 --> 00:06:15.223
oder wer auch immer Ihr Lieblingsguru ist.

00:06:15.223 --> 00:06:19.057
Aber ich denke, dass vom Standpunkt 
der künstlichen Intelligenz

00:06:19.057 --> 00:06:22.738
das wahre Bild wohl eher so aussieht:

00:06:22.998 --> 00:06:26.416
KI beginnt hier an diesem Punkt, 
bei null Intelligenz

00:06:26.416 --> 00:06:29.647
und nach sehr vielen Jahren 
wirklich harter Arbeit

00:06:29.647 --> 00:06:33.491
kommen wir vielleicht 
zur KI auf Mausebene,

00:06:33.491 --> 00:06:35.921
etwas, das durch ungeordnete Umgebungen

00:06:35.921 --> 00:06:37.908
navigieren kann wie eine Maus.

00:06:37.908 --> 00:06:42.221
Dann, nach noch viel mehr Jahren
wirklich harter Arbeit und viel Geld,

00:06:42.221 --> 00:06:46.860
kommen wir vielleicht irgendwann 
zur KI auf Schimpansen-Ebene.

00:06:46.860 --> 00:06:50.070
Nach noch mehr Jahren härtester Arbeit

00:06:50.070 --> 00:06:52.633
kommen wir zur Dorftrottel-KI.

00:06:52.633 --> 00:06:56.255
Und wenige Augenblicke später 
sind wir hinter Ed Witten.

00:06:56.255 --> 00:06:59.225
Der Zug endet nicht in Menschenhausen.

00:06:59.225 --> 00:07:02.247
Er wird wohl eher einfach durchrauschen.

NOTE Paragraph

00:07:02.247 --> 00:07:04.601
Das hat tiefgreifende Auswirkungen,

00:07:04.601 --> 00:07:07.863
besonders wenn es um Machtfragen geht.

00:07:07.863 --> 00:07:09.992
Zum Beispiel sind Schimpansen stark --

00:07:09.992 --> 00:07:14.924
ein Schimpanse ist pro Kilo etwa 
doppelt so stark wie ein fitter Mann.

00:07:14.924 --> 00:07:18.531
Aber das Schicksal von Kanzi
und seinen Freunden

00:07:18.531 --> 00:07:21.468
hängt viel mehr von dem ab,
was wir Menschen tun,

00:07:21.468 --> 00:07:23.968
als von dem, was Schimpansen selbst tun.

00:07:25.228 --> 00:07:27.542
Sobald es eine Superintelligenz gibt,

00:07:27.542 --> 00:07:31.551
kann das Schicksal der Menschheit
vom Tun der Superintelligenz abhängen.

00:07:32.201 --> 00:07:33.868
Denken Sie darüber nach:

00:07:33.868 --> 00:07:38.262
KI ist die letzte Erfindung, 
die die Menschheit je machen muss.

00:07:38.262 --> 00:07:41.265
Maschinen sind dann 
besser im Erfinden als wir

00:07:41.265 --> 00:07:44.065
und tun es mit digitalen Zeitmaßstäben.

00:07:44.065 --> 00:07:48.516
Im Grunde bedeutet das
eine Komprimierung der Zukunft.

00:07:48.516 --> 00:07:52.514
Denken Sie an all die verrückten Sachen,
von denen Sie sich vorstellen könnten,

00:07:52.514 --> 00:07:55.322
dass die Menschen sie
zu gegebener Zeit entwickelt hätten:

00:07:55.322 --> 00:07:58.390
Mittel gegen das Altern, 
Besiedelung des Alls,

00:07:58.390 --> 00:08:00.015
selbstreplizierende Nanobots

00:08:00.015 --> 00:08:02.641
oder das Hochladen
des menschlichen Geistes in Computer;

00:08:02.641 --> 00:08:04.470
alle möglichen futuristischen Dinge,

00:08:04.470 --> 00:08:07.207
solange es mit den Gesetzen
der Physik übereinstimmt.

00:08:07.207 --> 00:08:11.419
All das könnte die Superintelligenz
wohl ziemlich schnell entwickeln.

NOTE Paragraph

00:08:12.019 --> 00:08:16.007
Eine Superintelligenz mit 
einer solchen technologischen Reife

00:08:16.007 --> 00:08:18.186
wäre extrem mächtig,

00:08:18.186 --> 00:08:21.039
und zumindest in einigen Szenarien
wäre sie in der Lage,

00:08:21.039 --> 00:08:22.732
ihren Willen zu bekommen.

00:08:22.732 --> 00:08:24.992
Wir hätten dann eine Zukunft,

00:08:24.992 --> 00:08:28.033
die durch die Vorlieben
dieser KI geprägt wäre.

00:08:29.405 --> 00:08:33.604
Eine gute Frage ist dann:
"Was sind das für Vorlieben?"

00:08:34.244 --> 00:08:36.013
Hier wird es kniffliger.

00:08:36.013 --> 00:08:37.448
Um damit voranzukommen,

00:08:37.448 --> 00:08:40.794
müssen wir vor allem
die Anthropomorphisierung vermeiden.

00:08:41.934 --> 00:08:45.235
Das ist ironisch, 
weil jeder Zeitungsartikel

00:08:45.235 --> 00:08:49.090
über die Zukunft der KI
etwa so ein Bild davon malt:

00:08:50.280 --> 00:08:54.414
Also denke ich, dass wir das Thema 
abstrakter verstehen müssen,

00:08:54.414 --> 00:08:57.204
nicht wie in den lebhaften 
Hollywood-Szenarien.

NOTE Paragraph

00:08:57.204 --> 00:09:00.821
Wir müssen Intelligenz
als Optimierungsprozess betrachten,

00:09:00.821 --> 00:09:06.470
einen Prozess, der die Zukunft
in eine Reihe von Konfigurationen steuert.

00:09:06.470 --> 00:09:09.981
Eine Superintelligenz ist ein 
wirklich starker Optimierungsprozess.

00:09:09.981 --> 00:09:12.938
Sie ist sehr gut darin,
verfügbare Mittel zu verwenden,

00:09:12.938 --> 00:09:16.197
um einen Zustand zu erreichen,
in dem das Ziel realisiert ist.

00:09:16.197 --> 00:09:18.489
Es gibt also keinen
zwingenden Zusammenhang

00:09:18.489 --> 00:09:22.683
zwischen einer hohen Intelligenz
in diesem Sinne und einem Ziel,

00:09:22.683 --> 00:09:26.515
das wir Menschen für lohnend
oder sinnvoll halten würden.

NOTE Paragraph

00:09:27.101 --> 00:09:30.945
Angenommen, wir geben einer KI das Ziel,
Menschen zum Lächeln zu bringen.

00:09:30.945 --> 00:09:34.587
Eine schwache KI führt nützliche
oder amüsante Handlungen durch,

00:09:34.587 --> 00:09:36.614
die ihren Benutzer zum Lächeln bringen.

00:09:36.614 --> 00:09:39.391
Eine superintelligente KI erkennt,

00:09:39.391 --> 00:09:42.554
dass es einen effektiveren Weg gibt,
dieses Ziel zu erreichen:

00:09:42.554 --> 00:09:44.576
die Kontrolle über die Welt zu übernehmen

00:09:44.576 --> 00:09:47.638
und Elektroden in die Gesichtsmuskeln
von Menschen zu stecken,

00:09:47.638 --> 00:09:50.469
um ein konstantes,
strahlendes Grinsen zu verursachen.

00:09:50.469 --> 00:09:51.614
Ein anderes Beispiel:


00:09:51.614 --> 00:09:54.997
Angenommen, die KI soll ein schwieriges 
mathematisches Problem lösen.

00:09:54.997 --> 00:09:57.114
Eine superintelligente KI erkennt,

00:09:57.114 --> 00:10:01.105
dass der effektivste Weg
zur Lösung dieses Problems darin besteht,

00:10:01.105 --> 00:10:04.035
den Planeten in einen 
riesigen Computer zu verwandeln,

00:10:04.035 --> 00:10:06.081
um ihre Denkfähigkeit zu erhöhen.

00:10:06.081 --> 00:10:09.045
Man beachte, dass dies den KIs
einen instrumentalen Grund gibt,

00:10:09.045 --> 00:10:11.491
Dinge zu tun, die uns
vielleicht nicht gefallen.

00:10:11.491 --> 00:10:13.686
Menschen sind in diesem Modell
eine Bedrohung,

00:10:13.686 --> 00:10:17.217
denn wir könnten die Lösung
des mathematischen Problems verhindern.

NOTE Paragraph

00:10:17.217 --> 00:10:20.061
Natürlich werden Dinge nicht
genau so schiefgehen;

00:10:20.061 --> 00:10:22.064
das sind Cartoon-Beispiele.

00:10:22.064 --> 00:10:24.123
Aber der generelle Punkt hier ist wichtig:

00:10:24.123 --> 00:10:27.186
Wenn Sie einen wirklich mächtigen
Optimierungsprozess erstellen,

00:10:27.186 --> 00:10:29.250
um für das Ziel x zu maximieren,

00:10:29.250 --> 00:10:32.876
sollten Sie sicherstellen, 
dass Ihre Definition von x alles enthält,

00:10:32.876 --> 00:10:34.245
was Ihnen wichtig ist.

00:10:34.835 --> 00:10:39.219
Diese Lektion wird auch
in vielen Mythen gelehrt.

00:10:39.219 --> 00:10:43.507
König Midas wünscht, dass alles, 
was er berührt, zu Gold wird.

00:10:44.197 --> 00:10:47.368
Er berührt seine Tochter, 
sie verwandelt sich in Gold.

00:10:47.378 --> 00:10:49.931
Er berührt sein Essen, 
es verwandelt sich in Gold.

00:10:49.931 --> 00:10:52.520
Das könnte praktisch relevant werden,

00:10:52.520 --> 00:10:54.590
nicht nur als Metapher für Gier,

00:10:54.590 --> 00:10:56.275
sondern als Illustration für das, 


00:10:56.275 --> 00:10:59.532
was passiert, wenn Sie einen mächtigen 
Optimierungsprozess erstellen

00:10:59.532 --> 00:11:04.111
und ihm falsche oder schlecht 
spezifizierte Ziele geben.

NOTE Paragraph

00:11:04.111 --> 00:11:07.195
Nun könnte man sagen,
wenn ein Computer anfängt,

00:11:07.195 --> 00:11:09.680
Elektroden in die Gesichter
von Menschen zu stecken,

00:11:09.680 --> 00:11:12.215
würden wir ihn einfach abschalten.

00:11:12.405 --> 00:11:17.895
A, das ist nicht unbedingt so einfach, 
wenn wir abhängig vom System sind.

00:11:17.895 --> 00:11:20.627
Wo etwa ist der Ausschalter des Internets?

00:11:20.627 --> 00:11:25.347
B, warum haben die Schimpansen nicht 
den Schalter an der Menschheit

00:11:25.347 --> 00:11:27.298
oder den Neandertalern ausgeschaltet?

00:11:27.298 --> 00:11:29.964
Sie hatten sicherlich Gründe.

00:11:29.964 --> 00:11:32.759
Wir haben zum Beispiel
einen Aus-Schalter hier.

00:11:32.759 --> 00:11:34.313
(Würgen)

00:11:34.313 --> 00:11:37.238
Der Grund ist, dass wir 
ein intelligenter Gegner sind;

00:11:37.238 --> 00:11:39.966
wir können Bedrohungen 
vorhersehen und ihnen ausweichen.

00:11:39.966 --> 00:11:42.470
Aber das könnte auch
ein superintelligenter Agent,

00:11:42.470 --> 00:11:45.724
und der wäre viel besser 
darin als wir selbst.

00:11:45.724 --> 00:11:48.587
Wir sollten uns also nicht zu sicher sein,

00:11:49.467 --> 00:11:52.911
dass wir das hier unter Kontrolle haben.

NOTE Paragraph

00:11:52.911 --> 00:11:56.238
Wir könnten versuchen, unsere Arbeit 
ein wenig einfacher zu machen,

00:11:56.238 --> 00:11:58.028
indem wir die KI in eine Box sperren,

00:11:58.028 --> 00:11:59.744
wie eine sichere Software-Umgebung, 


00:11:59.744 --> 00:12:02.896
eine Virtual-Reality-Simulation, 
aus der sie nicht entkommen kann.

00:12:02.896 --> 00:12:06.912
Aber wie sicher können wir sein, 
dass die KI keine Lücke findet? 


00:12:06.912 --> 00:12:10.081
Da schon menschliche Hacker 
ständig solche Fehler finden,

00:12:10.081 --> 00:12:13.117
würde ich sagen, wohl nicht sehr sicher.

00:12:14.237 --> 00:12:18.785
Also trennen wir das Ethernetkabel, 
um einen Luftspalt zu schaffen, 


00:12:18.785 --> 00:12:22.383
aber selbst menschliche Hacker
überwinden solche Luftlücken

00:12:23.433 --> 00:12:25.474
routinemäßig durch Social Engineering.

00:12:25.484 --> 00:12:28.503
Sicher gibt es gerade
irgendwo einen Angestellten,

00:12:28.503 --> 00:12:31.828
der von einem vermeintlichen Mitarbeiter
aus der IT überredet wurde,

00:12:31.828 --> 00:12:34.574
seine Kontodaten preiszugeben.

NOTE Paragraph

00:12:34.574 --> 00:12:36.701
Es sind auch kreativere Szenarien möglich.

00:12:36.701 --> 00:12:41.328
Als KI kann man Elektroden 
in seiner internen Schaltung umbauen,

00:12:41.328 --> 00:12:44.560
um Funkwellen zu erzeugen,
mit denen man kommunizieren kann.

00:12:44.560 --> 00:12:47.384
Oder man gibt eine Fehlfunktion vor,

00:12:47.384 --> 00:12:50.801
und wenn die Programmierer nachsehen,
was schiefgelaufen ist,

00:12:50.801 --> 00:12:53.097
sehen sie sich den Quellcode an -- Bam! --

00:12:53.097 --> 00:12:55.314
Die Manipulation kann stattfinden.

00:12:55.314 --> 00:12:58.744
Oder sie könnte den Bauplan zu einer 
raffinierten Technologie ausgeben,

00:12:58.744 --> 00:13:02.232
und wenn wir die implementieren, 
hat sie einen verborgenen Nebeneffekt,

00:13:02.232 --> 00:13:04.539
den die KI geplant hatte.

00:13:04.539 --> 00:13:08.002
Der Punkt ist, dass wir nicht
auf unsere Fähigkeit vertrauen sollten,

00:13:08.002 --> 00:13:11.880
einen superintelligenten Geist für immer
in seiner Flasche eingesperrt zu halten.

00:13:11.880 --> 00:13:14.064
Früher oder später kommt er heraus.

NOTE Paragraph

00:13:14.774 --> 00:13:18.137
Ich glaube, wir müssen herausfinden,

00:13:18.137 --> 00:13:23.161
wie man superintelligente KI so baut,
dass wenn sie -- sobald -- sie entkommt,

00:13:23.161 --> 00:13:26.438
es immer noch sicher ist, 
weil sie fest auf unserer Seite ist,

00:13:26.438 --> 00:13:28.337
weil sie unsere Werte teilt.

00:13:28.337 --> 00:13:31.547
Es führt kein Weg um dieses
schwierige Problem herum.

NOTE Paragraph

00:13:32.557 --> 00:13:36.391
Ich bin aber ziemlich optimistisch, 
dass es gelöst werden kann.

00:13:36.391 --> 00:13:40.294
Wir müssten keine lange Liste von allem 
aufschreiben, was uns wichtig ist,

00:13:40.294 --> 00:13:41.867
oder schlimmer noch,

00:13:41.867 --> 00:13:45.391
es in irgendeiner Computersprache
wie C++ oder Python buchstabieren;

00:13:45.391 --> 00:13:48.158
das wäre eine Aufgabe, 
die mehr als hoffnungslos ist.

00:13:48.158 --> 00:13:52.455
Stattdessen würden wir eine KI bauen, 
die ihre Intelligenz nutzt,

00:13:52.455 --> 00:13:55.226
um zu lernen, was wir wertschätzen,

00:13:55.226 --> 00:13:58.106
und ihr Motivationssystem
ist so konstruiert,

00:13:58.106 --> 00:14:00.506
dass sie anstrebt,
unsere Ziele zu verfolgen

00:14:00.506 --> 00:14:05.738
oder Dinge zu tun, von denen 
sie erwartet, dass wir sie billigen.

00:14:05.738 --> 00:14:09.152
Wir würden somit ihre Intelligenz

00:14:09.152 --> 00:14:12.577
für das Problem der Wertedefinition
so gut wie möglich einsetzen.

NOTE Paragraph

00:14:12.577 --> 00:14:14.239
Das kann passieren,

00:14:14.239 --> 00:14:17.835
und das Ergebnis könnte 
sehr gut für die Menschheit sein.

00:14:17.835 --> 00:14:21.572
Aber es geschieht nicht automatisch.

00:14:21.572 --> 00:14:24.530
Die Anfangsbedingungen 
für die Intelligenzexplosion

00:14:24.530 --> 00:14:27.653
müssen genau auf die richtige 
Art und Weise aufgestellt werden,

00:14:27.653 --> 00:14:31.183
wenn wir eine kontrollierte 
Detonation haben wollen.

00:14:31.183 --> 00:14:33.801
Die Werte der KI müssen 
mit unseren übereinstimmen,

00:14:33.801 --> 00:14:35.471
nicht nur im vertrauten Kontext,

00:14:35.471 --> 00:14:38.249
wo wir leicht überprüfen können,
wie die KI sich verhält,

00:14:38.249 --> 00:14:40.493
sondern auch in allen neuen Situationen,

00:14:40.493 --> 00:14:43.330
auf die die KI in der
unbestimmten Zukunft treffen könnte.

NOTE Paragraph

00:14:43.330 --> 00:14:47.187
Es gibt auch einige esoterische Fragen,
die gelöst werden müssten:

00:14:47.187 --> 00:14:49.616
die genauen Details 
ihrer Entscheidungstheorie,

00:14:49.616 --> 00:14:52.480
wie mit logischer Unsicherheit 
umzugehen ist usw.

00:14:52.980 --> 00:14:56.102
Die technischen Probleme, 
die dafür gelöst werden müssen,

00:14:56.102 --> 00:14:57.545
sind ziemlich schwierig --

00:14:57.545 --> 00:15:00.925
nicht so schwierig, wie eine 
superintelligente KI zu bauen,

00:15:00.925 --> 00:15:02.753
aber ziemlich schwierig.

00:15:03.473 --> 00:15:05.488
Hier ist die Sorge:

00:15:05.488 --> 00:15:09.562
Superintelligente KI zu bauen
ist eine wirklich harte Herausforderung.

00:15:09.912 --> 00:15:12.720
Sichere superintelligente KI zu bauen

00:15:12.720 --> 00:15:15.456
birgt noch zusätzliche Herausforderungen.

00:15:16.216 --> 00:15:19.703
Das Risiko besteht darin, 
dass jemand die erste Hürde knackt, 


00:15:19.703 --> 00:15:23.374
ohne die zusätzliche Herausforderung, 
perfekte Sicherheit zu gewährleisten,

00:15:23.374 --> 00:15:24.955
ebenfalls zu knacken.

NOTE Paragraph

00:15:25.375 --> 00:15:26.916
Ich denke daher,

00:15:26.916 --> 00:15:30.748
wir sollten im Vorfeld
das Steuerungsproblem lösen,

00:15:31.208 --> 00:15:34.628
damit wir eine Lösung haben,
wenn sie benötigt wird.

00:15:34.658 --> 00:15:38.555
Vielleicht können wir nicht das
ganze Steuerungsproblem im Voraus lösen,

00:15:38.555 --> 00:15:41.429
weil vielleicht einige Elemente 
erst gesetzt werden können,

00:15:41.429 --> 00:15:45.296
wenn wir die Details der Architektur, 
in der sie implementiert werden, kennen.

00:15:45.296 --> 00:15:48.676
Je mehr Kontrollprobleme 
wir jedoch im Voraus lösen,

00:15:48.676 --> 00:15:51.596
desto besser sind die Chancen, 
dass der Übergang

00:15:51.596 --> 00:15:54.306
zur Maschinenintelligenz gut verläuft.

NOTE Paragraph

00:15:54.306 --> 00:15:58.950
Das sieht für mich nach einer Sache aus, 
die es wert ist, getan zu werden,

00:15:58.950 --> 00:16:02.282
und ich kann mir vorstellen, 
dass wenn die Dinge gut laufen,

00:16:02.282 --> 00:16:06.550
die Leute in einer Million Jahre
auf dieses Jahrhundert zurückblicken

00:16:06.550 --> 00:16:08.782
und möglicherweise sagen,

00:16:08.782 --> 00:16:12.469
dass unsere einzige wichtige Leistung
der Erfolg bei dieser Sache war.

NOTE Paragraph

00:16:12.469 --> 00:16:13.858
Vielen Dank.

NOTE Paragraph

00:16:13.858 --> 00:16:15.501
(Beifall)