0:00:00.570,0:00:06.177
Ich arbeite mit einigen Mathematikern,[br]Philosophen und Informatikern zusammen.

0:00:06.177,0:00:08.446
Wir sitzen herum

0:00:08.446,0:00:12.030
und denken z. B. über die Zukunft[br]der maschinellen Intelligenz nach.

0:00:12.030,0:00:15.955
Manche Leute denken,[br]einiges davon sei sehr futuristisch,

0:00:16.605,0:00:19.156
ausgefallen, einfach verrückt.

0:00:19.706,0:00:21.326
Aber ich sage gern:

0:00:21.326,0:00:24.930
Betrachten wir den Zustand[br]des modernen Menschen.

0:00:24.930,0:00:26.342
(Gelächter)

0:00:26.342,0:00:29.024
Das ist der normale Gang der Dinge.

0:00:29.024,0:00:31.169
Aber wenn wir darüber nachdenken,

0:00:31.169,0:00:35.632
ist die menschliche Spezies erst[br]seit Kurzem Gast auf diesem Planeten.

0:00:35.992,0:00:38.134
Denken Sie darüber nach:

0:00:38.134,0:00:41.250
Wäre die Erde erst[br]vor einem Jahr erschaffen worden,

0:00:41.250,0:00:44.978
dann wäre der Mensch erst 10 Minuten alt.

0:00:44.978,0:00:48.146
Die industrielle Ära hätte[br]vor zwei Sekunden begonnen.

0:00:49.276,0:00:54.230
Man könnte auch das Welt-BIP[br]der letzten 10.000 Jahre betrachten.

0:00:54.230,0:00:57.854
Ich habe mir die Mühe gemacht,[br]dies für Sie grafisch darzustellen.

0:00:57.854,0:00:59.627
Es sieht so aus.

0:00:59.627,0:01:00.658
(Gelächter)

0:01:00.658,0:01:03.086
Es ist eine seltsame Form[br]für einen Normalzustand.

0:01:03.086,0:01:05.447
Ich würde nicht darauf sitzen wollen.

0:01:05.447,0:01:06.751
(Gelächter)

0:01:06.751,0:01:08.492
Fragen wir uns:

0:01:08.492,0:01:11.693
Was ist die Ursache[br]dieser aktuellen Anomalie?

0:01:11.843,0:01:14.621
Manche Leute würden sagen,[br]dass es Technologie ist.

0:01:14.621,0:01:16.242
Das ist richtig,

0:01:16.242,0:01:19.593
Technologie hat sich [br]im Laufe der Zeit angesammelt,

0:01:19.593,0:01:23.568
und im Moment entwickelt sich [br]die Technologie extrem schnell --

0:01:23.568,0:01:28.093
das ist die unmittelbare Ursache, [br]deshalb sind wir derzeit so produktiv.

0:01:28.533,0:01:32.134
Aber ich denke gerne weiter [br]an die ultimative Ursache.

0:01:33.114,0:01:36.880
Schauen Sie sich diese zwei [br]hoch angesehenen Herren an:

0:01:36.880,0:01:38.480
Wir haben Kanzi --

0:01:38.480,0:01:43.123
er hat 200 Begriffe gemeistert, [br]eine unglaubliche Leistung.

0:01:43.123,0:01:46.647
Und Ed Witten entfesselte [br]die zweite Superstring-Revolution.

0:01:46.647,0:01:48.899
Ein Blick unter die Haube zeigt das hier:

0:01:48.899,0:01:50.501
im Grunde das Gleiche.

0:01:50.501,0:01:52.154
Das eine ist etwas größer,

0:01:52.154,0:01:55.622
es hat vielleicht auch ein paar Tricks [br]in der Art, wie es verkabelt ist.

0:01:55.622,0:01:59.094
Diese unsichtbaren Unterschiede können [br]aber nicht allzu kompliziert sein,

0:01:59.094,0:02:02.376
da es seit unserem letzten [br]gemeinsamen Vorfahren

0:02:02.376,0:02:05.309
nur 250.000 Generationen gab.

0:02:05.309,0:02:09.780
Komplizierte Mechanismen brauchen[br]bekanntlich viel Zeit zur Entwicklung.

0:02:09.780,0:02:13.299
So führen uns einige[br]relativ kleine Änderungen

0:02:13.299,0:02:15.319
von Kanzi zu Witten,

0:02:15.566,0:02:20.109
von abgebrochenen Ästen [br]bis hin zu Interkontinentalraketen.

0:02:20.579,0:02:23.054
Es ist also ziemlich offensichtlich,

0:02:23.054,0:02:26.152
dass all unsere Leistungen[br]und alles, was uns interessiert,

0:02:26.152,0:02:29.340
entscheidend von einigen [br]relativ kleinen Veränderungen abhängt,

0:02:29.340,0:02:32.022
die den menschlichen Geist ausmachen.

0:02:32.332,0:02:34.849
Die logische Folge ist natürlich,

0:02:34.849,0:02:39.021
dass jede weitere Veränderung [br]des Substrats des Denkens

0:02:39.561,0:02:42.466
enorme Konsequenzen haben könnte.

0:02:44.486,0:02:47.584
Einige meiner Kollegen glauben,[br]dass wir kurz vor etwas stehen,

0:02:47.584,0:02:51.557
was zu einer tiefgreifenden Veränderung[br]dieses Substrats führen könnte,

0:02:51.557,0:02:54.486
und das ist Maschinen-Superintelligenz.

0:02:54.486,0:02:58.891
Künstliche Intelligenz hieß,[br]Befehle in eine Box zu stecken.

0:02:58.891,0:03:04.056
Menschliche Programmierer[br]bastelten mühsam Wissenselemente.

0:03:04.586,0:03:07.906
Man baute Expertensysteme,[br]die für einige Zwecke nützlich waren,

0:03:07.906,0:03:10.977
aber sie waren nicht skalierbar.

0:03:10.977,0:03:14.310
Im Grunde bekam man nur heraus,[br]was man zuvor hineingebaut hatte.

0:03:14.310,0:03:17.007
Aber seitdem gab es[br]einen Paradigmenwechsel

0:03:17.007,0:03:18.874
im Bereich der künstlichen Intelligenz.

0:03:18.874,0:03:21.644
Heute geht alles um maschinelles Lernen.

0:03:22.394,0:03:27.781
Anstatt Wissensrepräsentationen[br]und -eigenschaften manuell zu erstellen,

0:03:28.511,0:03:34.065
erstellen wir Algorithmen, die oft [br]aus rohen sensorischen Daten lernen.

0:03:34.065,0:03:39.063
Genau das Gleiche, [br]was das menschliche Kind tut.

0:03:39.063,0:03:43.270
Das Ergebnis ist KI, die nicht [br]auf eine Domäne beschränkt ist --

0:03:43.270,0:03:47.901
das gleiche System kann lernen, [br]beliebige Sprachpaare zu übersetzen,

0:03:47.901,0:03:53.338
oder lernen, jedes Computerspiel [br]auf der Atari-Konsole zu spielen.

0:03:53.338,0:03:58.807
Natürlich hat KI noch nicht annähernd[br]die gleiche universelle Fähigkeit,

0:03:58.807,0:04:01.835
zu lernen und zu planen [br]wie ein menschliches Wesen.

0:04:01.835,0:04:04.231
Der Kortex hat noch[br]einige algorithmische Tricks,

0:04:04.241,0:04:07.846
von denen wir noch nicht wissen, [br]wie wir sie in Maschinen abbilden sollen.

0:04:07.886,0:04:09.495
Die Frage ist also:

0:04:09.495,0:04:13.285
Wie weit sind wir in der Lage, [br]diesen Tricks zu entsprechen?

0:04:13.915,0:04:16.188
Vor ein paar Jahren[br]machten wir eine Umfrage

0:04:16.188,0:04:18.766
unter einigen der weltweit[br]führenden KI-Experten,

0:04:18.766,0:04:21.440
um zu sehen, was sie denken, [br]und eine der Fragen war:

0:04:21.440,0:04:24.793
"In welchem Jahr sehen Sie[br]eine 50 %-Wahrscheinlichkeit,

0:04:24.793,0:04:28.275
dass wir maschinelle Intelligenz [br]auf menschlicher Ebene erreicht haben?"

0:04:28.785,0:04:31.868
Wir definierten hierbei[br]die menschliche Ebene als Fähigkeit,

0:04:31.868,0:04:35.839
fast jeden Job mindestens so gut[br]wie ein erwachsener Mensch zu können,

0:04:35.839,0:04:39.844
also die echte menschliche Ebene, [br]nicht nur für einen Spezialbereich.

0:04:39.844,0:04:43.494
Die mittlere Antwort war 2040 oder 2050,

0:04:43.494,0:04:46.470
je nachdem, welche Gruppe [br]von Experten wir fragten.

0:04:46.950,0:04:50.339
Das könnte sehr viel später [br]oder auch früher passieren,

0:04:50.339,0:04:52.279
niemand weiß das wirklich.

0:04:52.939,0:04:57.671
Wir wissen aber, dass die ultimative [br]Grenze für die Informationsverarbeitung

0:04:57.671,0:05:02.542
in einer Maschine weit jenseits der [br]Grenzen des biologischen Gewebes liegt.

0:05:02.941,0:05:05.319
Das liegt an der Physik.

0:05:05.319,0:05:08.708
Ein biologisches Neuron[br]feuert mit etwa 200 Hertz,

0:05:08.708,0:05:10.337
200-mal pro Sekunde.

0:05:10.337,0:05:13.931
Aber sogar ein heutiger Transistor [br]arbeitet mit 1 Gigahertz.

0:05:13.931,0:05:19.228
Neuronen bewegen sich langsam in Axonen,[br]maximal 100 Meter pro Sekunde.

0:05:19.228,0:05:23.079
Aber in Computern können sich Signale[br]mit Lichtgeschwindigkeit bewegen.

0:05:23.079,0:05:24.948
Es gibt auch Größenbeschränkungen,

0:05:24.948,0:05:27.975
weil ein menschliches Gehirn[br]in einen Schädel passen muss.

0:05:27.975,0:05:32.736
Aber ein Computer kann so groß[br]wie ein Lagerhaus oder größer sein.

0:05:32.736,0:05:38.335
Also ruht das Potential [br]für Superintelligenz in der Materie,

0:05:38.335,0:05:44.047
ähnlich wie die Kraft des Atoms[br]während der Menschheitsgeschichte ruhte

0:05:44.047,0:05:48.062
und dort geduldig bis 1945 wartete.

0:05:48.062,0:05:50.840
In diesem Jahrhundert[br]könnten Wissenschaftler lernen,

0:05:50.840,0:05:53.818
die Kraft der künstlichen[br]Intelligenz zu wecken.

0:05:53.818,0:05:57.826
Ich denke, wir könnten dann [br]eine Intelligenzexplosion erleben.

0:05:58.076,0:06:02.363
Wenn die meisten Leute darüber nachdenken,[br]was schlau und was dumm ist,

0:06:02.363,0:06:05.386
haben sie etwa dieses Bild vor Augen:

0:06:05.386,0:06:07.984
An einem Ende haben wir den Dorftrottel,

0:06:07.984,0:06:12.627
und weit entfernt am anderen Ende[br]haben wir Ed Witten oder Albert Einstein,

0:06:12.627,0:06:15.223
oder wer auch immer Ihr Lieblingsguru ist.

0:06:15.223,0:06:19.057
Aber ich denke, dass vom Standpunkt [br]der künstlichen Intelligenz

0:06:19.057,0:06:22.738
das wahre Bild wohl eher so aussieht:

0:06:22.998,0:06:26.416
KI beginnt hier an diesem Punkt, [br]bei null Intelligenz

0:06:26.416,0:06:29.647
und nach sehr vielen Jahren [br]wirklich harter Arbeit

0:06:29.647,0:06:33.491
kommen wir vielleicht [br]zur KI auf Mausebene,

0:06:33.491,0:06:35.921
etwas, das durch ungeordnete Umgebungen

0:06:35.921,0:06:37.908
navigieren kann wie eine Maus.

0:06:37.908,0:06:42.221
Dann, nach noch viel mehr Jahren[br]wirklich harter Arbeit und viel Geld,

0:06:42.221,0:06:46.860
kommen wir vielleicht irgendwann [br]zur KI auf Schimpansen-Ebene.

0:06:46.860,0:06:50.070
Nach noch mehr Jahren härtester Arbeit

0:06:50.070,0:06:52.633
kommen wir zur Dorftrottel-KI.

0:06:52.633,0:06:56.255
Und wenige Augenblicke später [br]sind wir hinter Ed Witten.

0:06:56.255,0:06:59.225
Der Zug endet nicht in Menschenhausen.

0:06:59.225,0:07:02.247
Er wird wohl eher einfach durchrauschen.

0:07:02.247,0:07:04.601
Das hat tiefgreifende Auswirkungen,

0:07:04.601,0:07:07.863
besonders wenn es um Machtfragen geht.

0:07:07.863,0:07:09.992
Zum Beispiel sind Schimpansen stark --

0:07:09.992,0:07:14.924
ein Schimpanse ist pro Kilo etwa [br]doppelt so stark wie ein fitter Mann.

0:07:14.924,0:07:18.531
Aber das Schicksal von Kanzi[br]und seinen Freunden

0:07:18.531,0:07:21.468
hängt viel mehr von dem ab,[br]was wir Menschen tun,

0:07:21.468,0:07:23.968
als von dem, was Schimpansen selbst tun.

0:07:25.228,0:07:27.542
Sobald es eine Superintelligenz gibt,

0:07:27.542,0:07:31.551
kann das Schicksal der Menschheit[br]vom Tun der Superintelligenz abhängen.

0:07:32.201,0:07:33.868
Denken Sie darüber nach:

0:07:33.868,0:07:38.262
KI ist die letzte Erfindung, [br]die die Menschheit je machen muss.

0:07:38.262,0:07:41.265
Maschinen sind dann [br]besser im Erfinden als wir

0:07:41.265,0:07:44.065
und tun es mit digitalen Zeitmaßstäben.

0:07:44.065,0:07:48.516
Im Grunde bedeutet das[br]eine Komprimierung der Zukunft.

0:07:48.516,0:07:52.514
Denken Sie an all die verrückten Sachen,[br]von denen Sie sich vorstellen könnten,

0:07:52.514,0:07:55.322
dass die Menschen sie[br]zu gegebener Zeit entwickelt hätten:

0:07:55.322,0:07:58.390
Mittel gegen das Altern, [br]Besiedelung des Alls,

0:07:58.390,0:08:00.015
selbstreplizierende Nanobots

0:08:00.015,0:08:02.641
oder das Hochladen[br]des menschlichen Geistes in Computer;

0:08:02.641,0:08:04.470
alle möglichen futuristischen Dinge,

0:08:04.470,0:08:07.207
solange es mit den Gesetzen[br]der Physik übereinstimmt.

0:08:07.207,0:08:11.419
All das könnte die Superintelligenz[br]wohl ziemlich schnell entwickeln.

0:08:12.019,0:08:16.007
Eine Superintelligenz mit [br]einer solchen technologischen Reife

0:08:16.007,0:08:18.186
wäre extrem mächtig,

0:08:18.186,0:08:21.039
und zumindest in einigen Szenarien[br]wäre sie in der Lage,

0:08:21.039,0:08:22.732
ihren Willen zu bekommen.

0:08:22.732,0:08:24.992
Wir hätten dann eine Zukunft,

0:08:24.992,0:08:28.033
die durch die Vorlieben[br]dieser KI geprägt wäre.

0:08:29.405,0:08:33.604
Eine gute Frage ist dann:[br]"Was sind das für Vorlieben?"

0:08:34.244,0:08:36.013
Hier wird es kniffliger.

0:08:36.013,0:08:37.448
Um damit voranzukommen,

0:08:37.448,0:08:40.794
müssen wir vor allem[br]die Anthropomorphisierung vermeiden.

0:08:41.934,0:08:45.235
Das ist ironisch, [br]weil jeder Zeitungsartikel

0:08:45.235,0:08:49.090
über die Zukunft der KI[br]etwa so ein Bild davon malt:

0:08:50.280,0:08:54.414
Also denke ich, dass wir das Thema [br]abstrakter verstehen müssen,

0:08:54.414,0:08:57.204
nicht wie in den lebhaften [br]Hollywood-Szenarien.

0:08:57.204,0:09:00.821
Wir müssen Intelligenz[br]als Optimierungsprozess betrachten,

0:09:00.821,0:09:06.470
einen Prozess, der die Zukunft[br]in eine Reihe von Konfigurationen steuert.

0:09:06.470,0:09:09.981
Eine Superintelligenz ist ein [br]wirklich starker Optimierungsprozess.

0:09:09.981,0:09:12.938
Sie ist sehr gut darin,[br]verfügbare Mittel zu verwenden,

0:09:12.938,0:09:16.197
um einen Zustand zu erreichen,[br]in dem das Ziel realisiert ist.

0:09:16.197,0:09:18.489
Es gibt also keinen[br]zwingenden Zusammenhang

0:09:18.489,0:09:22.683
zwischen einer hohen Intelligenz[br]in diesem Sinne und einem Ziel,

0:09:22.683,0:09:26.515
das wir Menschen für lohnend[br]oder sinnvoll halten würden.

0:09:27.101,0:09:30.945
Angenommen, wir geben einer KI das Ziel,[br]Menschen zum Lächeln zu bringen.

0:09:30.945,0:09:34.587
Eine schwache KI führt nützliche[br]oder amüsante Handlungen durch,

0:09:34.587,0:09:36.614
die ihren Benutzer zum Lächeln bringen.

0:09:36.614,0:09:39.391
Eine superintelligente KI erkennt,

0:09:39.391,0:09:42.554
dass es einen effektiveren Weg gibt,[br]dieses Ziel zu erreichen:

0:09:42.554,0:09:44.576
die Kontrolle über die Welt zu übernehmen

0:09:44.576,0:09:47.638
und Elektroden in die Gesichtsmuskeln[br]von Menschen zu stecken,

0:09:47.638,0:09:50.469
um ein konstantes,[br]strahlendes Grinsen zu verursachen.

0:09:50.469,0:09:51.614
Ein anderes Beispiel:[br]

0:09:51.614,0:09:54.997
Angenommen, die KI soll ein schwieriges [br]mathematisches Problem lösen.

0:09:54.997,0:09:57.114
Eine superintelligente KI erkennt,

0:09:57.114,0:10:01.105
dass der effektivste Weg[br]zur Lösung dieses Problems darin besteht,

0:10:01.105,0:10:04.035
den Planeten in einen [br]riesigen Computer zu verwandeln,

0:10:04.035,0:10:06.081
um ihre Denkfähigkeit zu erhöhen.

0:10:06.081,0:10:09.045
Man beachte, dass dies den KIs[br]einen instrumentalen Grund gibt,

0:10:09.045,0:10:11.491
Dinge zu tun, die uns[br]vielleicht nicht gefallen.

0:10:11.491,0:10:13.686
Menschen sind in diesem Modell[br]eine Bedrohung,

0:10:13.686,0:10:17.217
denn wir könnten die Lösung[br]des mathematischen Problems verhindern.

0:10:17.217,0:10:20.061
Natürlich werden Dinge nicht[br]genau so schiefgehen;

0:10:20.061,0:10:22.064
das sind Cartoon-Beispiele.

0:10:22.064,0:10:24.123
Aber der generelle Punkt hier ist wichtig:

0:10:24.123,0:10:27.186
Wenn Sie einen wirklich mächtigen[br]Optimierungsprozess erstellen,

0:10:27.186,0:10:29.250
um für das Ziel x zu maximieren,

0:10:29.250,0:10:32.876
sollten Sie sicherstellen, [br]dass Ihre Definition von x alles enthält,

0:10:32.876,0:10:34.245
was Ihnen wichtig ist.

0:10:34.835,0:10:39.219
Diese Lektion wird auch[br]in vielen Mythen gelehrt.

0:10:39.219,0:10:43.507
König Midas wünscht, dass alles, [br]was er berührt, zu Gold wird.

0:10:44.197,0:10:47.368
Er berührt seine Tochter, [br]sie verwandelt sich in Gold.

0:10:47.378,0:10:49.931
Er berührt sein Essen, [br]es verwandelt sich in Gold.

0:10:49.931,0:10:52.520
Das könnte praktisch relevant werden,

0:10:52.520,0:10:54.590
nicht nur als Metapher für Gier,

0:10:54.590,0:10:56.275
sondern als Illustration für das, [br]

0:10:56.275,0:10:59.532
was passiert, wenn Sie einen mächtigen [br]Optimierungsprozess erstellen

0:10:59.532,0:11:04.111
und ihm falsche oder schlecht [br]spezifizierte Ziele geben.

0:11:04.111,0:11:07.195
Nun könnte man sagen,[br]wenn ein Computer anfängt,

0:11:07.195,0:11:09.680
Elektroden in die Gesichter[br]von Menschen zu stecken,

0:11:09.680,0:11:12.215
würden wir ihn einfach abschalten.

0:11:12.405,0:11:17.895
A, das ist nicht unbedingt so einfach, [br]wenn wir abhängig vom System sind.

0:11:17.895,0:11:20.627
Wo etwa ist der Ausschalter des Internets?

0:11:20.627,0:11:25.347
B, warum haben die Schimpansen nicht [br]den Schalter an der Menschheit

0:11:25.347,0:11:27.298
oder den Neandertalern ausgeschaltet?

0:11:27.298,0:11:29.964
Sie hatten sicherlich Gründe.

0:11:29.964,0:11:32.759
Wir haben zum Beispiel[br]einen Aus-Schalter hier.

0:11:32.759,0:11:34.313
(Würgen)

0:11:34.313,0:11:37.238
Der Grund ist, dass wir [br]ein intelligenter Gegner sind;

0:11:37.238,0:11:39.966
wir können Bedrohungen [br]vorhersehen und ihnen ausweichen.

0:11:39.966,0:11:42.470
Aber das könnte auch[br]ein superintelligenter Agent,

0:11:42.470,0:11:45.724
und der wäre viel besser [br]darin als wir selbst.

0:11:45.724,0:11:48.587
Wir sollten uns also nicht zu sicher sein,

0:11:49.467,0:11:52.911
dass wir das hier unter Kontrolle haben.

0:11:52.911,0:11:56.238
Wir könnten versuchen, unsere Arbeit [br]ein wenig einfacher zu machen,

0:11:56.238,0:11:58.028
indem wir die KI in eine Box sperren,

0:11:58.028,0:11:59.744
wie eine sichere Software-Umgebung, [br]

0:11:59.744,0:12:02.896
eine Virtual-Reality-Simulation, [br]aus der sie nicht entkommen kann.

0:12:02.896,0:12:06.912
Aber wie sicher können wir sein, [br]dass die KI keine Lücke findet? [br]

0:12:06.912,0:12:10.081
Da schon menschliche Hacker [br]ständig solche Fehler finden,

0:12:10.081,0:12:13.117
würde ich sagen, wohl nicht sehr sicher.

0:12:14.237,0:12:18.785
Also trennen wir das Ethernetkabel, [br]um einen Luftspalt zu schaffen, [br]

0:12:18.785,0:12:22.383
aber selbst menschliche Hacker[br]überwinden solche Luftlücken

0:12:23.433,0:12:25.474
routinemäßig durch Social Engineering.

0:12:25.484,0:12:28.503
Sicher gibt es gerade[br]irgendwo einen Angestellten,

0:12:28.503,0:12:31.828
der von einem vermeintlichen Mitarbeiter[br]aus der IT überredet wurde,

0:12:31.828,0:12:34.574
seine Kontodaten preiszugeben.

0:12:34.574,0:12:36.701
Es sind auch kreativere Szenarien möglich.

0:12:36.701,0:12:41.328
Als KI kann man Elektroden [br]in seiner internen Schaltung umbauen,

0:12:41.328,0:12:44.560
um Funkwellen zu erzeugen,[br]mit denen man kommunizieren kann.

0:12:44.560,0:12:47.384
Oder man gibt eine Fehlfunktion vor,

0:12:47.384,0:12:50.801
und wenn die Programmierer nachsehen,[br]was schiefgelaufen ist,

0:12:50.801,0:12:53.097
sehen sie sich den Quellcode an -- Bam! --

0:12:53.097,0:12:55.314
Die Manipulation kann stattfinden.

0:12:55.314,0:12:58.744
Oder sie könnte den Bauplan zu einer [br]raffinierten Technologie ausgeben,

0:12:58.744,0:13:02.232
und wenn wir die implementieren, [br]hat sie einen verborgenen Nebeneffekt,

0:13:02.232,0:13:04.539
den die KI geplant hatte.

0:13:04.539,0:13:08.002
Der Punkt ist, dass wir nicht[br]auf unsere Fähigkeit vertrauen sollten,

0:13:08.002,0:13:11.880
einen superintelligenten Geist für immer[br]in seiner Flasche eingesperrt zu halten.

0:13:11.880,0:13:14.064
Früher oder später kommt er heraus.

0:13:14.774,0:13:18.137
Ich glaube, wir müssen herausfinden,

0:13:18.137,0:13:23.161
wie man superintelligente KI so baut,[br]dass wenn sie -- sobald -- sie entkommt,

0:13:23.161,0:13:26.438
es immer noch sicher ist, [br]weil sie fest auf unserer Seite ist,

0:13:26.438,0:13:28.337
weil sie unsere Werte teilt.

0:13:28.337,0:13:31.547
Es führt kein Weg um dieses[br]schwierige Problem herum.

0:13:32.557,0:13:36.391
Ich bin aber ziemlich optimistisch, [br]dass es gelöst werden kann.

0:13:36.391,0:13:40.294
Wir müssten keine lange Liste von allem [br]aufschreiben, was uns wichtig ist,

0:13:40.294,0:13:41.867
oder schlimmer noch,

0:13:41.867,0:13:45.391
es in irgendeiner Computersprache[br]wie C++ oder Python buchstabieren;

0:13:45.391,0:13:48.158
das wäre eine Aufgabe, [br]die mehr als hoffnungslos ist.

0:13:48.158,0:13:52.455
Stattdessen würden wir eine KI bauen, [br]die ihre Intelligenz nutzt,

0:13:52.455,0:13:55.226
um zu lernen, was wir wertschätzen,

0:13:55.226,0:13:58.106
und ihr Motivationssystem[br]ist so konstruiert,

0:13:58.106,0:14:00.506
dass sie anstrebt,[br]unsere Ziele zu verfolgen

0:14:00.506,0:14:05.738
oder Dinge zu tun, von denen [br]sie erwartet, dass wir sie billigen.

0:14:05.738,0:14:09.152
Wir würden somit ihre Intelligenz

0:14:09.152,0:14:12.577
für das Problem der Wertedefinition[br]so gut wie möglich einsetzen.

0:14:12.577,0:14:14.239
Das kann passieren,

0:14:14.239,0:14:17.835
und das Ergebnis könnte [br]sehr gut für die Menschheit sein.

0:14:17.835,0:14:21.572
Aber es geschieht nicht automatisch.

0:14:21.572,0:14:24.530
Die Anfangsbedingungen [br]für die Intelligenzexplosion

0:14:24.530,0:14:27.653
müssen genau auf die richtige [br]Art und Weise aufgestellt werden,

0:14:27.653,0:14:31.183
wenn wir eine kontrollierte [br]Detonation haben wollen.

0:14:31.183,0:14:33.801
Die Werte der KI müssen [br]mit unseren übereinstimmen,

0:14:33.801,0:14:35.471
nicht nur im vertrauten Kontext,

0:14:35.471,0:14:38.249
wo wir leicht überprüfen können,[br]wie die KI sich verhält,

0:14:38.249,0:14:40.493
sondern auch in allen neuen Situationen,

0:14:40.493,0:14:43.330
auf die die KI in der[br]unbestimmten Zukunft treffen könnte.

0:14:43.330,0:14:47.187
Es gibt auch einige esoterische Fragen,[br]die gelöst werden müssten:

0:14:47.187,0:14:49.616
die genauen Details [br]ihrer Entscheidungstheorie,

0:14:49.616,0:14:52.480
wie mit logischer Unsicherheit [br]umzugehen ist usw.

0:14:52.980,0:14:56.102
Die technischen Probleme, [br]die dafür gelöst werden müssen,

0:14:56.102,0:14:57.545
sind ziemlich schwierig --

0:14:57.545,0:15:00.925
nicht so schwierig, wie eine [br]superintelligente KI zu bauen,

0:15:00.925,0:15:02.753
aber ziemlich schwierig.

0:15:03.473,0:15:05.488
Hier ist die Sorge:

0:15:05.488,0:15:09.562
Superintelligente KI zu bauen[br]ist eine wirklich harte Herausforderung.

0:15:09.912,0:15:12.720
Sichere superintelligente KI zu bauen

0:15:12.720,0:15:15.456
birgt noch zusätzliche Herausforderungen.

0:15:16.216,0:15:19.703
Das Risiko besteht darin, [br]dass jemand die erste Hürde knackt, [br]

0:15:19.703,0:15:23.374
ohne die zusätzliche Herausforderung, [br]perfekte Sicherheit zu gewährleisten,

0:15:23.374,0:15:24.955
ebenfalls zu knacken.

0:15:25.375,0:15:26.916
Ich denke daher,

0:15:26.916,0:15:30.748
wir sollten im Vorfeld[br]das Steuerungsproblem lösen,

0:15:31.208,0:15:34.628
damit wir eine Lösung haben,[br]wenn sie benötigt wird.

0:15:34.658,0:15:38.555
Vielleicht können wir nicht das[br]ganze Steuerungsproblem im Voraus lösen,

0:15:38.555,0:15:41.429
weil vielleicht einige Elemente [br]erst gesetzt werden können,

0:15:41.429,0:15:45.296
wenn wir die Details der Architektur, [br]in der sie implementiert werden, kennen.

0:15:45.296,0:15:48.676
Je mehr Kontrollprobleme [br]wir jedoch im Voraus lösen,

0:15:48.676,0:15:51.596
desto besser sind die Chancen, [br]dass der Übergang

0:15:51.596,0:15:54.306
zur Maschinenintelligenz gut verläuft.

0:15:54.306,0:15:58.950
Das sieht für mich nach einer Sache aus, [br]die es wert ist, getan zu werden,

0:15:58.950,0:16:02.282
und ich kann mir vorstellen, [br]dass wenn die Dinge gut laufen,

0:16:02.282,0:16:06.550
die Leute in einer Million Jahre[br]auf dieses Jahrhundert zurückblicken

0:16:06.550,0:16:08.782
und möglicherweise sagen,

0:16:08.782,0:16:12.469
dass unsere einzige wichtige Leistung[br]der Erfolg bei dieser Sache war.

0:16:12.469,0:16:13.858
Vielen Dank.

0:16:13.858,0:16:15.501
(Beifall)[br]