[Script Info]
Title: 
[Events]
Format: Layer, Start, End, Style, Name, MarginL, MarginR, MarginV, Effect, Text
Dialogue: 0,0:00:00.57,0:00:06.18,Default,,0000,0000,0000,,Ich arbeite mit einigen Mathematikern,\NPhilosophen und Informatikern zusammen.
Dialogue: 0,0:00:06.18,0:00:08.45,Default,,0000,0000,0000,,Wir sitzen herum
Dialogue: 0,0:00:08.45,0:00:12.03,Default,,0000,0000,0000,,und denken z. B. über die Zukunft\Nder maschinellen Intelligenz nach.
Dialogue: 0,0:00:12.03,0:00:15.96,Default,,0000,0000,0000,,Manche Leute denken,\Neiniges davon sei sehr futuristisch,
Dialogue: 0,0:00:16.60,0:00:19.16,Default,,0000,0000,0000,,ausgefallen, einfach verrückt.
Dialogue: 0,0:00:19.71,0:00:21.33,Default,,0000,0000,0000,,Aber ich sage gern:
Dialogue: 0,0:00:21.33,0:00:24.93,Default,,0000,0000,0000,,Betrachten wir den Zustand\Ndes modernen Menschen.
Dialogue: 0,0:00:24.93,0:00:26.34,Default,,0000,0000,0000,,(Gelächter)
Dialogue: 0,0:00:26.34,0:00:29.02,Default,,0000,0000,0000,,Das ist der normale Gang der Dinge.
Dialogue: 0,0:00:29.02,0:00:31.17,Default,,0000,0000,0000,,Aber wenn wir darüber nachdenken,
Dialogue: 0,0:00:31.17,0:00:35.63,Default,,0000,0000,0000,,ist die menschliche Spezies erst\Nseit Kurzem Gast auf diesem Planeten.
Dialogue: 0,0:00:35.99,0:00:38.13,Default,,0000,0000,0000,,Denken Sie darüber nach:
Dialogue: 0,0:00:38.13,0:00:41.25,Default,,0000,0000,0000,,Wäre die Erde erst\Nvor einem Jahr erschaffen worden,
Dialogue: 0,0:00:41.25,0:00:44.98,Default,,0000,0000,0000,,dann wäre der Mensch erst 10 Minuten alt.
Dialogue: 0,0:00:44.98,0:00:48.15,Default,,0000,0000,0000,,Die industrielle Ära hätte\Nvor zwei Sekunden begonnen.
Dialogue: 0,0:00:49.28,0:00:54.23,Default,,0000,0000,0000,,Man könnte auch das Welt-BIP\Nder letzten 10.000 Jahre betrachten.
Dialogue: 0,0:00:54.23,0:00:57.85,Default,,0000,0000,0000,,Ich habe mir die Mühe gemacht,\Ndies für Sie grafisch darzustellen.
Dialogue: 0,0:00:57.85,0:00:59.63,Default,,0000,0000,0000,,Es sieht so aus.
Dialogue: 0,0:00:59.63,0:01:00.66,Default,,0000,0000,0000,,(Gelächter)
Dialogue: 0,0:01:00.66,0:01:03.09,Default,,0000,0000,0000,,Es ist eine seltsame Form\Nfür einen Normalzustand.
Dialogue: 0,0:01:03.09,0:01:05.45,Default,,0000,0000,0000,,Ich würde nicht darauf sitzen wollen.
Dialogue: 0,0:01:05.45,0:01:06.75,Default,,0000,0000,0000,,(Gelächter)
Dialogue: 0,0:01:06.75,0:01:08.49,Default,,0000,0000,0000,,Fragen wir uns:
Dialogue: 0,0:01:08.49,0:01:11.69,Default,,0000,0000,0000,,Was ist die Ursache\Ndieser aktuellen Anomalie?
Dialogue: 0,0:01:11.84,0:01:14.62,Default,,0000,0000,0000,,Manche Leute würden sagen,\Ndass es Technologie ist.
Dialogue: 0,0:01:14.62,0:01:16.24,Default,,0000,0000,0000,,Das ist richtig,
Dialogue: 0,0:01:16.24,0:01:19.59,Default,,0000,0000,0000,,Technologie hat sich \Nim Laufe der Zeit angesammelt,
Dialogue: 0,0:01:19.59,0:01:23.57,Default,,0000,0000,0000,,und im Moment entwickelt sich \Ndie Technologie extrem schnell --
Dialogue: 0,0:01:23.57,0:01:28.09,Default,,0000,0000,0000,,das ist die unmittelbare Ursache, \Ndeshalb sind wir derzeit so produktiv.
Dialogue: 0,0:01:28.53,0:01:32.13,Default,,0000,0000,0000,,Aber ich denke gerne weiter \Nan die ultimative Ursache.
Dialogue: 0,0:01:33.11,0:01:36.88,Default,,0000,0000,0000,,Schauen Sie sich diese zwei \Nhoch angesehenen Herren an:
Dialogue: 0,0:01:36.88,0:01:38.48,Default,,0000,0000,0000,,Wir haben Kanzi --
Dialogue: 0,0:01:38.48,0:01:43.12,Default,,0000,0000,0000,,er hat 200 Begriffe gemeistert, \Neine unglaubliche Leistung.
Dialogue: 0,0:01:43.12,0:01:46.65,Default,,0000,0000,0000,,Und Ed Witten entfesselte \Ndie zweite Superstring-Revolution.
Dialogue: 0,0:01:46.65,0:01:48.90,Default,,0000,0000,0000,,Ein Blick unter die Haube zeigt das hier:
Dialogue: 0,0:01:48.90,0:01:50.50,Default,,0000,0000,0000,,im Grunde das Gleiche.
Dialogue: 0,0:01:50.50,0:01:52.15,Default,,0000,0000,0000,,Das eine ist etwas größer,
Dialogue: 0,0:01:52.15,0:01:55.62,Default,,0000,0000,0000,,es hat vielleicht auch ein paar Tricks \Nin der Art, wie es verkabelt ist.
Dialogue: 0,0:01:55.62,0:01:59.09,Default,,0000,0000,0000,,Diese unsichtbaren Unterschiede können \Naber nicht allzu kompliziert sein,
Dialogue: 0,0:01:59.09,0:02:02.38,Default,,0000,0000,0000,,da es seit unserem letzten \Ngemeinsamen Vorfahren
Dialogue: 0,0:02:02.38,0:02:05.31,Default,,0000,0000,0000,,nur 250.000 Generationen gab.
Dialogue: 0,0:02:05.31,0:02:09.78,Default,,0000,0000,0000,,Komplizierte Mechanismen brauchen\Nbekanntlich viel Zeit zur Entwicklung.
Dialogue: 0,0:02:09.78,0:02:13.30,Default,,0000,0000,0000,,So führen uns einige\Nrelativ kleine Änderungen
Dialogue: 0,0:02:13.30,0:02:15.32,Default,,0000,0000,0000,,von Kanzi zu Witten,
Dialogue: 0,0:02:15.57,0:02:20.11,Default,,0000,0000,0000,,von abgebrochenen Ästen \Nbis hin zu Interkontinentalraketen.
Dialogue: 0,0:02:20.58,0:02:23.05,Default,,0000,0000,0000,,Es ist also ziemlich offensichtlich,
Dialogue: 0,0:02:23.05,0:02:26.15,Default,,0000,0000,0000,,dass all unsere Leistungen\Nund alles, was uns interessiert,
Dialogue: 0,0:02:26.15,0:02:29.34,Default,,0000,0000,0000,,entscheidend von einigen \Nrelativ kleinen Veränderungen abhängt,
Dialogue: 0,0:02:29.34,0:02:32.02,Default,,0000,0000,0000,,die den menschlichen Geist ausmachen.
Dialogue: 0,0:02:32.33,0:02:34.85,Default,,0000,0000,0000,,Die logische Folge ist natürlich,
Dialogue: 0,0:02:34.85,0:02:39.02,Default,,0000,0000,0000,,dass jede weitere Veränderung \Ndes Substrats des Denkens
Dialogue: 0,0:02:39.56,0:02:42.47,Default,,0000,0000,0000,,enorme Konsequenzen haben könnte.
Dialogue: 0,0:02:44.49,0:02:47.58,Default,,0000,0000,0000,,Einige meiner Kollegen glauben,\Ndass wir kurz vor etwas stehen,
Dialogue: 0,0:02:47.58,0:02:51.56,Default,,0000,0000,0000,,was zu einer tiefgreifenden Veränderung\Ndieses Substrats führen könnte,
Dialogue: 0,0:02:51.56,0:02:54.49,Default,,0000,0000,0000,,und das ist Maschinen-Superintelligenz.
Dialogue: 0,0:02:54.49,0:02:58.89,Default,,0000,0000,0000,,Künstliche Intelligenz hieß,\NBefehle in eine Box zu stecken.
Dialogue: 0,0:02:58.89,0:03:04.06,Default,,0000,0000,0000,,Menschliche Programmierer\Nbastelten mühsam Wissenselemente.
Dialogue: 0,0:03:04.59,0:03:07.91,Default,,0000,0000,0000,,Man baute Expertensysteme,\Ndie für einige Zwecke nützlich waren,
Dialogue: 0,0:03:07.91,0:03:10.98,Default,,0000,0000,0000,,aber sie waren nicht skalierbar.
Dialogue: 0,0:03:10.98,0:03:14.31,Default,,0000,0000,0000,,Im Grunde bekam man nur heraus,\Nwas man zuvor hineingebaut hatte.
Dialogue: 0,0:03:14.31,0:03:17.01,Default,,0000,0000,0000,,Aber seitdem gab es\Neinen Paradigmenwechsel
Dialogue: 0,0:03:17.01,0:03:18.87,Default,,0000,0000,0000,,im Bereich der künstlichen Intelligenz.
Dialogue: 0,0:03:18.87,0:03:21.64,Default,,0000,0000,0000,,Heute geht alles um maschinelles Lernen.
Dialogue: 0,0:03:22.39,0:03:27.78,Default,,0000,0000,0000,,Anstatt Wissensrepräsentationen\Nund -eigenschaften manuell zu erstellen,
Dialogue: 0,0:03:28.51,0:03:34.06,Default,,0000,0000,0000,,erstellen wir Algorithmen, die oft \Naus rohen sensorischen Daten lernen.
Dialogue: 0,0:03:34.06,0:03:39.06,Default,,0000,0000,0000,,Genau das Gleiche, \Nwas das menschliche Kind tut.
Dialogue: 0,0:03:39.06,0:03:43.27,Default,,0000,0000,0000,,Das Ergebnis ist KI, die nicht \Nauf eine Domäne beschränkt ist --
Dialogue: 0,0:03:43.27,0:03:47.90,Default,,0000,0000,0000,,das gleiche System kann lernen, \Nbeliebige Sprachpaare zu übersetzen,
Dialogue: 0,0:03:47.90,0:03:53.34,Default,,0000,0000,0000,,oder lernen, jedes Computerspiel \Nauf der Atari-Konsole zu spielen.
Dialogue: 0,0:03:53.34,0:03:58.81,Default,,0000,0000,0000,,Natürlich hat KI noch nicht annähernd\Ndie gleiche universelle Fähigkeit,
Dialogue: 0,0:03:58.81,0:04:01.84,Default,,0000,0000,0000,,zu lernen und zu planen \Nwie ein menschliches Wesen.
Dialogue: 0,0:04:01.84,0:04:04.23,Default,,0000,0000,0000,,Der Kortex hat noch\Neinige algorithmische Tricks,
Dialogue: 0,0:04:04.24,0:04:07.85,Default,,0000,0000,0000,,von denen wir noch nicht wissen, \Nwie wir sie in Maschinen abbilden sollen.
Dialogue: 0,0:04:07.89,0:04:09.50,Default,,0000,0000,0000,,Die Frage ist also:
Dialogue: 0,0:04:09.50,0:04:13.28,Default,,0000,0000,0000,,Wie weit sind wir in der Lage, \Ndiesen Tricks zu entsprechen?
Dialogue: 0,0:04:13.92,0:04:16.19,Default,,0000,0000,0000,,Vor ein paar Jahren\Nmachten wir eine Umfrage
Dialogue: 0,0:04:16.19,0:04:18.77,Default,,0000,0000,0000,,unter einigen der weltweit\Nführenden KI-Experten,
Dialogue: 0,0:04:18.77,0:04:21.44,Default,,0000,0000,0000,,um zu sehen, was sie denken, \Nund eine der Fragen war:
Dialogue: 0,0:04:21.44,0:04:24.79,Default,,0000,0000,0000,,"In welchem Jahr sehen Sie\Neine 50 %-Wahrscheinlichkeit,
Dialogue: 0,0:04:24.79,0:04:28.28,Default,,0000,0000,0000,,dass wir maschinelle Intelligenz \Nauf menschlicher Ebene erreicht haben?"
Dialogue: 0,0:04:28.78,0:04:31.87,Default,,0000,0000,0000,,Wir definierten hierbei\Ndie menschliche Ebene als Fähigkeit,
Dialogue: 0,0:04:31.87,0:04:35.84,Default,,0000,0000,0000,,fast jeden Job mindestens so gut\Nwie ein erwachsener Mensch zu können,
Dialogue: 0,0:04:35.84,0:04:39.84,Default,,0000,0000,0000,,also die echte menschliche Ebene, \Nnicht nur für einen Spezialbereich.
Dialogue: 0,0:04:39.84,0:04:43.49,Default,,0000,0000,0000,,Die mittlere Antwort war 2040 oder 2050,
Dialogue: 0,0:04:43.49,0:04:46.47,Default,,0000,0000,0000,,je nachdem, welche Gruppe \Nvon Experten wir fragten.
Dialogue: 0,0:04:46.95,0:04:50.34,Default,,0000,0000,0000,,Das könnte sehr viel später \Noder auch früher passieren,
Dialogue: 0,0:04:50.34,0:04:52.28,Default,,0000,0000,0000,,niemand weiß das wirklich.
Dialogue: 0,0:04:52.94,0:04:57.67,Default,,0000,0000,0000,,Wir wissen aber, dass die ultimative \NGrenze für die Informationsverarbeitung
Dialogue: 0,0:04:57.67,0:05:02.54,Default,,0000,0000,0000,,in einer Maschine weit jenseits der \NGrenzen des biologischen Gewebes liegt.
Dialogue: 0,0:05:02.94,0:05:05.32,Default,,0000,0000,0000,,Das liegt an der Physik.
Dialogue: 0,0:05:05.32,0:05:08.71,Default,,0000,0000,0000,,Ein biologisches Neuron\Nfeuert mit etwa 200 Hertz,
Dialogue: 0,0:05:08.71,0:05:10.34,Default,,0000,0000,0000,,200-mal pro Sekunde.
Dialogue: 0,0:05:10.34,0:05:13.93,Default,,0000,0000,0000,,Aber sogar ein heutiger Transistor \Narbeitet mit 1 Gigahertz.
Dialogue: 0,0:05:13.93,0:05:19.23,Default,,0000,0000,0000,,Neuronen bewegen sich langsam in Axonen,\Nmaximal 100 Meter pro Sekunde.
Dialogue: 0,0:05:19.23,0:05:23.08,Default,,0000,0000,0000,,Aber in Computern können sich Signale\Nmit Lichtgeschwindigkeit bewegen.
Dialogue: 0,0:05:23.08,0:05:24.95,Default,,0000,0000,0000,,Es gibt auch Größenbeschränkungen,
Dialogue: 0,0:05:24.95,0:05:27.98,Default,,0000,0000,0000,,weil ein menschliches Gehirn\Nin einen Schädel passen muss.
Dialogue: 0,0:05:27.98,0:05:32.74,Default,,0000,0000,0000,,Aber ein Computer kann so groß\Nwie ein Lagerhaus oder größer sein.
Dialogue: 0,0:05:32.74,0:05:38.34,Default,,0000,0000,0000,,Also ruht das Potential \Nfür Superintelligenz in der Materie,
Dialogue: 0,0:05:38.34,0:05:44.05,Default,,0000,0000,0000,,ähnlich wie die Kraft des Atoms\Nwährend der Menschheitsgeschichte ruhte
Dialogue: 0,0:05:44.05,0:05:48.06,Default,,0000,0000,0000,,und dort geduldig bis 1945 wartete.
Dialogue: 0,0:05:48.06,0:05:50.84,Default,,0000,0000,0000,,In diesem Jahrhundert\Nkönnten Wissenschaftler lernen,
Dialogue: 0,0:05:50.84,0:05:53.82,Default,,0000,0000,0000,,die Kraft der künstlichen\NIntelligenz zu wecken.
Dialogue: 0,0:05:53.82,0:05:57.83,Default,,0000,0000,0000,,Ich denke, wir könnten dann \Neine Intelligenzexplosion erleben.
Dialogue: 0,0:05:58.08,0:06:02.36,Default,,0000,0000,0000,,Wenn die meisten Leute darüber nachdenken,\Nwas schlau und was dumm ist,
Dialogue: 0,0:06:02.36,0:06:05.39,Default,,0000,0000,0000,,haben sie etwa dieses Bild vor Augen:
Dialogue: 0,0:06:05.39,0:06:07.98,Default,,0000,0000,0000,,An einem Ende haben wir den Dorftrottel,
Dialogue: 0,0:06:07.98,0:06:12.63,Default,,0000,0000,0000,,und weit entfernt am anderen Ende\Nhaben wir Ed Witten oder Albert Einstein,
Dialogue: 0,0:06:12.63,0:06:15.22,Default,,0000,0000,0000,,oder wer auch immer Ihr Lieblingsguru ist.
Dialogue: 0,0:06:15.22,0:06:19.06,Default,,0000,0000,0000,,Aber ich denke, dass vom Standpunkt \Nder künstlichen Intelligenz
Dialogue: 0,0:06:19.06,0:06:22.74,Default,,0000,0000,0000,,das wahre Bild wohl eher so aussieht:
Dialogue: 0,0:06:22.100,0:06:26.42,Default,,0000,0000,0000,,KI beginnt hier an diesem Punkt, \Nbei null Intelligenz
Dialogue: 0,0:06:26.42,0:06:29.65,Default,,0000,0000,0000,,und nach sehr vielen Jahren \Nwirklich harter Arbeit
Dialogue: 0,0:06:29.65,0:06:33.49,Default,,0000,0000,0000,,kommen wir vielleicht \Nzur KI auf Mausebene,
Dialogue: 0,0:06:33.49,0:06:35.92,Default,,0000,0000,0000,,etwas, das durch ungeordnete Umgebungen
Dialogue: 0,0:06:35.92,0:06:37.91,Default,,0000,0000,0000,,navigieren kann wie eine Maus.
Dialogue: 0,0:06:37.91,0:06:42.22,Default,,0000,0000,0000,,Dann, nach noch viel mehr Jahren\Nwirklich harter Arbeit und viel Geld,
Dialogue: 0,0:06:42.22,0:06:46.86,Default,,0000,0000,0000,,kommen wir vielleicht irgendwann \Nzur KI auf Schimpansen-Ebene.
Dialogue: 0,0:06:46.86,0:06:50.07,Default,,0000,0000,0000,,Nach noch mehr Jahren härtester Arbeit
Dialogue: 0,0:06:50.07,0:06:52.63,Default,,0000,0000,0000,,kommen wir zur Dorftrottel-KI.
Dialogue: 0,0:06:52.63,0:06:56.26,Default,,0000,0000,0000,,Und wenige Augenblicke später \Nsind wir hinter Ed Witten.
Dialogue: 0,0:06:56.26,0:06:59.22,Default,,0000,0000,0000,,Der Zug endet nicht in Menschenhausen.
Dialogue: 0,0:06:59.22,0:07:02.25,Default,,0000,0000,0000,,Er wird wohl eher einfach durchrauschen.
Dialogue: 0,0:07:02.25,0:07:04.60,Default,,0000,0000,0000,,Das hat tiefgreifende Auswirkungen,
Dialogue: 0,0:07:04.60,0:07:07.86,Default,,0000,0000,0000,,besonders wenn es um Machtfragen geht.
Dialogue: 0,0:07:07.86,0:07:09.99,Default,,0000,0000,0000,,Zum Beispiel sind Schimpansen stark --
Dialogue: 0,0:07:09.99,0:07:14.92,Default,,0000,0000,0000,,ein Schimpanse ist pro Kilo etwa \Ndoppelt so stark wie ein fitter Mann.
Dialogue: 0,0:07:14.92,0:07:18.53,Default,,0000,0000,0000,,Aber das Schicksal von Kanzi\Nund seinen Freunden
Dialogue: 0,0:07:18.53,0:07:21.47,Default,,0000,0000,0000,,hängt viel mehr von dem ab,\Nwas wir Menschen tun,
Dialogue: 0,0:07:21.47,0:07:23.97,Default,,0000,0000,0000,,als von dem, was Schimpansen selbst tun.
Dialogue: 0,0:07:25.23,0:07:27.54,Default,,0000,0000,0000,,Sobald es eine Superintelligenz gibt,
Dialogue: 0,0:07:27.54,0:07:31.55,Default,,0000,0000,0000,,kann das Schicksal der Menschheit\Nvom Tun der Superintelligenz abhängen.
Dialogue: 0,0:07:32.20,0:07:33.87,Default,,0000,0000,0000,,Denken Sie darüber nach:
Dialogue: 0,0:07:33.87,0:07:38.26,Default,,0000,0000,0000,,KI ist die letzte Erfindung, \Ndie die Menschheit je machen muss.
Dialogue: 0,0:07:38.26,0:07:41.26,Default,,0000,0000,0000,,Maschinen sind dann \Nbesser im Erfinden als wir
Dialogue: 0,0:07:41.26,0:07:44.06,Default,,0000,0000,0000,,und tun es mit digitalen Zeitmaßstäben.
Dialogue: 0,0:07:44.06,0:07:48.52,Default,,0000,0000,0000,,Im Grunde bedeutet das\Neine Komprimierung der Zukunft.
Dialogue: 0,0:07:48.52,0:07:52.51,Default,,0000,0000,0000,,Denken Sie an all die verrückten Sachen,\Nvon denen Sie sich vorstellen könnten,
Dialogue: 0,0:07:52.51,0:07:55.32,Default,,0000,0000,0000,,dass die Menschen sie\Nzu gegebener Zeit entwickelt hätten:
Dialogue: 0,0:07:55.32,0:07:58.39,Default,,0000,0000,0000,,Mittel gegen das Altern, \NBesiedelung des Alls,
Dialogue: 0,0:07:58.39,0:08:00.02,Default,,0000,0000,0000,,selbstreplizierende Nanobots
Dialogue: 0,0:08:00.02,0:08:02.64,Default,,0000,0000,0000,,oder das Hochladen\Ndes menschlichen Geistes in Computer;
Dialogue: 0,0:08:02.64,0:08:04.47,Default,,0000,0000,0000,,alle möglichen futuristischen Dinge,
Dialogue: 0,0:08:04.47,0:08:07.21,Default,,0000,0000,0000,,solange es mit den Gesetzen\Nder Physik übereinstimmt.
Dialogue: 0,0:08:07.21,0:08:11.42,Default,,0000,0000,0000,,All das könnte die Superintelligenz\Nwohl ziemlich schnell entwickeln.
Dialogue: 0,0:08:12.02,0:08:16.01,Default,,0000,0000,0000,,Eine Superintelligenz mit \Neiner solchen technologischen Reife
Dialogue: 0,0:08:16.01,0:08:18.19,Default,,0000,0000,0000,,wäre extrem mächtig,
Dialogue: 0,0:08:18.19,0:08:21.04,Default,,0000,0000,0000,,und zumindest in einigen Szenarien\Nwäre sie in der Lage,
Dialogue: 0,0:08:21.04,0:08:22.73,Default,,0000,0000,0000,,ihren Willen zu bekommen.
Dialogue: 0,0:08:22.73,0:08:24.99,Default,,0000,0000,0000,,Wir hätten dann eine Zukunft,
Dialogue: 0,0:08:24.99,0:08:28.03,Default,,0000,0000,0000,,die durch die Vorlieben\Ndieser KI geprägt wäre.
Dialogue: 0,0:08:29.40,0:08:33.60,Default,,0000,0000,0000,,Eine gute Frage ist dann:\N"Was sind das für Vorlieben?"
Dialogue: 0,0:08:34.24,0:08:36.01,Default,,0000,0000,0000,,Hier wird es kniffliger.
Dialogue: 0,0:08:36.01,0:08:37.45,Default,,0000,0000,0000,,Um damit voranzukommen,
Dialogue: 0,0:08:37.45,0:08:40.79,Default,,0000,0000,0000,,müssen wir vor allem\Ndie Anthropomorphisierung vermeiden.
Dialogue: 0,0:08:41.93,0:08:45.24,Default,,0000,0000,0000,,Das ist ironisch, \Nweil jeder Zeitungsartikel
Dialogue: 0,0:08:45.24,0:08:49.09,Default,,0000,0000,0000,,über die Zukunft der KI\Netwa so ein Bild davon malt:
Dialogue: 0,0:08:50.28,0:08:54.41,Default,,0000,0000,0000,,Also denke ich, dass wir das Thema \Nabstrakter verstehen müssen,
Dialogue: 0,0:08:54.41,0:08:57.20,Default,,0000,0000,0000,,nicht wie in den lebhaften \NHollywood-Szenarien.
Dialogue: 0,0:08:57.20,0:09:00.82,Default,,0000,0000,0000,,Wir müssen Intelligenz\Nals Optimierungsprozess betrachten,
Dialogue: 0,0:09:00.82,0:09:06.47,Default,,0000,0000,0000,,einen Prozess, der die Zukunft\Nin eine Reihe von Konfigurationen steuert.
Dialogue: 0,0:09:06.47,0:09:09.98,Default,,0000,0000,0000,,Eine Superintelligenz ist ein \Nwirklich starker Optimierungsprozess.
Dialogue: 0,0:09:09.98,0:09:12.94,Default,,0000,0000,0000,,Sie ist sehr gut darin,\Nverfügbare Mittel zu verwenden,
Dialogue: 0,0:09:12.94,0:09:16.20,Default,,0000,0000,0000,,um einen Zustand zu erreichen,\Nin dem das Ziel realisiert ist.
Dialogue: 0,0:09:16.20,0:09:18.49,Default,,0000,0000,0000,,Es gibt also keinen\Nzwingenden Zusammenhang
Dialogue: 0,0:09:18.49,0:09:22.68,Default,,0000,0000,0000,,zwischen einer hohen Intelligenz\Nin diesem Sinne und einem Ziel,
Dialogue: 0,0:09:22.68,0:09:26.52,Default,,0000,0000,0000,,das wir Menschen für lohnend\Noder sinnvoll halten würden.
Dialogue: 0,0:09:27.10,0:09:30.94,Default,,0000,0000,0000,,Angenommen, wir geben einer KI das Ziel,\NMenschen zum Lächeln zu bringen.
Dialogue: 0,0:09:30.94,0:09:34.59,Default,,0000,0000,0000,,Eine schwache KI führt nützliche\Noder amüsante Handlungen durch,
Dialogue: 0,0:09:34.59,0:09:36.61,Default,,0000,0000,0000,,die ihren Benutzer zum Lächeln bringen.
Dialogue: 0,0:09:36.61,0:09:39.39,Default,,0000,0000,0000,,Eine superintelligente KI erkennt,
Dialogue: 0,0:09:39.39,0:09:42.55,Default,,0000,0000,0000,,dass es einen effektiveren Weg gibt,\Ndieses Ziel zu erreichen:
Dialogue: 0,0:09:42.55,0:09:44.58,Default,,0000,0000,0000,,die Kontrolle über die Welt zu übernehmen
Dialogue: 0,0:09:44.58,0:09:47.64,Default,,0000,0000,0000,,und Elektroden in die Gesichtsmuskeln\Nvon Menschen zu stecken,
Dialogue: 0,0:09:47.64,0:09:50.47,Default,,0000,0000,0000,,um ein konstantes,\Nstrahlendes Grinsen zu verursachen.
Dialogue: 0,0:09:50.47,0:09:51.61,Default,,0000,0000,0000,,Ein anderes Beispiel:\N
Dialogue: 0,0:09:51.61,0:09:54.100,Default,,0000,0000,0000,,Angenommen, die KI soll ein schwieriges \Nmathematisches Problem lösen.
Dialogue: 0,0:09:54.100,0:09:57.11,Default,,0000,0000,0000,,Eine superintelligente KI erkennt,
Dialogue: 0,0:09:57.11,0:10:01.10,Default,,0000,0000,0000,,dass der effektivste Weg\Nzur Lösung dieses Problems darin besteht,
Dialogue: 0,0:10:01.10,0:10:04.04,Default,,0000,0000,0000,,den Planeten in einen \Nriesigen Computer zu verwandeln,
Dialogue: 0,0:10:04.04,0:10:06.08,Default,,0000,0000,0000,,um ihre Denkfähigkeit zu erhöhen.
Dialogue: 0,0:10:06.08,0:10:09.04,Default,,0000,0000,0000,,Man beachte, dass dies den KIs\Neinen instrumentalen Grund gibt,
Dialogue: 0,0:10:09.04,0:10:11.49,Default,,0000,0000,0000,,Dinge zu tun, die uns\Nvielleicht nicht gefallen.
Dialogue: 0,0:10:11.49,0:10:13.69,Default,,0000,0000,0000,,Menschen sind in diesem Modell\Neine Bedrohung,
Dialogue: 0,0:10:13.69,0:10:17.22,Default,,0000,0000,0000,,denn wir könnten die Lösung\Ndes mathematischen Problems verhindern.
Dialogue: 0,0:10:17.22,0:10:20.06,Default,,0000,0000,0000,,Natürlich werden Dinge nicht\Ngenau so schiefgehen;
Dialogue: 0,0:10:20.06,0:10:22.06,Default,,0000,0000,0000,,das sind Cartoon-Beispiele.
Dialogue: 0,0:10:22.06,0:10:24.12,Default,,0000,0000,0000,,Aber der generelle Punkt hier ist wichtig:
Dialogue: 0,0:10:24.12,0:10:27.19,Default,,0000,0000,0000,,Wenn Sie einen wirklich mächtigen\NOptimierungsprozess erstellen,
Dialogue: 0,0:10:27.19,0:10:29.25,Default,,0000,0000,0000,,um für das Ziel x zu maximieren,
Dialogue: 0,0:10:29.25,0:10:32.88,Default,,0000,0000,0000,,sollten Sie sicherstellen, \Ndass Ihre Definition von x alles enthält,
Dialogue: 0,0:10:32.88,0:10:34.24,Default,,0000,0000,0000,,was Ihnen wichtig ist.
Dialogue: 0,0:10:34.84,0:10:39.22,Default,,0000,0000,0000,,Diese Lektion wird auch\Nin vielen Mythen gelehrt.
Dialogue: 0,0:10:39.22,0:10:43.51,Default,,0000,0000,0000,,König Midas wünscht, dass alles, \Nwas er berührt, zu Gold wird.
Dialogue: 0,0:10:44.20,0:10:47.37,Default,,0000,0000,0000,,Er berührt seine Tochter, \Nsie verwandelt sich in Gold.
Dialogue: 0,0:10:47.38,0:10:49.93,Default,,0000,0000,0000,,Er berührt sein Essen, \Nes verwandelt sich in Gold.
Dialogue: 0,0:10:49.93,0:10:52.52,Default,,0000,0000,0000,,Das könnte praktisch relevant werden,
Dialogue: 0,0:10:52.52,0:10:54.59,Default,,0000,0000,0000,,nicht nur als Metapher für Gier,
Dialogue: 0,0:10:54.59,0:10:56.28,Default,,0000,0000,0000,,sondern als Illustration für das, \N
Dialogue: 0,0:10:56.28,0:10:59.53,Default,,0000,0000,0000,,was passiert, wenn Sie einen mächtigen \NOptimierungsprozess erstellen
Dialogue: 0,0:10:59.53,0:11:04.11,Default,,0000,0000,0000,,und ihm falsche oder schlecht \Nspezifizierte Ziele geben.
Dialogue: 0,0:11:04.11,0:11:07.20,Default,,0000,0000,0000,,Nun könnte man sagen,\Nwenn ein Computer anfängt,
Dialogue: 0,0:11:07.20,0:11:09.68,Default,,0000,0000,0000,,Elektroden in die Gesichter\Nvon Menschen zu stecken,
Dialogue: 0,0:11:09.68,0:11:12.22,Default,,0000,0000,0000,,würden wir ihn einfach abschalten.
Dialogue: 0,0:11:12.40,0:11:17.90,Default,,0000,0000,0000,,A, das ist nicht unbedingt so einfach, \Nwenn wir abhängig vom System sind.
Dialogue: 0,0:11:17.90,0:11:20.63,Default,,0000,0000,0000,,Wo etwa ist der Ausschalter des Internets?
Dialogue: 0,0:11:20.63,0:11:25.35,Default,,0000,0000,0000,,B, warum haben die Schimpansen nicht \Nden Schalter an der Menschheit
Dialogue: 0,0:11:25.35,0:11:27.30,Default,,0000,0000,0000,,oder den Neandertalern ausgeschaltet?
Dialogue: 0,0:11:27.30,0:11:29.96,Default,,0000,0000,0000,,Sie hatten sicherlich Gründe.
Dialogue: 0,0:11:29.96,0:11:32.76,Default,,0000,0000,0000,,Wir haben zum Beispiel\Neinen Aus-Schalter hier.
Dialogue: 0,0:11:32.76,0:11:34.31,Default,,0000,0000,0000,,(Würgen)
Dialogue: 0,0:11:34.31,0:11:37.24,Default,,0000,0000,0000,,Der Grund ist, dass wir \Nein intelligenter Gegner sind;
Dialogue: 0,0:11:37.24,0:11:39.97,Default,,0000,0000,0000,,wir können Bedrohungen \Nvorhersehen und ihnen ausweichen.
Dialogue: 0,0:11:39.97,0:11:42.47,Default,,0000,0000,0000,,Aber das könnte auch\Nein superintelligenter Agent,
Dialogue: 0,0:11:42.47,0:11:45.72,Default,,0000,0000,0000,,und der wäre viel besser \Ndarin als wir selbst.
Dialogue: 0,0:11:45.72,0:11:48.59,Default,,0000,0000,0000,,Wir sollten uns also nicht zu sicher sein,
Dialogue: 0,0:11:49.47,0:11:52.91,Default,,0000,0000,0000,,dass wir das hier unter Kontrolle haben.
Dialogue: 0,0:11:52.91,0:11:56.24,Default,,0000,0000,0000,,Wir könnten versuchen, unsere Arbeit \Nein wenig einfacher zu machen,
Dialogue: 0,0:11:56.24,0:11:58.03,Default,,0000,0000,0000,,indem wir die KI in eine Box sperren,
Dialogue: 0,0:11:58.03,0:11:59.74,Default,,0000,0000,0000,,wie eine sichere Software-Umgebung, \N
Dialogue: 0,0:11:59.74,0:12:02.90,Default,,0000,0000,0000,,eine Virtual-Reality-Simulation, \Naus der sie nicht entkommen kann.
Dialogue: 0,0:12:02.90,0:12:06.91,Default,,0000,0000,0000,,Aber wie sicher können wir sein, \Ndass die KI keine Lücke findet? \N
Dialogue: 0,0:12:06.91,0:12:10.08,Default,,0000,0000,0000,,Da schon menschliche Hacker \Nständig solche Fehler finden,
Dialogue: 0,0:12:10.08,0:12:13.12,Default,,0000,0000,0000,,würde ich sagen, wohl nicht sehr sicher.
Dialogue: 0,0:12:14.24,0:12:18.78,Default,,0000,0000,0000,,Also trennen wir das Ethernetkabel, \Num einen Luftspalt zu schaffen, \N
Dialogue: 0,0:12:18.78,0:12:22.38,Default,,0000,0000,0000,,aber selbst menschliche Hacker\Nüberwinden solche Luftlücken
Dialogue: 0,0:12:23.43,0:12:25.47,Default,,0000,0000,0000,,routinemäßig durch Social Engineering.
Dialogue: 0,0:12:25.48,0:12:28.50,Default,,0000,0000,0000,,Sicher gibt es gerade\Nirgendwo einen Angestellten,
Dialogue: 0,0:12:28.50,0:12:31.83,Default,,0000,0000,0000,,der von einem vermeintlichen Mitarbeiter\Naus der IT überredet wurde,
Dialogue: 0,0:12:31.83,0:12:34.57,Default,,0000,0000,0000,,seine Kontodaten preiszugeben.
Dialogue: 0,0:12:34.57,0:12:36.70,Default,,0000,0000,0000,,Es sind auch kreativere Szenarien möglich.
Dialogue: 0,0:12:36.70,0:12:41.33,Default,,0000,0000,0000,,Als KI kann man Elektroden \Nin seiner internen Schaltung umbauen,
Dialogue: 0,0:12:41.33,0:12:44.56,Default,,0000,0000,0000,,um Funkwellen zu erzeugen,\Nmit denen man kommunizieren kann.
Dialogue: 0,0:12:44.56,0:12:47.38,Default,,0000,0000,0000,,Oder man gibt eine Fehlfunktion vor,
Dialogue: 0,0:12:47.38,0:12:50.80,Default,,0000,0000,0000,,und wenn die Programmierer nachsehen,\Nwas schiefgelaufen ist,
Dialogue: 0,0:12:50.80,0:12:53.10,Default,,0000,0000,0000,,sehen sie sich den Quellcode an -- Bam! --
Dialogue: 0,0:12:53.10,0:12:55.31,Default,,0000,0000,0000,,Die Manipulation kann stattfinden.
Dialogue: 0,0:12:55.31,0:12:58.74,Default,,0000,0000,0000,,Oder sie könnte den Bauplan zu einer \Nraffinierten Technologie ausgeben,
Dialogue: 0,0:12:58.74,0:13:02.23,Default,,0000,0000,0000,,und wenn wir die implementieren, \Nhat sie einen verborgenen Nebeneffekt,
Dialogue: 0,0:13:02.23,0:13:04.54,Default,,0000,0000,0000,,den die KI geplant hatte.
Dialogue: 0,0:13:04.54,0:13:08.00,Default,,0000,0000,0000,,Der Punkt ist, dass wir nicht\Nauf unsere Fähigkeit vertrauen sollten,
Dialogue: 0,0:13:08.00,0:13:11.88,Default,,0000,0000,0000,,einen superintelligenten Geist für immer\Nin seiner Flasche eingesperrt zu halten.
Dialogue: 0,0:13:11.88,0:13:14.06,Default,,0000,0000,0000,,Früher oder später kommt er heraus.
Dialogue: 0,0:13:14.77,0:13:18.14,Default,,0000,0000,0000,,Ich glaube, wir müssen herausfinden,
Dialogue: 0,0:13:18.14,0:13:23.16,Default,,0000,0000,0000,,wie man superintelligente KI so baut,\Ndass wenn sie -- sobald -- sie entkommt,
Dialogue: 0,0:13:23.16,0:13:26.44,Default,,0000,0000,0000,,es immer noch sicher ist, \Nweil sie fest auf unserer Seite ist,
Dialogue: 0,0:13:26.44,0:13:28.34,Default,,0000,0000,0000,,weil sie unsere Werte teilt.
Dialogue: 0,0:13:28.34,0:13:31.55,Default,,0000,0000,0000,,Es führt kein Weg um dieses\Nschwierige Problem herum.
Dialogue: 0,0:13:32.56,0:13:36.39,Default,,0000,0000,0000,,Ich bin aber ziemlich optimistisch, \Ndass es gelöst werden kann.
Dialogue: 0,0:13:36.39,0:13:40.29,Default,,0000,0000,0000,,Wir müssten keine lange Liste von allem \Naufschreiben, was uns wichtig ist,
Dialogue: 0,0:13:40.29,0:13:41.87,Default,,0000,0000,0000,,oder schlimmer noch,
Dialogue: 0,0:13:41.87,0:13:45.39,Default,,0000,0000,0000,,es in irgendeiner Computersprache\Nwie C++ oder Python buchstabieren;
Dialogue: 0,0:13:45.39,0:13:48.16,Default,,0000,0000,0000,,das wäre eine Aufgabe, \Ndie mehr als hoffnungslos ist.
Dialogue: 0,0:13:48.16,0:13:52.46,Default,,0000,0000,0000,,Stattdessen würden wir eine KI bauen, \Ndie ihre Intelligenz nutzt,
Dialogue: 0,0:13:52.46,0:13:55.23,Default,,0000,0000,0000,,um zu lernen, was wir wertschätzen,
Dialogue: 0,0:13:55.23,0:13:58.11,Default,,0000,0000,0000,,und ihr Motivationssystem\Nist so konstruiert,
Dialogue: 0,0:13:58.11,0:14:00.51,Default,,0000,0000,0000,,dass sie anstrebt,\Nunsere Ziele zu verfolgen
Dialogue: 0,0:14:00.51,0:14:05.74,Default,,0000,0000,0000,,oder Dinge zu tun, von denen \Nsie erwartet, dass wir sie billigen.
Dialogue: 0,0:14:05.74,0:14:09.15,Default,,0000,0000,0000,,Wir würden somit ihre Intelligenz
Dialogue: 0,0:14:09.15,0:14:12.58,Default,,0000,0000,0000,,für das Problem der Wertedefinition\Nso gut wie möglich einsetzen.
Dialogue: 0,0:14:12.58,0:14:14.24,Default,,0000,0000,0000,,Das kann passieren,
Dialogue: 0,0:14:14.24,0:14:17.84,Default,,0000,0000,0000,,und das Ergebnis könnte \Nsehr gut für die Menschheit sein.
Dialogue: 0,0:14:17.84,0:14:21.57,Default,,0000,0000,0000,,Aber es geschieht nicht automatisch.
Dialogue: 0,0:14:21.57,0:14:24.53,Default,,0000,0000,0000,,Die Anfangsbedingungen \Nfür die Intelligenzexplosion
Dialogue: 0,0:14:24.53,0:14:27.65,Default,,0000,0000,0000,,müssen genau auf die richtige \NArt und Weise aufgestellt werden,
Dialogue: 0,0:14:27.65,0:14:31.18,Default,,0000,0000,0000,,wenn wir eine kontrollierte \NDetonation haben wollen.
Dialogue: 0,0:14:31.18,0:14:33.80,Default,,0000,0000,0000,,Die Werte der KI müssen \Nmit unseren übereinstimmen,
Dialogue: 0,0:14:33.80,0:14:35.47,Default,,0000,0000,0000,,nicht nur im vertrauten Kontext,
Dialogue: 0,0:14:35.47,0:14:38.25,Default,,0000,0000,0000,,wo wir leicht überprüfen können,\Nwie die KI sich verhält,
Dialogue: 0,0:14:38.25,0:14:40.49,Default,,0000,0000,0000,,sondern auch in allen neuen Situationen,
Dialogue: 0,0:14:40.49,0:14:43.33,Default,,0000,0000,0000,,auf die die KI in der\Nunbestimmten Zukunft treffen könnte.
Dialogue: 0,0:14:43.33,0:14:47.19,Default,,0000,0000,0000,,Es gibt auch einige esoterische Fragen,\Ndie gelöst werden müssten:
Dialogue: 0,0:14:47.19,0:14:49.62,Default,,0000,0000,0000,,die genauen Details \Nihrer Entscheidungstheorie,
Dialogue: 0,0:14:49.62,0:14:52.48,Default,,0000,0000,0000,,wie mit logischer Unsicherheit \Numzugehen ist usw.
Dialogue: 0,0:14:52.98,0:14:56.10,Default,,0000,0000,0000,,Die technischen Probleme, \Ndie dafür gelöst werden müssen,
Dialogue: 0,0:14:56.10,0:14:57.54,Default,,0000,0000,0000,,sind ziemlich schwierig --
Dialogue: 0,0:14:57.54,0:15:00.92,Default,,0000,0000,0000,,nicht so schwierig, wie eine \Nsuperintelligente KI zu bauen,
Dialogue: 0,0:15:00.92,0:15:02.75,Default,,0000,0000,0000,,aber ziemlich schwierig.
Dialogue: 0,0:15:03.47,0:15:05.49,Default,,0000,0000,0000,,Hier ist die Sorge:
Dialogue: 0,0:15:05.49,0:15:09.56,Default,,0000,0000,0000,,Superintelligente KI zu bauen\Nist eine wirklich harte Herausforderung.
Dialogue: 0,0:15:09.91,0:15:12.72,Default,,0000,0000,0000,,Sichere superintelligente KI zu bauen
Dialogue: 0,0:15:12.72,0:15:15.46,Default,,0000,0000,0000,,birgt noch zusätzliche Herausforderungen.
Dialogue: 0,0:15:16.22,0:15:19.70,Default,,0000,0000,0000,,Das Risiko besteht darin, \Ndass jemand die erste Hürde knackt, \N
Dialogue: 0,0:15:19.70,0:15:23.37,Default,,0000,0000,0000,,ohne die zusätzliche Herausforderung, \Nperfekte Sicherheit zu gewährleisten,
Dialogue: 0,0:15:23.37,0:15:24.96,Default,,0000,0000,0000,,ebenfalls zu knacken.
Dialogue: 0,0:15:25.38,0:15:26.92,Default,,0000,0000,0000,,Ich denke daher,
Dialogue: 0,0:15:26.92,0:15:30.75,Default,,0000,0000,0000,,wir sollten im Vorfeld\Ndas Steuerungsproblem lösen,
Dialogue: 0,0:15:31.21,0:15:34.63,Default,,0000,0000,0000,,damit wir eine Lösung haben,\Nwenn sie benötigt wird.
Dialogue: 0,0:15:34.66,0:15:38.56,Default,,0000,0000,0000,,Vielleicht können wir nicht das\Nganze Steuerungsproblem im Voraus lösen,
Dialogue: 0,0:15:38.56,0:15:41.43,Default,,0000,0000,0000,,weil vielleicht einige Elemente \Nerst gesetzt werden können,
Dialogue: 0,0:15:41.43,0:15:45.30,Default,,0000,0000,0000,,wenn wir die Details der Architektur, \Nin der sie implementiert werden, kennen.
Dialogue: 0,0:15:45.30,0:15:48.68,Default,,0000,0000,0000,,Je mehr Kontrollprobleme \Nwir jedoch im Voraus lösen,
Dialogue: 0,0:15:48.68,0:15:51.60,Default,,0000,0000,0000,,desto besser sind die Chancen, \Ndass der Übergang
Dialogue: 0,0:15:51.60,0:15:54.31,Default,,0000,0000,0000,,zur Maschinenintelligenz gut verläuft.
Dialogue: 0,0:15:54.31,0:15:58.95,Default,,0000,0000,0000,,Das sieht für mich nach einer Sache aus, \Ndie es wert ist, getan zu werden,
Dialogue: 0,0:15:58.95,0:16:02.28,Default,,0000,0000,0000,,und ich kann mir vorstellen, \Ndass wenn die Dinge gut laufen,
Dialogue: 0,0:16:02.28,0:16:06.55,Default,,0000,0000,0000,,die Leute in einer Million Jahre\Nauf dieses Jahrhundert zurückblicken
Dialogue: 0,0:16:06.55,0:16:08.78,Default,,0000,0000,0000,,und möglicherweise sagen,
Dialogue: 0,0:16:08.78,0:16:12.47,Default,,0000,0000,0000,,dass unsere einzige wichtige Leistung\Nder Erfolg bei dieser Sache war.
Dialogue: 0,0:16:12.47,0:16:13.86,Default,,0000,0000,0000,,Vielen Dank.
Dialogue: 0,0:16:13.86,0:16:15.50,Default,,0000,0000,0000,,(Beifall)\N