Die wundervollen und erschreckenden Folgen lernender Computer

Was passiert, wenn wir einem Computer beibringen, wie man lernt? Der Technologe Jeremy Howard zeigt einige überraschende neue Entwicklungen im rasant wachsenden Feld des Deep Learning, einer Technik, die Computern beibringt, Chinesisch zu lernen, Objekte auf Fotos zu erkennen oder bei einer medizinischen Diagnose zu helfen. (Ein Deep-Learning-Tool hat sich nach Stunden von YouTube-Videos das Konzept "Katzen" selbst beigebracht.) Lassen Sie sich mitreißen von einem Gebiet, das das Verhalten der Computer um Sie herum ändern wird ... wahrscheinlich früher, als Sie denken.

Wenn man früher wollte,
dass ein Computer etwas Neues tat,

musste man ihn programmieren.

Für alle, die es noch nie
selbst probiert haben:

Beim Programmieren
muss man bis ins kleinste Detail

jeden einzelnen Schritt definieren,
den der Computer erledigen soll,

um sein Ziel zu erreichen.

Will man also etwas tun,
was man selbst noch nicht kann,

dann wird das eine große Herausforderung.

Dieser Herausforderung stellte sich
dieser Mann, Arthur Samuel.

1956 wollte er diesem Computer beibringen,

ihn im Spiel Dame zu schlagen.

Wie kann man ein Programm schreiben

und bis ins kleinste Detail definieren,
wie man sich selbst in Dame übertrifft?

Also hatte er eine Idee:

Er ließ den Computer tausende Male
gegen sich selbst spielen,

sodass er Dame spielen lernte.

Das funktionierte wirklich, und schon 1962

besiegte dieser Computer
den Landesmeister von Connecticut.

Arthur Samuel war also
der Urvater des Maschinellen Lernens

und ich schulde ihm viel,

denn ich bin ein Fachmann
im Maschinellen Lernen.

Ich war Präsident von Kaggle,

einer Plattform von über 200 000
Fachleuten für Maschinelles Lernen.

Kaggle veranstaltet Wettbewerbe,

bei denen bisher ungelöste Probleme
gelöst werden sollen,

und das war schon
hunderte Male erfolgreich.

Aus dieser Warte habe
ich viel darüber gelernt,

was Maschinelles Lernen
früher konnte, was es heute kann

und was es zukünftig vollbringen könnte.

Der vielleicht erste kommerzielle Erfolg
im Maschinellen Lernen war Google.

Google hat bewiesen,
dass man Informationen

über einen Computeralgorithmus
finden kann,

der auf Maschinellem Lernen basiert.

Seitdem gab es viele kommerzielle Erfolge
im Maschinellen Lernen.

Firmen wie Amazon oder Netflix

nutzen Maschinelles Lernen
für Kaufempfehlungen

oder Filmvorschläge.

Manchmal ist das beinahe gruselig.

Firmen wie LinkedIn oder Facebook

schlagen Ihnen manchmal neue Freunde vor

und Sie haben keine Ahnung, wie das geht,

und genau das ist die Macht
des Maschinellen Lernens.

Diese Algorithmen haben
anhand vorhandener Daten gelernt,

anstatt von Hand programmiert zu werden.

So konnte auch IBM Watson dazu bringen,

die zwei Weltmeister
der Quizshow "Jeopardy" zu schlagen,

wo man knifflige, komplexe Fragen
beantworten musste, z. B.:

["2003 verschwand u. a.
der antike 'Löwe von Nimrud'

aus dem Museum dieser Stadt."]

Daher gibt es nun
erste selbstfahrende Autos.

Will man den Unterschied

etwa zwischen Baum und
Fußgänger erkennen, ist das wichtig.

Wir wissen nicht, wie man
solche Programme schreibt,

aber durch Maschinelles Lernen
ist das jetzt möglich.

Dieses Auto ist schon über 1 Mio. km

ohne den kleinsten Unfall
auf normalen Straßen gefahren.

Wir wissen also,
dass Computer lernen können

und dass sie auch Dinge lernen können,

von denen wir nicht wissen,
wie sie funktionieren,

und manchmal sogar besser als wir.

Eines der faszinierendsten Beispiele
für Maschinelles Lernen

habe ich bei einem meiner
Kaggle-Projekte gesehen,

als ein Team unter der Leitung
von Geoffrey Hinton

von der Universität Toronto

den Wettstreit für automatische
Drogenerkennung gewann.

Außergewöhnlich war
daran nicht nur ihr Sieg

gegen all die Algorithmen von Merck
und der internationalen akademischen Welt,

sondern, dass das Team kein Vorwissen
zu Chemie oder Biowissenschaften hatte

und nur zwei Wochen brauchte.

Wie haben sie das gemacht?

Sie nutzten einen besonderen
Algorithmus namens Deep Learning.

Ihr Erfolg war so bedeutend,

dass er wenig später auf der Titelseite
der NY Times erschien.

Hier auf der linken Seite
sehen Sie Geoffrey Hinton.

Deep Learning basiert auf der Funktion
des menschlichen Gehirns

und deswegen ist es ein Algorithmus,

dessen Funktion theoretisch
keine Grenzen gesetzt sind.

Je mehr Daten und Rechenzeit man hat,

desto besser wird er.

Die New York Times zeigte in ihrem Artikel

noch ein Resultat des Deep Learning,

das ich Ihnen jetzt vorstellen will.

Es beweist, dass Computer
zuhören und verstehen können.

Richard Rashid (Video):
Als letzten Schritt in diesem Prozess

werde ich Chinesisch mit Ihnen sprechen.

Als wichtigsten Schritt haben wir

anhand großer Informationsmengen
von vielen Chinesisch-Sprechern

ein Text-zu-Sprache-System gebaut,

das chinesischen Text
in chinesche Sprache umwandelt,

und dann haben wir eine etwa einstündige
Aufnahme meiner Stimme benutzt,

um das Text-zu-Sprache-System
so zu ändern, dass es wie ich klingt.

Wieder ist das Ergebnis nicht perfekt.

Eigentlich hat es sogar
ganz schön viele Fehler.

(Auf Chinesisch)

(Applaus)

In diesem Bereich ist noch viel zu tun.

(Chinesisch)

(Applaus)

Jeremy Howard: Das war eine Konferenz
zu Maschinellem Lernen in China.

Übrigens hört man
bei akademischen Konferenzen

nur ganz selten Zwischenapplaus,

obwohl das bei TEDx-Konferenzen
durchaus erwünscht sein kann.

Was Sie eben gesehen haben,
basiert auf Deep Learning.

(Applaus) Danke!

Die englische Transkription
war Deep Learning.

Die Übersetzung ins Chinesische und
der Text rechts oben – Deep Learning

und die Modellierung der Stimme
-- ebenfalls Deep Learning.

Deep Learning ist also
eine außergewöhnliche Sache.

Es ist ein einziger Algorithmus,
der scheinbar fast alles kann

und ich fand heraus, dass er
ein Jahr zuvor sehen gelernt hatte.

Bei einem obskuren Wettbewerb
der Ruhr-Universität Bochum

zum Erkennen von Verkehrszeichen

hat Deep Learning gelernt,
Verkehrszeichen wie dieses zu erkennen.

Er konnte Verkehrszeichen nicht nur

besser als andere Algorithmen erkennen;

die Rangliste zeigte,
dass er sogar Menschen übertraf

und zwar um das Doppelte.

2011 gab es also das erste Beispiel

für Computer, die besser
sehen können als Menschen.

Seitdem ist viel passiert.

2012 gab Google bekannt,
dass sie einen Deep-Learning-Algorithmus

Youtube Videos schauen ließen

und die Daten auf 16 000 Computern
einen Monat lang berechnen ließen

und dass der Computer allein
Konzepte wie Menschen oder Katzen

einzig durch das Betrachten
von Videos erkannt hat.

Menschen lernen sehr ähnlich.

Sie lernen nicht, indem man
ihnen sagt, was sie sehen,

sondern sie lernen selbst,
was diese Dinge sind.

Übrigens hat 2012 Geoffrey Hinton,
den wir vorher gesehen haben,

den beliebten ImageNet-Wettbewerb
mit seinem Versuch gewonnen,

auf 1,5 Mio. Bildern
die Motive zu erkennen.

2014 sind wir mittlerweile
nur noch bei einer 6%igen Fehlerrate

bei der Bilderkennung.

Das ist wiederum besser als Menschen.

Maschinen sind dabei
also außergewöhnlich gut

und das wird nun auch
in der Wirtschaft genutzt.

Zum Beispiel hat Google
letztes Jahr bekanntgegeben,

dass sie jeden Ort Frankreichs
in nur 2 Stunden kartografiert hätten,

indem sie Street-View-Bilder in einen
Deep-Learning-Algorithmus einspeisten,

der dann Hausnummern
erkennen und lesen konnte.

Davor hätte es dutzende Leute
und viele Jahre gebraucht.

Dasselbe passiert in China.

Baidu ist sowas wie
das chinesische Google,

und was Sie hier oben links sehen,

ist z. B. ein Bild, das ich in Baidus
Deep-Learning-System hochgeladen habe.

Darunter sehen Sie,
dass das System das Bild verstanden

und ähnliche Bilder gefunden hat.

Die ähnlichen Bilder haben
ähnliche Hintergründe,

ähnliche Gesichts-Ausrichtung,

manche sogar die rausgestreckte Zunge.

Das System schaut eindeutig nicht
auf den Text einer Website.

Es hatte nur ein Bild.

Also haben wir jetzt Computer,
die wirklich verstehen, was sie sehen,

und daher Datenbanken

mit vielen Millionen Bildern
in Echtzeit durchsuchen können.

Aber was bedeutet es nun,
dass Computer sehen können?

Tja, es ist nicht nur so, dass sie sehen.

Genau genommen kann
Deep Leaning noch mehr.

Komplexe, differenzierte Sätze wie dieser

können nun mit Deep-Learning-Algorithmen
verstanden werden.

Wie Sie hier sehen können,

zeigt dieses System aus Stanford
mit dem roten Punkt oben,

dass es die negative Botschaft
des Satzes erkannt hat.

Deep Learning ist jetzt
fast so gut wie Menschen

im Verstehen, worum es in Sätzen
geht und was gesagt wird.

Deep Learning wird auch genutzt,
um Chinesisch zu lesen

wieder fast auf Muttersprachler-Niveau.

Der Algorithmus dafür
stammt von Leuten aus der Schweiz,

die allesamt kein Chinesisch
sprechen oder verstehen.

Wie ich schon sagte: Deep Learning

ist so ziemlich das beste
System der Welt dafür,

sogar im Vergleich mit
dem Wissen von Muttersprachlern.

Dieses System haben wir
in meiner Firma entworfen,

das all diesen Kram zusammenfügt.

Das sind Bilder ohne angehängten Text

und während ich diese Sätze hier eintippe,

versteht das System die Bilder in Echtzeit

und erkennt, was sie zeigen,

und findet ähnliche Bilder
zu dem eingetippten Text.

Sie sehen also,
es versteht wirklich meine Sätze

und ebenso diese Bilder.

Ich weiß, dass Sie
sowas Ähnliches von Google kennen,

wo man Text eingeben kann
und einem Bilder gezeigt werden,

aber da wird nur die Website
nach dem Text durchsucht.

Das ist ein großer Unterschied dazu,
die Bilder zu verstehen.

Letzteres haben Computer erst

vor ein paar Monaten gelernt.

Wir haben gesehen, dass Computer nicht
nur sehen, sondern auch lesen können.

Wir haben natürlich auch gesehen,
dass sie verstehen, was sie hören.

Vielleicht sind Sie nicht überrascht,
dass sie auch schreiben können.

Diesen Text habe ich gestern mit einem
Deep-Learning-Algorithmus erzeugt.

Diesen Text hier hat
ein Algorithmus aus Stanford erzeugt.

Jeder dieser Sätze wurde mit
einem Deep-Learning-Algorithmus erzeugt,

um das jeweilige Bild zu beschreiben.

Vorher hat der Algorithmus nie einen Mann
im schwarzen Hemd Gitarre spielen sehen.

Er hat einen Mann, die Farbe Schwarz,

und eine Gitarre gesehen,

aber er hat selbstständig
diese neue Bildbeschreibung erstellt.

Menschliche Leistung ist das
noch nicht, aber nah dran.

In Tests bevorzugen Menschen
die computer-generierte Bildbeschreibung

nur eines von vier Malen.

Aber das System ist jetzt
erst 2 Wochen alt,

sodass wahrscheinlich im nächsten Jahr

der Computeralgorithmus
die menschliche Leistung übertrifft,

so schnell wie die Dinge gerade gehen.

Computer können also auch schreiben.

Wenn wir das alles kombinieren,
kriegen wir sehr spannenden Möglichkeiten.

In der Medizin, zum Beispiel,

hat ein Team aus Boston verkündet,

dass es Dutzende
neue klinisch relevante Merkmale

von Tumoren entdeckt hätte,
die Ärzten bei der Krebsprognose helfen.

Ähnlich hat in Stanford
eine Gruppe bekanntgegeben,

dass sie für die Gewebeanalyse
in vergrößerter Aufnahme

ein Maschinelles Lernsystem
entwickelt haben,

das menschliche Pathologen
tatsächlich dabei übertrifft,

die Überlebenschancen von
Krebspatienten vorherzusagen.

In beiden Fällen waren
die Vorhersagen nicht nur genauer,

sie förderten auch neue
wissenschaftliche Erkenntnisse.

Im Fall der Radiologie

waren es neue klinische Indikatoren,
die Menschen verstehen.

Im Fall der Pathologie

hat das Computersystem herausgefunden,
dass die Zellen rund um den Krebs

genauso wichtig sind
wie die Krebszellen selbst

beim Erstellen der Diagnose.

Das ist das Gegenteil davon, was man
Pathologen jahrzehntelang beibrachte.

In beiden Fällen wurden die Systeme

gemeinsam von Experten der Medizin
und des Maschinellen Lernens entwickelt,

aber seit letztem Jahr haben
wir auch das überwunden.

Das hier ist ein Beispiel,
wie man krebsgeschädigte Bereiche

menschlichen Gewebes
unter dem Mikroskop erkennt.

Das hier gezeigte System
erkennt solche Bereiche genauer,

oder etwa gleich genau,
wie menschliche Pathologen,

aber es wurde allein mit Deep Learning,
ohne medizinisches Wissen,

von Leuten ohne Ausbildung
in diesem Feld entwickelt.

Ähnlich ist es bei dieser
Neuronen-Segmentierung.

Neuronen können jetzt damit etwa so genau
wie durch Menschen segmentieren werden,

aber dieses System wurde
mit Deep Learning

von Leuten ohne
medizinisches Vorwissen entwickelt.

Sogar ich, als jemand
ohne medizinische Ausbildung,

scheine nun genug für die Gründung
eines medizinisches Unternehmens zu wissen

-- und das habe ich auch.

Ich hatte irgendwie Angst davor,

aber theoretisch
schien es möglich zu sein,

in der Medizin sehr nützliche Dinge allein
mit solchen Datenanalysen zu bewirken.

Glücklicherweise war
das Feedback fantastisch,

sowohl von den Medien
als auch von Medizinern,

die mich sehr unterstützt haben.

Theoretisch können wir den Mittelteil
des medizinischen Vorgangs

so viel wie möglich
der Datenanalyse überlassen,

sodass Ärzte nur noch tun müssen,
was sie am besten können.

Ich will Ihnen ein Beispiel geben.

Aktuell brauchen wir 15 Minuten, um einen
neuen medizinischen Diagnosetest zu bauen.

Das zeige ich Ihnen jetzt in Echtzeit,

aber ich habe es durch Zusammenschneiden
auf 3 Minuten gekürzt.

Anstatt Ihnen das Erstellen eines
medizinischen Tests zu zeigen,

zeige ich Ihnen einen
Diagnosetest für Autobilder,

denn das verstehen wir alle.

Hier fangen wir mit ungefähr
1,5 Mio. Autobildern an,

und ich möchte etwas bauen,
das sie nach dem Winkel sortiert,

in dem das Foto gemacht wurde.

Diese Bilder sind jetzt noch
nicht benannt, ich fange bei Null an.

Unser Deep-Learning-Algorithmus

erkennt automatisch
Strukturflächen auf den Bildern.

Das Schöne ist, dass Mensch und Computer
jetzt zusammenarbeiten können.

Wie Sie hier sehen,

gibt der Mensch dem Computer
Zielbereiche vor,

womit der Computer dann versuchen soll,
seinem Algorithmus zu verbessern.

Eigentlich sind diese Deep-Learning-
Systeme im 16 000-dimensionalen Raum,

hier können Sie den Computer
das durch den Raum

auf der Suche nach neuen
Strukturflächen rotieren sehen.

Wenn er dabei Erfolg hat,

kann der menschliche Betreiber
dann die interessanten Bereiche festlegen.

Hier hat der Computer Bereiche gefunden,

zum Beispiel Winkel.

Im Verlauf des Prozesses

sagen wir dem Computer immer mehr

über die gesuchten Strukturen.

Bei einem Diagnose-Test zum Beispiel

würde das dem Pathologen helfen,
kranke Bereiche zu identifizieren,

oder dem Radiologen bei
potentiell gefährlichen Knoten.

Manchmal wird es
schwer für den Algorithmus.

In diesem Fall war er etwas verwirrt.

Die Vorder- und Rückseiten
der Autos sind vermischt.

Wir müssen hier also sorgfältiger sein,

und die Vorderseiten manuell
von den Rückseiten trennen,

um dann dem Computer zu sagen,
dass das Teil einer Gruppe ist,

die uns interessiert.

Das machen wir für eine Weile,
wir springen ein wenig weiter,

und dann trainieren wir den Algorithmus,

basierend auf diesen paar hundert Sachen,

und hoffen, dass er besser geworden ist.

Wie Sie sehen, lässt er
einige dieser Bilder jetzt verblassen

und zeigt uns, dass er schon jetzt
ein wenig selbst erkennt.

Wir können das Konzept
der ähnlichen Bilder nutzen

und dabei sehen Sie,

dass der Computer jetzt in der Lage ist,
nur die Vorderseiten der Autos zu finden.

Also kann der Mensch dem
Computer an diesem Punkt sagen,

okay, du hast gute Arbeit geleistet.

Natürlich ist es manchmal
selbst hier schwer,

die einzelnen Gruppen zu unterscheiden.

Selbst nachdem der Computer
die Bilder eine Weile rotiert hat,

sind die rechten und linken Seiten
der Bilder immer noch

komplett durcheinander.

Wieder können wir dem
Computer Hinweise geben

und sagen, okay, jetzt
versuch mal einen Weg,

der die rechte und linke Seite
so gut wie möglich

mit dem Deep-Learning-Algorithmus trennt.

Und mit diesem Hinweis --
ah, okay, jetzt hat er Erfolg.

Er hat einen Weg gefunden,
diese Objekte so sehen,

der diese hier aussortiert hat.

Sie haben jetzt einen Eindruck davon.

Das ist kein Fall, wo der Mensch
von einem Computer ersetzt wird,

sondern sie arbeiten zusammen.

Wir ersetzen hier etwas, wofür man
früher ein Team von fünf oder sechs Leuten

7 Jahre beschäftigt hat,

durch etwas, das 15 Minuten

für eine einzige Person braucht.

Dieser Vorgang braucht ungefähr
vier oder fünf Durchgänge.

Wie Sie sehen, sind wir nun bei 62 %

korrekt klassifizierten Bildern
aus 1,5 Millionen.

An dieser Stelle können
wir anfangen, sehr schnell

große Bereiche zu erfassen,

und sie auf Fehler zu überprüfen.

Wenn es Fehler gibt, lassen wir
das den Computer wissen.

Indem wir diesen Vorgang auf jede
der einzelnen Gruppen anwenden,

sind wir jetzt bei
einer 80%igen Erfolgsrate

beim Klassifizieren der 1,5 Mio. Bilder.

An diesem Punkt müssen wir nur noch

die kleine Zahl der
falsch klassifizierten Bilder finden

und versuchen, die Ursache zu verstehen.

Wenden wir das an,

sind wir nach 15 Minuten
bei einer Erfolgsquote von 97 %.

Also könnten wir mit dieser Technik
ein großes Problem beheben,

nämlich, das Fehlen medizinischen
Fachwissens in der Welt.

Laut Weltwirtschaftsforum gibt es
zwischen 10x und 20x

zu wenige Ärzte in Entwicklungsländern

und es würde etwa 300 Jahre dauern,

genug Leute auszubilden,
um das Problem zu beheben.

Können Sie sich vorstellen,
dass wir ihre Effizienz

mit diesen Deep-Learning-Ansätzen
steigern können?

Ich bin ganz begeistert
von den Möglichkeiten.

Ich mache mir auch
Sorgen über die Probleme.

Das Problem hierbei ist,
in jedem blauen Bereich auf der Karte

machen Dienstleistungen
über 80 % der Beschäftigung aus.

Was sind Dienstleistungen?

Das sind Dienstleistungen.

Das sind außerdem genau die Dinge,
die Computer gerade gelernt haben.

Also sind 80 % der Beschäftigung
der entwickelten Welt Dinge,

die Computer gerade gelernt haben.

Was bedeutet das?

Naja, es wird alles gut.
Andere Jobs ersetzen diese.

Zum Beispiel wird es
mehr Jobs für Informatiker geben.

Nun, nicht ganz.

Informatiker brauchen nicht lange,
diese Dinge zu bauen.

Zum Beispiel wurden diese 4
Algorithmen vom selben Typen gebaut.

Wenn Sie also denken, oh,
das ist alles nicht neu,

wir haben in der Vergangenheit gesehen,
wenn etwas Neues kommt,

werden sie durch neue Jobs ersetzt,

was also sind diese neuen Jobs?

Das ist sehr schwer einzuschätzen,

weil menschliche Leistung
schrittweise wächst,

aber wir haben jetzt ein System,
Deep Learning,

das seine Leistung
nachweislich exponentiell steigert.

Und da sind wir.

Zurzeit sehen wir die Dinge um uns herum

und sagen "Computer sind
immer noch ziemlich dumm." Oder?

Aber in fünf Jahren werden Computer
nicht mehr Teil dieser Tabelle sein.

Wir müssen also schon jetzt anfangen,
über diese Leistung nachzudenken.

Wir haben das natürlich schon mal gesehen.

Die Industrielle Revolution

bewirkte einen Evolutionssprung
der Leistung durch Motoren.

Aber nach einer Weile
beruhigten sich die Dinge.

Es gab soziale Umbrüche,

aber sobald die Motoren damals
zur Energiegewinnung genutzt wurden,

beruhigten sich die Dinge.

Die Revolution des Maschinellen Lernens

wird ganz anders
als die Industrielle Revolution,

weil die Revolution nie zu Ende ist.

Je besser Computer
bei intellektuellen Aktivitäten werden,

desto bessere Computer können sie bauen,

die intellektuell noch
leistungsfähiger sind,

also wird das eine Art Wandel,

den die Welt nie zuvor gesehen hat,

sodass sich Ihr Verständnis
des Möglichen ändert.

Das beeinflusst uns schon jetzt.

In den letzten 25 Jahren ist
die Produktivität des Kapitals gestiegen,

aber die Produktivität der Arbeit
blieb gleich und sank sogar ein bisschen.

Deswegen will ich, dass wir
diese Diskussion jetzt führen.

Wenn ich Leuten
von dieser Situation erzähle,

sind sie oft sehr abschätzig.

Computer denken nicht wirklich,

sie fühlen nichts,
sie verstehen Lyrik nicht,

wir verstehen nicht wirklich,
wie sie funktionieren.

Ja, und?

Computer können jetzt Dinge tun,

für die Menschen ihre meiste Zeit
gegen Bezahlung aufwenden.

Wir sollten also jetzt überlegen,

wie wir unsere sozialen und
wirtschaftlichen Strukturen anpassen,

um diese neue Realität zu erkennen.

Danke.

(Applaus)