Wenn man früher wollte, dass ein Computer etwas Neues tat,
musste man ihn programmieren.
Für alle, die es noch nie selbst probiert haben:
Beim Programmieren muss man bis ins kleinste Detail
jeden einzelnen Schritt definieren, den der Computer erledigen soll,
um sein Ziel zu erreichen.
Will man also etwas tun, was man selbst noch nicht kann,
dann wird das eine große Herausforderung.
Dieser Herausforderung stellte sich dieser Mann, Arthur Samuel.
1956 wollte er diesem Computer beibringen,
ihn im Spiel Dame zu schlagen.
Wie kann man ein Programm schreiben
und bis ins kleinste Detail definieren, wie man sich selbst in Dame übertrifft?
Also hatte er eine Idee:
Er ließ den Computer tausende Male gegen sich selbst spielen,
sodass er Dame spielen lernte.
Das funktionierte wirklich, und schon 1962
besiegte dieser Computer den Landesmeister von Connecticut.
Arthur Samuel war also der Urvater des Maschinellen Lernens
und ich schulde ihm viel,
denn ich bin ein Fachmann im Maschinellen Lernen.
Ich war Präsident von Kaggle,
einer Plattform von über 200 000 Fachleuten für Maschinelles Lernen.
Kaggle veranstaltet Wettbewerbe,
bei denen bisher ungelöste Probleme gelöst werden sollen,
und das war schon hunderte Male erfolgreich.
Aus dieser Warte habe ich viel darüber gelernt,
was Maschinelles Lernen früher konnte, was es heute kann
und was es zukünftig vollbringen könnte.
Der vielleicht erste kommerzielle Erfolg im Maschinellen Lernen war Google.
Google hat bewiesen, dass man Informationen
über einen Computeralgorithmus finden kann,
der auf Maschinellem Lernen basiert.
Seitdem gab es viele kommerzielle Erfolge im Maschinellen Lernen.
Firmen wie Amazon oder Netflix
nutzen Maschinelles Lernen für Kaufempfehlungen
oder Filmvorschläge.
Manchmal ist das beinahe gruselig.
Firmen wie LinkedIn oder Facebook
schlagen Ihnen manchmal neue Freunde vor
und Sie haben keine Ahnung, wie das geht,
und genau das ist die Macht des Maschinellen Lernens.
Diese Algorithmen haben anhand vorhandener Daten gelernt,
anstatt von Hand programmiert zu werden.
So konnte auch IBM Watson dazu bringen,
die zwei Weltmeister der Quizshow "Jeopardy" zu schlagen,
wo man knifflige, komplexe Fragen beantworten musste, z. B.:
["2003 verschwand u. a. der antike 'Löwe von Nimrud'
aus dem Museum dieser Stadt."]
Daher gibt es nun erste selbstfahrende Autos.
Will man den Unterschied
etwa zwischen Baum und Fußgänger erkennen, ist das wichtig.
Wir wissen nicht, wie man solche Programme schreibt,
aber durch Maschinelles Lernen ist das jetzt möglich.
Dieses Auto ist schon über 1 Mio. km
ohne den kleinsten Unfall auf normalen Straßen gefahren.
Wir wissen also, dass Computer lernen können
und dass sie auch Dinge lernen können,
von denen wir nicht wissen, wie sie funktionieren,
und manchmal sogar besser als wir.
Eines der faszinierendsten Beispiele für Maschinelles Lernen
habe ich bei einem meiner Kaggle-Projekte gesehen,
als ein Team unter der Leitung von Geoffrey Hinton
von der Universität Toronto
den Wettstreit für automatische Drogenerkennung gewann.
Außergewöhnlich war daran nicht nur ihr Sieg
gegen all die Algorithmen von Merck und der internationalen akademischen Welt,
sondern, dass das Team kein Vorwissen zu Chemie oder Biowissenschaften hatte
und nur zwei Wochen brauchte.
Wie haben sie das gemacht?
Sie nutzten einen besonderen Algorithmus namens Deep Learning.
Ihr Erfolg war so bedeutend,
dass er wenig später auf der Titelseite der NY Times erschien.
Hier auf der linken Seite sehen Sie Geoffrey Hinton.
Deep Learning basiert auf der Funktion des menschlichen Gehirns
und deswegen ist es ein Algorithmus,
dessen Funktion theoretisch keine Grenzen gesetzt sind.
Je mehr Daten und Rechenzeit man hat,
desto besser wird er.
Die New York Times zeigte in ihrem Artikel
noch ein Resultat des Deep Learning,
das ich Ihnen jetzt vorstellen will.
Es beweist, dass Computer zuhören und verstehen können.
Richard Rashid (Video): Als letzten Schritt in diesem Prozess
werde ich Chinesisch mit Ihnen sprechen.
Als wichtigsten Schritt haben wir
anhand großer Informationsmengen von vielen Chinesisch-Sprechern
ein Text-zu-Sprache-System gebaut,
das chinesischen Text in chinesche Sprache umwandelt,
und dann haben wir eine etwa einstündige Aufnahme meiner Stimme benutzt,
um das Text-zu-Sprache-System so zu ändern, dass es wie ich klingt.
Wieder ist das Ergebnis nicht perfekt.
Eigentlich hat es sogar ganz schön viele Fehler.
(Auf Chinesisch)
(Applaus)
In diesem Bereich ist noch viel zu tun.
(Chinesisch)
(Applaus)
Jeremy Howard: Das war eine Konferenz zu Maschinellem Lernen in China.
Übrigens hört man bei akademischen Konferenzen
nur ganz selten Zwischenapplaus,
obwohl das bei TEDx-Konferenzen durchaus erwünscht sein kann.
Was Sie eben gesehen haben, basiert auf Deep Learning.
(Applaus) Danke!
Die englische Transkription war Deep Learning.
Die Übersetzung ins Chinesische und der Text rechts oben – Deep Learning
und die Modellierung der Stimme -- ebenfalls Deep Learning.
Deep Learning ist also eine außergewöhnliche Sache.
Es ist ein einziger Algorithmus, der scheinbar fast alles kann
und ich fand heraus, dass er ein Jahr zuvor sehen gelernt hatte.
Bei einem obskuren Wettbewerb der Ruhr-Universität Bochum
zum Erkennen von Verkehrszeichen
hat Deep Learning gelernt, Verkehrszeichen wie dieses zu erkennen.
Er konnte Verkehrszeichen nicht nur
besser als andere Algorithmen erkennen;
die Rangliste zeigte, dass er sogar Menschen übertraf
und zwar um das Doppelte.
2011 gab es also das erste Beispiel
für Computer, die besser sehen können als Menschen.
Seitdem ist viel passiert.
2012 gab Google bekannt, dass sie einen Deep-Learning-Algorithmus
Youtube Videos schauen ließen
und die Daten auf 16 000 Computern einen Monat lang berechnen ließen
und dass der Computer allein Konzepte wie Menschen oder Katzen
einzig durch das Betrachten von Videos erkannt hat.
Menschen lernen sehr ähnlich.
Sie lernen nicht, indem man ihnen sagt, was sie sehen,
sondern sie lernen selbst, was diese Dinge sind.
Übrigens hat 2012 Geoffrey Hinton, den wir vorher gesehen haben,
den beliebten ImageNet-Wettbewerb mit seinem Versuch gewonnen,
auf 1,5 Mio. Bildern die Motive zu erkennen.
2014 sind wir mittlerweile nur noch bei einer 6%igen Fehlerrate
bei der Bilderkennung.
Das ist wiederum besser als Menschen.
Maschinen sind dabei also außergewöhnlich gut
und das wird nun auch in der Wirtschaft genutzt.
Zum Beispiel hat Google letztes Jahr bekanntgegeben,
dass sie jeden Ort Frankreichs in nur 2 Stunden kartografiert hätten,
indem sie Street-View-Bilder in einen Deep-Learning-Algorithmus einspeisten,
der dann Hausnummern erkennen und lesen konnte.
Davor hätte es dutzende Leute und viele Jahre gebraucht.
Dasselbe passiert in China.
Baidu ist sowas wie das chinesische Google,
und was Sie hier oben links sehen,
ist z. B. ein Bild, das ich in Baidus Deep-Learning-System hochgeladen habe.
Darunter sehen Sie, dass das System das Bild verstanden
und ähnliche Bilder gefunden hat.
Die ähnlichen Bilder haben ähnliche Hintergründe,
ähnliche Gesichts-Ausrichtung,
manche sogar die rausgestreckte Zunge.
Das System schaut eindeutig nicht auf den Text einer Website.
Es hatte nur ein Bild.
Also haben wir jetzt Computer, die wirklich verstehen, was sie sehen,
und daher Datenbanken
mit vielen Millionen Bildern in Echtzeit durchsuchen können.
Aber was bedeutet es nun, dass Computer sehen können?
Tja, es ist nicht nur so, dass sie sehen.
Genau genommen kann Deep Leaning noch mehr.
Komplexe, differenzierte Sätze wie dieser
können nun mit Deep-Learning-Algorithmen verstanden werden.
Wie Sie hier sehen können,
zeigt dieses System aus Stanford mit dem roten Punkt oben,
dass es die negative Botschaft des Satzes erkannt hat.
Deep Learning ist jetzt fast so gut wie Menschen
im Verstehen, worum es in Sätzen geht und was gesagt wird.
Deep Learning wird auch genutzt, um Chinesisch zu lesen
wieder fast auf Muttersprachler-Niveau.
Der Algorithmus dafür stammt von Leuten aus der Schweiz,
die allesamt kein Chinesisch sprechen oder verstehen.
Wie ich schon sagte: Deep Learning
ist so ziemlich das beste System der Welt dafür,
sogar im Vergleich mit dem Wissen von Muttersprachlern.
Dieses System haben wir in meiner Firma entworfen,
das all diesen Kram zusammenfügt.
Das sind Bilder ohne angehängten Text
und während ich diese Sätze hier eintippe,
versteht das System die Bilder in Echtzeit
und erkennt, was sie zeigen,
und findet ähnliche Bilder zu dem eingetippten Text.
Sie sehen also, es versteht wirklich meine Sätze
und ebenso diese Bilder.
Ich weiß, dass Sie sowas Ähnliches von Google kennen,
wo man Text eingeben kann und einem Bilder gezeigt werden,
aber da wird nur die Website nach dem Text durchsucht.
Das ist ein großer Unterschied dazu, die Bilder zu verstehen.
Letzteres haben Computer erst
vor ein paar Monaten gelernt.
Wir haben gesehen, dass Computer nicht nur sehen, sondern auch lesen können.
Wir haben natürlich auch gesehen, dass sie verstehen, was sie hören.
Vielleicht sind Sie nicht überrascht, dass sie auch schreiben können.
Diesen Text habe ich gestern mit einem Deep-Learning-Algorithmus erzeugt.
Diesen Text hier hat ein Algorithmus aus Stanford erzeugt.
Jeder dieser Sätze wurde mit einem Deep-Learning-Algorithmus erzeugt,
um das jeweilige Bild zu beschreiben.
Vorher hat der Algorithmus nie einen Mann im schwarzen Hemd Gitarre spielen sehen.
Er hat einen Mann, die Farbe Schwarz,
und eine Gitarre gesehen,
aber er hat selbstständig diese neue Bildbeschreibung erstellt.
Menschliche Leistung ist das noch nicht, aber nah dran.
In Tests bevorzugen Menschen die computer-generierte Bildbeschreibung
nur eines von vier Malen.
Aber das System ist jetzt erst 2 Wochen alt,
sodass wahrscheinlich im nächsten Jahr
der Computeralgorithmus die menschliche Leistung übertrifft,
so schnell wie die Dinge gerade gehen.
Computer können also auch schreiben.
Wenn wir das alles kombinieren, kriegen wir sehr spannenden Möglichkeiten.
In der Medizin, zum Beispiel,
hat ein Team aus Boston verkündet,
dass es Dutzende neue klinisch relevante Merkmale
von Tumoren entdeckt hätte, die Ärzten bei der Krebsprognose helfen.
Ähnlich hat in Stanford eine Gruppe bekanntgegeben,
dass sie für die Gewebeanalyse in vergrößerter Aufnahme
ein Maschinelles Lernsystem entwickelt haben,
das menschliche Pathologen tatsächlich dabei übertrifft,
die Überlebenschancen von Krebspatienten vorherzusagen.
In beiden Fällen waren die Vorhersagen nicht nur genauer,
sie förderten auch neue wissenschaftliche Erkenntnisse.
Im Fall der Radiologie
waren es neue klinische Indikatoren, die Menschen verstehen.
Im Fall der Pathologie
hat das Computersystem herausgefunden, dass die Zellen rund um den Krebs
genauso wichtig sind wie die Krebszellen selbst
beim Erstellen der Diagnose.
Das ist das Gegenteil davon, was man Pathologen jahrzehntelang beibrachte.
In beiden Fällen wurden die Systeme
gemeinsam von Experten der Medizin und des Maschinellen Lernens entwickelt,
aber seit letztem Jahr haben wir auch das überwunden.
Das hier ist ein Beispiel, wie man krebsgeschädigte Bereiche
menschlichen Gewebes unter dem Mikroskop erkennt.
Das hier gezeigte System erkennt solche Bereiche genauer,
oder etwa gleich genau, wie menschliche Pathologen,
aber es wurde allein mit Deep Learning, ohne medizinisches Wissen,
von Leuten ohne Ausbildung in diesem Feld entwickelt.
Ähnlich ist es bei dieser Neuronen-Segmentierung.
Neuronen können jetzt damit etwa so genau wie durch Menschen segmentieren werden,
aber dieses System wurde mit Deep Learning
von Leuten ohne medizinisches Vorwissen entwickelt.
Sogar ich, als jemand ohne medizinische Ausbildung,
scheine nun genug für die Gründung eines medizinisches Unternehmens zu wissen
-- und das habe ich auch.
Ich hatte irgendwie Angst davor,
aber theoretisch schien es möglich zu sein,
in der Medizin sehr nützliche Dinge allein mit solchen Datenanalysen zu bewirken.
Glücklicherweise war das Feedback fantastisch,
sowohl von den Medien als auch von Medizinern,
die mich sehr unterstützt haben.
Theoretisch können wir den Mittelteil des medizinischen Vorgangs
so viel wie möglich der Datenanalyse überlassen,
sodass Ärzte nur noch tun müssen, was sie am besten können.
Ich will Ihnen ein Beispiel geben.
Aktuell brauchen wir 15 Minuten, um einen neuen medizinischen Diagnosetest zu bauen.
Das zeige ich Ihnen jetzt in Echtzeit,
aber ich habe es durch Zusammenschneiden auf 3 Minuten gekürzt.
Anstatt Ihnen das Erstellen eines medizinischen Tests zu zeigen,
zeige ich Ihnen einen Diagnosetest für Autobilder,
denn das verstehen wir alle.
Hier fangen wir mit ungefähr 1,5 Mio. Autobildern an,
und ich möchte etwas bauen, das sie nach dem Winkel sortiert,
in dem das Foto gemacht wurde.
Diese Bilder sind jetzt noch nicht benannt, ich fange bei Null an.
Unser Deep-Learning-Algorithmus
erkennt automatisch Strukturflächen auf den Bildern.
Das Schöne ist, dass Mensch und Computer jetzt zusammenarbeiten können.
Wie Sie hier sehen,
gibt der Mensch dem Computer Zielbereiche vor,
womit der Computer dann versuchen soll, seinem Algorithmus zu verbessern.
Eigentlich sind diese Deep-Learning- Systeme im 16 000-dimensionalen Raum,
hier können Sie den Computer das durch den Raum
auf der Suche nach neuen Strukturflächen rotieren sehen.
Wenn er dabei Erfolg hat,
kann der menschliche Betreiber dann die interessanten Bereiche festlegen.
Hier hat der Computer Bereiche gefunden,
zum Beispiel Winkel.
Im Verlauf des Prozesses
sagen wir dem Computer immer mehr
über die gesuchten Strukturen.
Bei einem Diagnose-Test zum Beispiel
würde das dem Pathologen helfen, kranke Bereiche zu identifizieren,
oder dem Radiologen bei potentiell gefährlichen Knoten.
Manchmal wird es schwer für den Algorithmus.
In diesem Fall war er etwas verwirrt.
Die Vorder- und Rückseiten der Autos sind vermischt.
Wir müssen hier also sorgfältiger sein,
und die Vorderseiten manuell von den Rückseiten trennen,
um dann dem Computer zu sagen, dass das Teil einer Gruppe ist,
die uns interessiert.
Das machen wir für eine Weile, wir springen ein wenig weiter,
und dann trainieren wir den Algorithmus,
basierend auf diesen paar hundert Sachen,
und hoffen, dass er besser geworden ist.
Wie Sie sehen, lässt er einige dieser Bilder jetzt verblassen
und zeigt uns, dass er schon jetzt ein wenig selbst erkennt.
Wir können das Konzept der ähnlichen Bilder nutzen
und dabei sehen Sie,
dass der Computer jetzt in der Lage ist, nur die Vorderseiten der Autos zu finden.
Also kann der Mensch dem Computer an diesem Punkt sagen,
okay, du hast gute Arbeit geleistet.
Natürlich ist es manchmal selbst hier schwer,
die einzelnen Gruppen zu unterscheiden.
Selbst nachdem der Computer die Bilder eine Weile rotiert hat,
sind die rechten und linken Seiten der Bilder immer noch
komplett durcheinander.
Wieder können wir dem Computer Hinweise geben
und sagen, okay, jetzt versuch mal einen Weg,
der die rechte und linke Seite so gut wie möglich
mit dem Deep-Learning-Algorithmus trennt.
Und mit diesem Hinweis -- ah, okay, jetzt hat er Erfolg.
Er hat einen Weg gefunden, diese Objekte so sehen,
der diese hier aussortiert hat.
Sie haben jetzt einen Eindruck davon.
Das ist kein Fall, wo der Mensch von einem Computer ersetzt wird,
sondern sie arbeiten zusammen.
Wir ersetzen hier etwas, wofür man früher ein Team von fünf oder sechs Leuten
7 Jahre beschäftigt hat,
durch etwas, das 15 Minuten
für eine einzige Person braucht.
Dieser Vorgang braucht ungefähr vier oder fünf Durchgänge.
Wie Sie sehen, sind wir nun bei 62 %
korrekt klassifizierten Bildern aus 1,5 Millionen.
An dieser Stelle können wir anfangen, sehr schnell
große Bereiche zu erfassen,
und sie auf Fehler zu überprüfen.
Wenn es Fehler gibt, lassen wir das den Computer wissen.
Indem wir diesen Vorgang auf jede der einzelnen Gruppen anwenden,
sind wir jetzt bei einer 80%igen Erfolgsrate
beim Klassifizieren der 1,5 Mio. Bilder.
An diesem Punkt müssen wir nur noch
die kleine Zahl der falsch klassifizierten Bilder finden
und versuchen, die Ursache zu verstehen.
Wenden wir das an,
sind wir nach 15 Minuten bei einer Erfolgsquote von 97 %.
Also könnten wir mit dieser Technik ein großes Problem beheben,
nämlich, das Fehlen medizinischen Fachwissens in der Welt.
Laut Weltwirtschaftsforum gibt es zwischen 10x und 20x
zu wenige Ärzte in Entwicklungsländern
und es würde etwa 300 Jahre dauern,
genug Leute auszubilden, um das Problem zu beheben.
Können Sie sich vorstellen, dass wir ihre Effizienz
mit diesen Deep-Learning-Ansätzen steigern können?
Ich bin ganz begeistert von den Möglichkeiten.
Ich mache mir auch Sorgen über die Probleme.
Das Problem hierbei ist, in jedem blauen Bereich auf der Karte
machen Dienstleistungen über 80 % der Beschäftigung aus.
Was sind Dienstleistungen?
Das sind Dienstleistungen.
Das sind außerdem genau die Dinge, die Computer gerade gelernt haben.
Also sind 80 % der Beschäftigung der entwickelten Welt Dinge,
die Computer gerade gelernt haben.
Was bedeutet das?
Naja, es wird alles gut. Andere Jobs ersetzen diese.
Zum Beispiel wird es mehr Jobs für Informatiker geben.
Nun, nicht ganz.
Informatiker brauchen nicht lange, diese Dinge zu bauen.
Zum Beispiel wurden diese 4 Algorithmen vom selben Typen gebaut.
Wenn Sie also denken, oh, das ist alles nicht neu,
wir haben in der Vergangenheit gesehen, wenn etwas Neues kommt,
werden sie durch neue Jobs ersetzt,
was also sind diese neuen Jobs?
Das ist sehr schwer einzuschätzen,
weil menschliche Leistung schrittweise wächst,
aber wir haben jetzt ein System, Deep Learning,
das seine Leistung nachweislich exponentiell steigert.
Und da sind wir.
Zurzeit sehen wir die Dinge um uns herum
und sagen "Computer sind immer noch ziemlich dumm." Oder?
Aber in fünf Jahren werden Computer nicht mehr Teil dieser Tabelle sein.
Wir müssen also schon jetzt anfangen, über diese Leistung nachzudenken.
Wir haben das natürlich schon mal gesehen.
Die Industrielle Revolution
bewirkte einen Evolutionssprung der Leistung durch Motoren.
Aber nach einer Weile beruhigten sich die Dinge.
Es gab soziale Umbrüche,
aber sobald die Motoren damals zur Energiegewinnung genutzt wurden,
beruhigten sich die Dinge.
Die Revolution des Maschinellen Lernens
wird ganz anders als die Industrielle Revolution,
weil die Revolution nie zu Ende ist.
Je besser Computer bei intellektuellen Aktivitäten werden,
desto bessere Computer können sie bauen,
die intellektuell noch leistungsfähiger sind,
also wird das eine Art Wandel,
den die Welt nie zuvor gesehen hat,
sodass sich Ihr Verständnis des Möglichen ändert.
Das beeinflusst uns schon jetzt.
In den letzten 25 Jahren ist die Produktivität des Kapitals gestiegen,
aber die Produktivität der Arbeit blieb gleich und sank sogar ein bisschen.
Deswegen will ich, dass wir diese Diskussion jetzt führen.
Wenn ich Leuten von dieser Situation erzähle,
sind sie oft sehr abschätzig.
Computer denken nicht wirklich,
sie fühlen nichts, sie verstehen Lyrik nicht,
wir verstehen nicht wirklich, wie sie funktionieren.
Ja, und?
Computer können jetzt Dinge tun,
für die Menschen ihre meiste Zeit gegen Bezahlung aufwenden.
Wir sollten also jetzt überlegen,
wie wir unsere sozialen und wirtschaftlichen Strukturen anpassen,
um diese neue Realität zu erkennen.
Danke.
(Applaus)