Als je vroeger een computer
iets nieuws wilde laten doen,
moest je hem programmeren.
Voor wie het nooit zelf heeft gedaan:
programmeren vereist
dat je tot in het allerpijnlijkste detail
elke stap uitschrijft
van wat je wil dat de computer doet
om je doel te bereiken.
Als je iets wil doen, waarvan je
zelf niet weet hoe je het moet doen,
dan is dit een grote uitdaging.
Dat was de uitdaging
voor deze man, Arthur Samuel.
In 1956 wilde hij
deze computer zover krijgen
dat hij Samuel zelf kon verslaan
bij het dammen.
Hoe schrijf je een programma
dat tot in het allerpijnlijkste detail,
beter is in dammen dan je zelf bent?
Hij kwam met een idee:
hij liet de computer duizenden keren
tegen zichzelf spelen
en daarbij leren hoe te dammen.
Het werkte en in 1962 versloeg
deze computer de kampioen
van de staat Connecticut.
Zo werd Arthur Samuel
de vader van het ‘machinaal leren’.
Ik heb veel aan hem te danken,
want ik doe aan machinaal leren.
Ik was voorzitter van Kaggle,
een gemeenschap van meer dan
200.000 machinaal-lerenbeoefenaars.
Kaggle organiseert wedstrijden
om eerder onopgeloste problemen
op te lossen.
Dat lukte al honderden keren.
Daardoor kon ik heel wat te weten komen
over wat machinaal leren kon doen
in het verleden, vandaag,
en wat het zou kunnen doen in de toekomst.
Misschien is Google het eerste grote
commerciële succes van machinaal leren.
Google liet zien dat het mogelijk is
om informatie te vinden
met een computeralgoritme.
Dit algoritme is gebaseerd
op machinaal leren.
Sinds die tijd heeft machinaal leren
heel wat commerciële successen geboekt.
Bedrijven als Amazon en Netflix
gebruiken machinaal leren
om producten te suggereren
die je misschien wilt kopen,
of films om naar te kijken.
Soms is het bijna griezelig.
Bedrijven zoals LinkedIn en Facebook
kunnen je soms vertellen
wie je vrienden zouden kunnen zijn
en je hebt geen idee
hoe dat in zijn werk ging.
Dat is de kracht van machinaal leren.
Deze algoritmen hebben dit
uit gegevens geleerd te doen
in plaats van door manueel programmeren.
Daarom ook kon Watson van IBM
de twee wereldkampioenen
bij "Jeopardy" verslaan
door heel subtiele en complexe vragen
als deze te beantwoorden.
["O.a. de oude 'Leeuw van Nimrod' verdween
hier in 2003 uit het nationaal museum."]
Ook daarom kunnen we nu
de eerste zelfsturende auto's zien.
Het verschil zien tussen
een boom en een voetganger
is dan nogal belangrijk.
We weten niet hoe we zulke programma's
handmatig moeten schrijven,
maar met machinaal leren kan het.
Deze auto heeft er al meer
dan een miljoen kilometer opzitten
zonder ongevallen en op gewone wegen.
We weten nu dat computers kunnen leren,
en computers dingen kunnen leren doen
waarvan we eigenlijk soms niet weten
hoe we ze zelf moeten doen,
of kunnen ze misschien beter doen dan wij.
Een van de meest
verbazingwekkende voorbeelden
van machinaal leren die ik heb gezien,
zag ik op een project
dat ik op Kaggle leidde.
Een team geleid door Geoffrey Hinton
van de Universiteit van Toronto
won een wedstrijd in het geautomatiseerd
ontdekken van geneesmiddelen.
Het was al buitengewoon
dat ze alle algoritmen van Merck
en de internationale
academische gemeenschap versloegen,
maar daarbij had niemand in het team
een achtergrond
in scheikunde, biologie
of levenswetenschappen,
en ze deden het in twee weken.
Hoe deden ze het?
Ze gebruikten een buitengewoon algoritme:
‘deep learning’.
Zo belangrijk was dat,
dat het een paar weken later
in The New York Times
als voorpagina-artikel verscheen.
Dit is Geoffrey Hinton hier links.
Deep learning is een algoritme
geïnspireerd op het menselijk brein.
Daardoor is het een algoritme
zonder theoretische beperkingen
op wat het kan doen.
Hoe meer gegevens
en rekentijd je het geeft,
hoe beter het wordt.
De New York Times toonde
in dit artikel ook
een ander uitzonderlijk resultaat
van deep learning.
Ik ga het je nu laten zien.
Het toont aan dat computers
kunnen luisteren en begrijpen.
(Video) Richard Rashid:
De laatste stap
die ik in dit proces wil kunnen zetten,
is om je daadwerkelijk
in het Chinees aan te spreken.
Het belangrijkste is
dat we een grote hoeveelheid informatie
van vele Chinese sprekers konden vergaren
en een tekst-naar-spraaksysteem produceren
dat Chinese tekst
omzet naar Chinese spreektaal.
Daarna hebben we een paar uren
mijn eigen stem opgenomen
en ze gebruikt om het standaard
tekst-naar-spraak systeem te moduleren
zodat het zou klinken zoals ik.
Het resultaat is niet perfect.
Er zitten nogal wat fouten in.
(In het Chinees)
(Applaus)
Er is nog veel werk te doen
op dit gebied.
(In het Chinees)
(Applaus)
Jeremy Howard: Dat was op een conferentie
over machinaal leren in China.
Op wetenschappelijke congressen
hoor je niet vaak spontaan applaus,
maar natuurlijk wel eens
bij TEDx conferenties, het mag.
Alles wat je zag,
gebeurde met deep learning.
(Applaus)
Dank je.
De transcriptie in het Engels
was deep learning.
Ook de vertaling naar Chinees en de tekst
in de rechterbovenhoek is deep learning.
De constructie van de stem,
weer deep learning.
Deep learning is buitengewoon.
Een enkel algoritme
lijkt bijna alles te kunnen.
Een jaar eerder ontdekte ik
dat het systeem ook had leren zien.
Bij een minder bekende
wedstrijd in Duitsland,
de German Traffic Sign
Recognition Benchmark,
heeft deep learning verkeersborden
zoals deze leren herkennen.
Niet alleen kan het verkeersborden
beter dan enig ander algoritme herkennen,
het scorebord liet zien dat het ook
ongeveer twee keer beter was dan mensen.
In 2011 hadden we dus het eerste voorbeeld
van computers die beter
kunnen zien dan mensen.
Sinds die tijd is er veel gebeurd.
In 2012 kondigde Google aan
dat ze een deep learning-algoritme
YouTube-video’s lieten bekijken.
Het verwerkte een maand lang
de gegevens op 16.000 computers,
en de computer leerde zelfstandig
over begrippen als mensen en katten
gewoon door naar de video's te kijken.
Net als de manier waarop mensen leren.
Mensen leren niet doordat hen
wordt verteld wat ze zien,
maar door zichzelf
deze dingen te leren.
Ook in 2012, won Geoffrey Hinton,
die we eerder zagen,
de zeer populaire ImageNet-wedstrijd,
door te kijken naar anderhalf miljoen
afbeeldingen om erachter te komen
wat ze voorstelden.
Vanaf 2014 zitten we op
een zes procent foutenpercentage
bij beeldherkenning.
Dit is alweer beter dan mensen.
Machines kunnen dit buitengewoon goed
en het wordt nu gebruikt in de industrie.
Vorig jaar kondigde
Google bijvoorbeeld aan
dat ze elke locatie in Frankrijk
in twee uur tijd in kaart hadden gebracht,
door Street View-beelden
met een deep learning-algoritme te herkennen
en de huisnummers te lezen.
Stel je voor hoe lang het
anders zou hebben geduurd:
tientallen mensen, vele jaren.
Dit gebeurt ook in China.
Baidu is een soort Chinese Google,
denk ik,
en wat je hier ziet
in de linkerbovenhoek,
is een voorbeeld van een foto
die ik heb geüpload
naar Baidu’s deep learning-systeem.
Daaronder kun je zien dat het systeem
heeft begrepen wat dat beeld is
en gelijkaardige beelden vond.
De gelijkaardige beelden
hebben gelijkaardige achtergronden,
dezelfde richtingen van gezichten,
sommige zelfs met hun tong uit.
Dit is niet zomaar wat kijken
naar de tekst van een webpagina.
Alles wat ik uploadde, waren beelden.
Dus hebben we nu computers
die echt begrijpen wat ze zien
en derhalve databases
van honderden miljoenen beelden
in real time doorzoeken.
Wat betekent het nu
dat computers kunnen zien?
Computers kunnen niet alleen maar zien.
Deep learning doet meer.
Complexe, genuanceerde zinnen zoals deze
zijn nu begrijpelijk
met deep learning-algoritmen.
Zoals je hier kunt zien,
heeft dit systeem van Stanford
met de rode stip bovenaan
uitgeknobbeld dat deze zin
een negatief sentiment weergeeft.
Deep learning komt in de buurt
van menselijke prestaties
bij het begrijpen waar zinnen over gaan
en wat ze zeggen over die dingen.
Ook is deep learning gebruikt
om Chinees te lezen,
weer op ongeveer het niveau
van Chinese moedertaalsprekers.
Dit algoritme werd
in Zwitserland ontwikkeld
alweer door mensen die geen
Chinees spreken of begrijpen.
Zoals ik al zei, deep learning
is zowat het beste systeem
ter wereld hiervoor,
zelfs in vergelijking
met autochtoon menselijk begrijpen.
Het is een systeem dat we
op mijn bedrijf hebben ontwikkeld
door dit allemaal te combineren.
Dit zijn foto’s
zonder bijhorende tekst,
en terwijl ik hier zinnen typ,
begrijpt het deze foto’s in real time,
zoekt uit waarover ze gaan
en vindt foto’s die lijken op
de tekst die ik schrijf.
Zoals jullie kunnen zien, begrijpt het
mijn zinnen en deze foto's echt.
Dit heb je vast al gezien op Google,
waar je woorden kunt intypen
en het je afbeeldingen toont,
maar eigenlijk doorzoekt het
de webpagina op tekst.
Dat is heel wat anders dan
werkelijk begrijpen van de afbeeldingen.
Dit kunnen computers alleen nog maar
sinds de laatste paar maanden.
Computers kunnen dus niet alleen zien,
maar ook lezen,
en, zoals we hebben aangetoond,
ook begrijpen wat ze horen.
Misschien niet zo verwonderlijk
dat ik je vertel dat ze kunnen schrijven.
Deze tekst genereerde ik gisteren
met een deep learning-algoritme.
En hier een stukje tekst dat
een algoritme van Stanford genereerde.
Elk van deze zinnen werd gegenereerd
door een deep learning-algoritme
om elk van deze foto's te beschrijven.
Dit algoritme had nog nooit een man
in een zwart shirt gitaar zien spelen.
Het had al apart een man, zwart
en een gitaar gezien,
maar genereerde onafhankelijk
de nieuwe beschrijving van dit beeld.
We zijn nog niet zover
als menselijke prestaties,
maar we komen in de buurt.
Bij tests geven mensen
één op de vier keer de voorkeur
aan het bijschrift van de computer.
Dit systeem is nog maar twee weken oud,
dus waarschijnlijk
zal in de loop van volgend jaar,
het computer-algoritme
het beter doen dan mensen.
Computers kunnen dus ook schrijven.
Dit alles tezamen leidt
tot zeer interessante mogelijkheden.
In de geneeskunde heeft
een team in Boston aangekondigd
tientallen nieuwe klinisch relevante
eigenschappen van tumoren
te hebben ontdekt, wat artsen helpt bij
het maken van prognoses voor kanker.
Ook in Stanford maakte een groep bekend
dat ze, kijkend
naar weefsels onder vergroting,
een op machinaal-leren gebaseerd
systeem hebben ontwikkeld
dat beter was dan menselijke pathologen
in het voorspellen van overlevingskansen
voor kankerpatiënten.
In beide gevallen werden niet alleen
de voorspellingen nauwkeuriger,
maar ze genereerden
nieuwe inzichtelijke wetenschap.
Bij de radiologie
waren dat nieuwe klinische indicatoren
die mensen kunnen begrijpen.
Bij de pathologie
ontdekte het computersysteem
dat de cellen rond de kanker
even belangrijk zijn
als de kankercellen zelf
bij het maken van een diagnose.
Dit is het tegenovergestelde van wat
pathologen decennialang hadden geleerd.
In beide gevallen
werden systemen ontwikkeld
door een combinatie van medische experts
en machinaal-lerenexperts,
maar dat was vorig jaar,
nu staan we verder.
Dit is een voorbeeld van identificatie
van carcinomateuze gebieden
van menselijk weefsel
onder een microscoop.
Het systeem dat hier wordt getoond,
kan deze doelgebieden
preciezer identificeren
of ongeveer net zo precies
als menselijke pathologen, maar werd
geheel ontwikkeld met deep learning
zonder medische expertise
door mensen zonder achtergrond
op dat gebied.
Evenzo bij deze neuronen-segmentatie.
We kunnen nu neuronen ongeveer
net zo nauwkeurig onderscheiden
als mensen het kunnen,
maar dit systeem
is ontwikkeld met deep learning
met mensen zonder eerdere
achtergrond in de geneeskunde.
Ikzelf, als iemand zonder eerdere
achtergrond in de geneeskunde,
lijk helemaal gekwalificeerd te zijn om
een nieuw medisch bedrijf op te starten,
wat ik dan ook deed.
Ik was doodsbang om het te doen,
maar de theorie leek te suggereren
dat het mogelijk moet zijn
om aan zeer bruikbare geneeskunde te doen
met deze data-analyse technieken.
Gelukkig is de feedback
fantastisch geweest.
Niet alleen van de media
maar ook van de medische gemeenschap,
die zeer positief reageerde.
De theorie is dat wij het middelste deel
van het medische proces kunnen overnemen
en dat zoveel mogelijk
in gegevensanalyse omzetten
om artsen dat te laten doen
waarin ze uitblinken.
Ik geef een voorbeeld.
Het kost ons nu ongeveer 15 minuten
om een nieuwe medische diagnostische
test te genereren.
Ik toon het in real-time,
maar comprimeerde het tot drie minuten
door wat weg te laten.
In plaats van het creëren van
een medisch-diagnostische test te tonen,
toon ik een diagnostische test
van afbeeldingen van auto's,
want dat begrijpen we allemaal.
We beginnen hier met ongeveer
1,5 miljoen afbeeldingen van auto's,
en ik wil iets maken
dat hen kan sorteren
volgens de hoek
vanwaar de foto werd genomen.
Deze beelden zijn ongelabeld,
dus moet ik beginnen vanaf nul.
Met ons deep learning-algoritme
kan het automatisch structuurdelen
identificeren in deze beelden.
Het leuke is dat mens en computer
nu kunnen samenwerken.
De mens zoals hier te zien,
wijst de computer op aandachtsgebieden
waarvan hij wil dat de computer ze
gebruikt om het algoritme te verbeteren.
Deze deep learning-systemen zijn in feite
in een 16.000-dimensionale ruimte.
Je kunt de computer dit
in die ruimte zien draaien,
om nieuwe structuurgebieden te vinden.
Als dat lukt,
kan de mens dan wijzen
op gebieden die interessant zijn.
Hier heeft de computer
goede gebieden gevonden,
bijvoorbeeld hoeken.
Bij het doorlopen van dit proces,
vertellen we de computer
geleidelijk aan meer en meer
over de soorten structuren
die we zoeken.
Je kunt je voorstellen
dat in een diagnostische test
een patholoog zieke gebieden
gaat identificeren
of een radioloog potentieel
gevaarlijke knobbeltjes aanwijst.
Soms wordt het moeilijk
voor het algoritme.
Hier raakte het in de war.
De voor- en achterkanten van de auto's
worden door elkaar gehaald.
Dus moeten we hier wat preciezer zijn,
voor- en achterkanten handmatig selecteren
en de computer vertellen
dat dit een soort groep is
waarin we geïnteresseerd zijn.
Dat doen we even,
we slaan even wat over,
en trainen daarmee
het machinaal-lerenalgoritme
op basis van die paar honderd dingen,
en hopen dat het dan veel beter gaat.
Jullie zien, hij begint nu
sommige van deze foto’s te vervagen,
en laat daarmee zien dat het
sommige ervan zelf begint te begrijpen.
We kunnen dan gebruik maken
van het concept van soortgelijke foto's,
daarmee kun je nu zien
dat de computer in staat is om alleen
de voorkanten van auto’s te vinden.
Nu kan de mens de computer vertellen:
“Oké, dat heb je goed gedaan.”
Maar zelfs op dit punt
is het soms nog steeds moeilijk
groepen te scheiden.
Zelfs na de computer
dit een tijdje te laten roteren,
zien we nog steeds dat foto’s
van de linker- en de rechterzijde
door elkaar worden gehaald.
We kunnen dan de computer
weer enkele tips geven,
en zeggen dat hij een projectie
moet zoeken
die de linker- en rechterkant
zoveel mogelijk scheidt
door middel van
een deep learning-algoritme.
En met die hint –
ah, oké, het is gelukt.
Hij vond een manier
van denken over deze objecten
dat ze van elkaar scheidde.
Je ziet het idee erachter.
Hier werd de mens
niet vervangen door een computer,
maar ze werkten samen.
Dit zou een team van vijf of zes personen
zeven jaar hebben gekost.
Dit duurt 15 minuten
voor één enkele persoon.
Dit proces neemt ongeveer
vier of vijf iteraties in beslag.
Je kunt zien dat we nu 62%
van onze 1,5 miljoen beelden
correct hebben geclassificeerd.
Vanaf nu kunnen we vrij snel
heel grote secties aanpakken
en controleren of er
geen fouten werden gemaakt.
Waar fouten zijn,
kunnen we de computer daarop wijzen.
Met dit soort proces voor elk
van de verschillende groepen,
hebben we nu een 80% kans op succes
bij het sorteren
van de 1,5 miljoen afbeeldingen.
Dan is het nog zaak
het kleine aantal te vinden
dat niet correct werd ingedeeld
en proberen te begrijpen waarom.
Met behulp van die aanpak
krijgen we op 15 minuten
tot 97% juiste classificatie.
Dit soort techniek stelt ons in staat
een groot probleem op te lossen,
namelijk het gebrek
aan medische expertise in de wereld.
Het Wereld Economisch Forum zegt
dat er tussen de 10 en 20 keer
te weinig artsen zijn
in de derde wereld.
Het zou ongeveer 300 jaar duren
om voldoende mensen op te leiden
om dat probleem op te lossen.
Stel dat we hun efficiëntie
kunnen verbeteren
met behulp van deep learning?
Ik ben erg enthousiast
over de mogelijkheden.
Maar ik zie ook problemen.
Het probleem hier is dat
elk gebied in het blauw op deze kaart
ergens is waar de dienstensector instaat
voor meer dan 80% van de werkgelegenheid.
Wat zijn diensten?
Dit zijn diensten.
Dit zijn ook exact die dingen
die computers net hebben leren doen.
Dus 80% van de werkgelegenheid
in de ontwikkelde wereld
zijn zaken die computers
net hebben leren doen.
Wat betekent dat?
Het komt wel goed.
Er komen wel andere banen.
Bijvoorbeeld meer banen
voor datawetenschappers.
Nou, niet echt. Datawetenschappers
kunnen deze dingen heel snel ontwikkelen.
Zo werden deze vier algoritmes
alle ontwikkeld door dezelfde man.
Als je denkt: “Ach, het is allemaal
al eerder gebeurd,
we zagen wat er vroeger gebeurde
als er nieuwe dingen kwamen,
ze worden vervangen door nieuwe banen.”
Maar wat zullen deze nieuwe banen zijn?
Moeilijk in te schatten,
omdat menselijk kunnen
met dit geleidelijke tempo groeit,
maar we hebben nu
een deep learning-systeem
dat eigenlijk exponentieel
in mogelijkheden toeneemt.
Hier zijn we.
We kijken naar wat we hebben
en zeggen: "Ach, computers zijn
nog steeds behoorlijk dom." Ja?
Maar in vijf jaar tijd zullen computers
buiten deze grafiek vallen.
Daar moeten we nu al beginnen
over na te denken.
Hebben we dit niet
al eerder zien gebeuren?
In de Industriële Revolutie
deden we een grote stap
in mogelijkheden dankzij machines.
Maar na een tijdje vlakte het wat af.
Er was maatschappelijke ontwrichting,
maar zodra machines in alle situaties
voor energie gingen zorgen,
kalmeerde het weer.
De Machinaal-Leren Revolutie
zal heel wat anders zijn
dan de Industriële Revolutie,
omdat de Machinaal-Leren Revolutie
nooit gaat stoppen.
Hoe beter computers worden
in intellectuele activiteiten,
hoe meer ze betere computers kunnen bouwen
om intellectuele vermogens te verbeteren.
Dit gaat om een soort verandering
die de wereld nog nooit
eerder heeft meegemaakt.
Je vorige idee van wat mogelijk is,
schiet tekort.
Dit beïnvloedt ons nu al.
Terwijl in de afgelopen 25 jaar
de kapitaalproductiviteit toenam,
ging het voor de arbeidsproductiviteit
zelfs een beetje omlaag.
Ik zou deze discussie
nu willen opstarten.
Ik weet dat wanneer ik
mensen hierover vertel,
ze vaak heel afwijzend zijn:
"Computers kunnen toch niet echt denken,
voelen, poëzie begrijpen.
We begrijpen niet echt hoe ze werken."
Dus?
Computers kunnen nu dingen doen
waarvoor mensen al hun hele leven
betaald werden,
dus is het nu tijd om te gaan nadenken
hoe we onze sociale
en economische structuren gaan aanpassen
en ons bewust worden
van deze nieuwe realiteit.
Bedankt.
(Applaus)