YouTube

Got a YouTube account?

New: enable viewer-created translations and captions on your YouTube channel!

Swedish subtitles

← De underbara och skrämmande konsekvenserna av datorer som kan lära sig

Get Embed Code
30 Languages

Showing Revision 25 created 01/05/2015 by Annika Bidner.

  1. Det brukade vara så att om du ville
    få en dator att göra något nytt
  2. så behövde du programmera den.
  3. Programmering, för dem av er
    som inte har gjort det själva,
  4. kräver att man
  5. på ett olidligt detaljerat sätt
  6. anger varenda steg
    man vill att datorn ska ta
  7. för att uppnå önskat mål.
  8. Men, om du vill göra något
    som du inte vet själv hur man gör,
  9. då blir det här en enorm utmaning.
  10. Så det här var den utmaning som denne man,
    Arthur Samuel, ställdes inför.

  11. 1956 ville han få sin dator till
  12. att slå honom i spelet Dam.
  13. Hur kan du skriva ett program,
  14. och ange på ett olidligt detaljerat sätt,
    hur det ska slå dig i Dam?
  15. Så han kom på en idé:
  16. han lät datorn spela
    mot sig själv tusentals gånger
  17. och lära sig att spela Dam.
  18. Och det fungerade faktiskt, och vid 1962
  19. hade datorn slagit
    Connecticuts statsmästare.
  20. Så Arthur Samuels
    var maskininlärningens fader,

  21. och jag är skyldig honom så mycket,
  22. för att jag är verksam
    inom maskininlärning.
  23. Jag var ordförande i Kaggle,
  24. en gemenskap på över 200 000
    verksamma inom maskininlärning.
  25. Kaggle anordnar tävlingar
  26. för att försöka åstadkomma
    lösningar på olösta problem,
  27. och det har varit framgångsrikt
    vid hundratals tillfällen.
  28. Så från den synvinkeln
    kunde jag få veta
  29. väldigt mycket om vad maskininlärning
    kan göra i det förflutna, kan göra idag,
  30. och vad den kan tänkas göra i framtiden.
  31. Maskininlärningens första stora framgång
  32. var kanske Google.
  33. Google visade att det är möjligt
    att få fram information
  34. genom att använda en datoralgoritm,
  35. en datoralgoritm som bygger
    på maskininlärning.
  36. Sen dess har maskininlärning
    rönt många kommersiella framgångar.
  37. Företag som Amazon och Netflix
  38. använder maskininlärning
    för att föreslå produkter
  39. som du kan tänkas vilja köpa,
  40. filmer som du kan tänkas vilja se.
  41. Ibland är det nästan lite läskigt.
  42. Företag som LinkedIn och Facebook
  43. kan ibland berätta för dig
    vilka dina vänner kan tänkas vara
  44. och du kan inte föreställa dig
    hur det gick till
  45. och det beror på att de använder
    maskininlärningens kraft.
  46. Det här är algoritmer som har lärt sig
    att göra detta utifrån data
  47. snarare än att ha blivit
    programmerade till det.
  48. Det här också hemligheten
    bakom IBM:s framgångar

  49. med att få Watson att slå
    de två världsmästarna i Jeopardy,
  50. genom att besvara otroligt subtila
    och komplexa frågor som den här.
  51. [Det antika "Lion of Nimrud" försvann
    från denna stads ...]
  52. Det här är också anledningen till
    att vi nu ser självkörande bilar.
  53. Om du vill kunna skilja på till exempel
  54. ett träd och en fotgängare
    så är det ganska viktigt.
  55. Vi vet inte hur vi skulle kunna
    programmera något sånt,
  56. men med maskininlärning
    är det här nu möjligt.
  57. Och den här bilen har faktiskt
    kört över 1,5 miljoner mil,
  58. utan olyckor, på vanliga vägar.
  59. Så nu vet vi att datorer kan lära sig,

  60. och datorer kan lära sig att göra saker
  61. som vi ibland faktiskt själva
    inte vet hur man gör,
  62. eller så kan de göra något
    bättre än vi.
  63. Ett av det mer häpnadsväckande exemplen
    av maskininlärning som jag har sett
  64. tog plats i ett projekt
    som jag körde på Kaggle
  65. där ett lag som leddes av en kille
    som heter Geoffrey Hinton
  66. från University of Toronto
  67. vann en tävling
    i automatisk medicinforskning.
  68. Men vad som var exceptionellt
    var inte bara att de slog
  69. alla Mercks algoritmer och hela den
    internationella akademiska gemenskapen,
  70. utan att ingen i laget hade någon bakgrund
    i kemi, biologi eller livsvetenskap
  71. och de klarade det på två veckor.
  72. Hur gjorde de detta?
  73. De använde en enastående algoritm
    som kallas djupinlärning.
  74. Det här var så viktigt
    att det till och med rapporterades
  75. på framsidan till New York Times
    några veckor senare.
  76. Här är Geoffrey Hinton till vänster.
  77. Djupinlärningsalgoritmen
    är inspirerad av hur hjärnan fungerar
  78. och som en effekt av det
  79. så har den inga teoretiska begränsningar
    i vad den kan åstadkomma.
  80. Ju mer data och beräkningstid du ger den,
  81. desto bättre blir den.
  82. New York Times visade
    i sin artikel också på

  83. en annan exceptionell effekt
    av djupinlärning
  84. som jag ska visa er nu.
  85. Den visar att datorer
    kan lyssna och förstå.
  86. (Video) Richard Rashid: Det sista steget

  87. som jag vill kunna ta i den här processen
  88. är att kunna tala till er på kinesiska.
  89. Nyckeln här är att
  90. vi har kunnat ta en stor mängd information
    från många som talar kinesiska
  91. och producera ett "text till tal"-system
  92. som tar kinesisk text
    och konverterar den till kinesiskt språk.
  93. Sen har vi tagit en timme
    eller så av min egen röst
  94. och vi har använt den till att modulera
  95. vårt grundläggande "text till tal"-system
    så att det låter som jag.
  96. Återigen, resultatet är inte perfekt.
  97. Det finns fortfarande några fel.
  98. (Kinesiska)
  99. (Applåder)
  100. Det finns mycket att göra
    på det här området.
  101. (Kinesiska)
  102. (Applåder)
  103. Jeremy Howard: Det där var
    på en maskininlärningskonferens i Kina.

  104. Det är faktiskt inte ofta
    på akademiska konferenser
  105. att man hör spontana applåder,
  106. fast på TEDx-konferenser
    är det förstås välkommet.
  107. Allt ni såg där hände
    med hjälp av maskininlärning.
  108. (Applåder) Tack.
  109. Avskriften till engelska
    var djupinlärning.
  110. Översättningen till kinesiska och texten
    i övre högra hörnet vad djupinlärning
  111. och skapandet av rösten
    var också djupinlärning.
  112. Så djupinlärning är en exceptionell sak.

  113. Det är en enda algoritm som ser ut
    att kunna göra nästan vad som helst,
  114. och jag upptäckte att ett år tidigare
    hade den också lärt sig att se.
  115. I en obskyr tävling från Tyskland
  116. som hette German Traffic Sign
    Recognition Benchmark,
  117. hade djupinlärning lärt sig
    att känna igen trafikskyltar som den här.
  118. Den kunde inte bara
    känna igen trafikskyltarna
  119. bättre än alla andra algoritmer,
  120. utan resultattavlan visade
    att den faktiskt var bättre än människor
  121. ungefär dubbelt så bra som människor.
  122. Vid 2011 hade vi det första exemplet
  123. på en dator som kan se
    bättre än människor.
  124. Sen dess har det hänt många saker.
  125. 2012 meddelade Google att de hade
    låtit en djupinlärningsalgoritm
  126. titta på YouTube-klipp
  127. och beräknade datan
    på 16 000 datorer i en månad.
  128. Och datorn lärde sig, helt av sig själv,
    om koncept som människor och katter
  129. bara genom att titta på klippen.
  130. Det här är väldigt likt
    den mänskliga lärprocessen.
  131. Människor lär sig inte genom
    att någon berättar vad de ser,
  132. utan de lär sig själva
    vad de här sakerna är.
  133. 2012 vann George Hinton,
    som vi såg tidigare, också
  134. den väldigt populära ImageNet-tävlingen,
  135. när han försökte lista ut,
    på basis av 1,5 miljoner bilder,
  136. vad bilderna innehöll.
  137. Nu 2014, är vi nere på
    en sexprocentig felmarginal
  138. för bildigenkänning.
  139. Detta är, återigen, bättre än människor.
  140. Så maskiner gör verkligen
    ett exceptionellt bra jobb här

  141. och används nu inom industrin.
  142. Till exempel meddelade Google förra året
  143. att de hade mappat varenda plats
    i Frankrike på två timmar.
  144. Och de gjorde detta genom
    att föda bilder av gatuvyer
  145. in i en djupinlärningsalgoritm
    för att den skulle känna igen
  146. och läsa gatunummer.
  147. Föreställ er hur lång tid
    detta skulle ha tagit:
  148. dussintals med människor, många år.
  149. Det här händer också i Kina.
  150. Baidu kan väl kanske sägas vara
    ett kinesiskt Google
  151. och vad ni ser här uppe till vänster
  152. är ett exempel på en bild
    som jag laddade upp
  153. i Baidus djupinlärningssystem,
  154. och nedanför kan ni se att systemet
    har förstått vad bilden innehåller
  155. och hittat liknande bilder.
  156. De liknande bilderna har faktiskt
    liknande bakgrunder,
  157. liknande ansiktsvinklar,
  158. till och med några med utstickande tungor.
  159. Det här handlar inte om att titta
    på text på en webbsida.
  160. Allt jag laddade upp var en bild.
  161. Så, nu har vi datorer
    som faktiskt förstår vad de ser
  162. och därmed kan söka igenom databaser
  163. med hundra miljontals bilder i realtid.
  164. Så vad betyder det nu att datorer kan se?

  165. Det betyder inte bara
    att datorer kan se.
  166. Djupinlärning har faktiskt
    gjort mer än så.
  167. Komplexa, nyanserade meningar
  168. som den här kan nu förstås
  169. med djupinlärningsalgoritmer.
  170. Som ni kan se här,
  171. så har det här Stanford-baserade systemet
    med den röda pricken i toppen
  172. räknat ut att den här meningen
    uttrycker negativa känslor.
  173. Djupinlärning är faktiskt nära
    den mänskliga prestationsförmågan
  174. när det gäller att förstå
    vad meningar handlar om
  175. och vad de säger om det.
  176. Djupinlärning har också använts
    till att läsa kinesiska,
  177. på, återigen, nästan modersmålsnivå.
  178. Den här algoritmen
    har utvecklats i Schweitz
  179. av människor som varken talar
    eller förstår kinesiska.
  180. Jag brukar säga att,
    att använda djupinlärning
  181. är nära nog det bästa systemet
    i världen för detta
  182. även jämfört med
    mänsklig modersmålsförståelse.
  183. Det här ett system som vi satte ihop
    på mitt företag

  184. som visar hur allt det här sätts ihop.
  185. De här bilderna har ingen vidhängd text,
  186. och medan jag skriver in meningar här
  187. så förstår den de här bilderna i realtid
  188. och listar ut vad de handlar om
  189. och hittar bilder som liknar
    den text som jag skriver in.
  190. Så ni kan se att den faktiskt
    förstår mina meningar
  191. och faktiskt förstår de här bilderna.
  192. Jag vet att ni har sett
    liknande saker på Google,
  193. där du kan skriva in saker
    och den visar dig bilder,
  194. men vad den faktiskt gör är
    att den söker av webbsidan efter text.
  195. Det är en stor skillnad
    mot att förstå bilderna.
  196. Det här är något som datorer
    har kunnat göra
  197. för första gången
    för bara några månader sen.
  198. Så nu kan vi se att datorer
    inte bara kan se, de kan också läsa,

  199. och så har vi också visat
    att de kan förstå vad de hör.
  200. Kanske är det inte överraskande
    att jag nu berättar för er
  201. att de kan skriva.
  202. Här är lite text som jag genererade igår
  203. med hjälp av en djupinlärningsalgoritm.
  204. Och här är lite text som en algoritm
    från Stanford har genererat.
  205. Var och en av dessa meningar
    har genererats
  206. av en djupinlärningsalgoritm
    för att förklara varje bild.
  207. Den här algoritmen har aldrig förut sett
    en man i svart tröja som spelar gitarr.
  208. Den har sett en man förut,
    den har sett svart förut,
  209. den har sett en gitarr förut,
  210. men den har helt fristående genererat
    den här nya beskrivningen av bilden.
  211. Vi är ännu inte riktigt framme
    vid mänsklig prestationsförmåga här,
  212. men vi är nära.
  213. Tester har visat att människor föredrar
    den datorgenererade förklaringen
  214. en av fyra gånger.
  215. Det här systemet är nu bara
    två veckor gammalt,
  216. så det är sannolikt att datoralgoritmen
  217. kommer att slå mänsklig prestationsförmåga
  218. inom ett år
  219. om det fortsätter i samma takt.
  220. Så, datorer kan skriva också.
  221. När vi slår samman allt det här
    så ser vi väldigt spännande möjligheter.

  222. Till exempel inom läkekonsten,
  223. ett team i Boston meddelade
    att de hade upptäckt
  224. dussintals nya kliniskt
    relevanta kännetecken
  225. på tumörer, som hjälper läkare
    att göra cancerprognoser.
  226. Också liknande,
    meddelade en grupp i Stanford
  227. att de, genom att titta på vävnad
    under förstoring, hade utvecklat
  228. ett maskininlärningsbaserat system
  229. som faktiskt är bättre
    än mänskliga patologer
  230. på att förutse överlevnadssiffror
  231. för cancersjuka.
  232. I båda dessa fall
    visade sig förutsägelserna
  233. inte bara vara mer rättvisande
  234. utan de genererade också
    ny insiktsfull kunskap.
  235. I röntgenfallet
  236. var det nya kliniska indikatorer
    som människor kan förstå.
  237. I patologifallet
  238. upptäckte systemet
    att cellerna runt cancern
  239. är lika viktiga som cancercellerna själva
  240. för att ställa diagnos.
  241. Det här var motsatsen till vad patologer
    hade fått lära sig i årtionden.
  242. I båda dessa fall var systemen utvecklade
  243. av en kombination av medicinska experter
    och maskininlärningsexperter,
  244. men sedan ett år tillbaka
    har vi tagit oss förbi det också.
  245. Det här är ett exempel på hur man
    identifierar cancerområden
  246. i mänsklig vävnad under ett mikroskåp.
  247. Systemet som visas här kan identifiera
    de områdena med större exakthet,
  248. eller ungefär lika exakt,
    som mänskliga patologer,
  249. fast det enbart bygger på djupinlärning
    helt utan medicinsk expertis
  250. och har byggts av människor
    som inte har någon erfarenhet på området.
  251. På liknande vis, här, det här med
    segmentering av neuroner.
  252. Vi kan nu segmentera neuroner
    ungefär lika exakt som människor kan,
  253. men det här systemet utvecklades
    med hjälp av djupinlärning
  254. av människor utan erfarenhet av läkekonst.
  255. Så jag själv, som någon som inte har
    någon erfarenhet av läkekonst,

  256. tycks vara helt kvalificerad för
    att starta ett nytt medicinskt företag,
  257. vilket jag gjorde.
  258. Jag var en aning livrädd för att göra det,
  259. men teoretiskt sett borde det vara möjligt
  260. att praktisera nyttig läkekonst
    bara på basis av dessa dataanalystekniker.
  261. Och som tur är har återkopplingen
    varit fantastisk,
  262. inte bara från media
    utan också från läkarkåren,
  263. som har varit väldigt stöttande.
  264. Teorin innebär att vi kan ta mittendelen
    av den medicinska processen
  265. och göra om den till dataanalys
    så långt det är möjligt,
  266. och på så sätt frigöra läkarna till
    att göra det de är bäst på.
  267. Jag vill ge er ett exempel.
  268. Det tar oss nu ungefär 15 minuter
  269. att ta fram ett nytt
    medicinskt diagnostiskt test
  270. och jag ska visa er det i realtid nu,
  271. men jag har komprimerat det
    till tre minuter
  272. genom att skära bort en del.
  273. Snarare än att visa er hur man skapar
    ett medicinskt diagnostiskt test,
  274. så vill jag visa er
  275. ett diagnostiskt test på bilbilder,
  276. eftersom det är något
    som vi alla kan förstå.
  277. Så vi börjar med ungefär
    1,5 miljoner bilbilder,

  278. och jag vill skapa något som kan sortera
    dem beroende på vilken
  279. vinkel bilden är tagen ur.
  280. De här bilderna har inga etiketter,
    så jag måste börja från början.
  281. Med vår djupinlärningsalgoritm
  282. kan den automatiskt identifiera områden
    med struktur i bilderna.
  283. Det fina är att nu kan människan
    och datorn samarbeta.
  284. Människan, som ni ser här,
  285. talar om för datorn vilka områden
    som är intressanta, den information
  286. som hon vill att datorn använder
    för att förbättra algoritmen.
  287. De här djupinlärningssystemen
  288. existerar faktiskt
    i en 16000-dimensionell rymd,
  289. så ni kan här se hur datorn roterar
    genom den rymden
  290. och letar efter nya strukturella områden.
  291. Och när den hittar ett sånt
  292. så kan människan som styr den påpeka
    att dessa områden är intressanta.
  293. Så här har datorn lyckats hitta områden,
  294. till exempel vinklar.
  295. Så medan vi går igenom den här processen,
  296. så berättar vi gradvis
    mer och mer för datorn
  297. om vilka strukturer vi letar efter.
  298. I ett diagnostiskt test
  299. skulle det här motsvara en patolog
    som identifierar sjuka områden
  300. eller en radiolog som identifierar
    potentiellt farliga knutor.
  301. Och ibland kan det vara svårt
    för algoritmen.
  302. I det här fallet blev den något förvirrad.
  303. Fronten och bakänden på bilarna
    är helt ihopblandade.
  304. Så här behöver vi
    vara lite mer försiktiga,
  305. och manuellt välja ut fronterna
    men inte bakändarna,
  306. och sen berätta för datorn
    att detta är en sorts grupp
  307. som vi är intresserade av.
  308. Så vi gör det en stund,
    vi hoppar över en liten bit,

  309. och sen tränar vi
    maskininlärningsalgoritmen
  310. baserat på ett par hundra saker
  311. och så hoppas vi att den har
    blivit mycket bättre.
  312. Ni kan se att den nu har börjat tona ut
    vissa av de här bilderna
  313. och visar oss därmed att den redan vet
    hur den själv ska förstå vissa av dem.
  314. Sen kan vi använda det här konceptet
    av liknande bilder
  315. och med hjälp av liknande bilder
  316. kan ni nu se att datorn vid det här laget
  317. kan hitta enbart bilder med bilfronter.
  318. Så, vid det här laget kan människan
    berätta för datorn att,
  319. "Okej, bra - du har gjort
    ett bra jobb med det."
  320. Ibland är det förstås
    även vid det här laget

  321. svårt att skilja ut grupper.
  322. I det här fallet,
    trots att vi har låtit datorn
  323. försöka rotera det här en stund,
  324. så ser vi att bilder
    av vänster och höger sida
  325. har blandats ihop.
  326. Så vi kan ge datorn några tips,
  327. som "Okej, försök hitta
    en projektion som skiljer ut
  328. vänstersidorna och högersidorna
  329. så gott det går
  330. med hjälp av en djupinlärningsalgoritm."
  331. Och med det tipset - ah, så lyckas den.
  332. Den har hittat ett sätt
    att tänka kring de här objekten
  333. som har skiljt ut dessa tillsammans.
  334. Så ni förstår tanken här.

  335. Det här är ett fall som inte handlar om
  336. att människan ersätts av datorn,
  337. utan om att de arbetar tillsammans.
  338. Vad vi gör är att vi ersätter någonting
    som brukade ta ett helt team
  339. på fem eller sex personer ungefär sju år
  340. och ersätter det med någonting
    som tar 15 minuter
  341. för en person på egen hand.
  342. Så den här processen kräver ungefär
    fyra eller fem upprepningar.

  343. Ni kan se att vi nu har 62 procent
  344. av våra 1,5 miljoner bilder
    korrekt klassificerade.
  345. Och vid det här laget,
    kan vi börja att ganska snabbt
  346. ta tag i en hela stora sektioner
  347. och kolla igenom för att säkerställa
    att det inte finns några misstag.
  348. Där vi hittar misstag
    kan vi uppmärksamma datorn på dem.
  349. Genom att använda den här sortens process
    för alla olika grupper,
  350. är vi nu uppe i 80 procent
  351. framgångsrikt klassificerade bilder.
  352. Och vid det här laget
    är det bara en fråga om
  353. att hitta de få bilder
    som inte har klassificerats korrekt,
  354. och försöka förstå varför.
  355. Och på det sättet
  356. är vi efter 15 minuter uppe
    i 97 procent klassificerade bilder.
  357. Det här är en teknik som skulle kunna
    bistå med att överbrygga det stora problem

  358. som utgörs av begränsad tillgång
    till medicinsk expertis i världen.
  359. Världsekonomiskt forum menar
    att det råder en mellan 10x och 20x
  360. brist på läkare i utvecklingsländer
  361. och att det skulle ta ungefär 300 år
  362. att lära upp tillräckligt många människor
  363. för att lösa det.
  364. Så föreställ er om vi kan hjälpa till
    att öka effektiviteten
  365. med hjälp av djupinlärning.
  366. Så, de här möjligheterna
    gör mig väldigt ivrig.

  367. Jag är också bekymrad över problemen.
  368. Problemet är att i alla blå områden
    på den här kartan
  369. består jobben till 80 procent av tjänster.
  370. Vad är tjänster?
  371. Det här är tjänster.
  372. Det här är också precis vad datorerna
    har lärt sig att göra.
  373. Så 80 procent av jobben
    i den utvecklade världen
  374. utför sånt som datorer
    precis har lärt sig att göra.
  375. Vad betyder det här?
  376. Nå, det blir fint.
    Nya jobb kommer att ersätta dem.
  377. Till exempel blir det fler jobb
    för forskare inom data.
  378. Eller, inte riktigt.
  379. Det tar inte en forskare särskilt lång tid
    att bygga en sån här.
  380. De här fyra algoritmerna, till exempel,
    har alla byggts av samma kille.
  381. Så, om ni tänker att,
    "Åh, det här har hänt förr,
  382. vi har sett det här hända
    när nya saker har uppfunnits
  383. och de har ersatts av nya jobb,
  384. vilka kommer de nya jobben att vara?"
  385. Det är väldigt svårt att räkna ut,
  386. eftersom mänsklig prestationsförmåga
    utvecklas gradvis,
  387. emedan vi nu har ett system,
    djupinlärning, som vi vet
  388. faktiskt utvecklas exponentiellt.
  389. Och vi är här.
  390. Så nu ser vi saker omkring oss och
  391. och vi tänker "Åh, datorer är
    rätt korkade." Eller hur?
  392. Men om fem år kommer datorerna
    att ha lämnat oss långt bakom sig.
  393. Så vi behöver börja tänka på
    den här förmågan redan nu.
  394. Vi har sett det en gång tidigare förstås.

  395. I den industriella revolutionen
  396. såg vi en stegvis förändring
    i prestanda tack vare motorer.
  397. Saken är den, att efter en stund
    flackade kurvan ut.
  398. Det orsakade social förändring,
  399. men så snart motorerna användes
    för att generera kraft i alla situationer
  400. så lugnade det ner sig.
  401. Maskininlärningsrevolutionen
  402. kommer skilja sig mycket
    från den industriella revolutionen,
  403. därför att maskininlärningsrevolutionen
    aldrig kommer att lugna ner sig.
  404. Ju bättre datorer blir
    på intellektuella aktiviteter
  405. desto bättre kan de bygga bättre datorer
    som har större intellektuella förmågor,
  406. så det här kommer att bli en förändring
  407. som världen aldrig förr har upplevt,
  408. så er tidigare uppfattning
    om vad som är möjligt förändras.
  409. Det här påverkar oss redan.

  410. Under de senaste 25 åren
    har kapitalproduktiviteten ökat,
  411. arbetsproduktivitet är oförändrad,
    faktiskt en aning minskande.
  412. Så jag vill att vi börjar
    diskutera det här nu.

  413. Jag vet att ganska ofta
    när jag berättar om det här,
  414. kan folk vara ganska avfärdande.
  415. Datorer kan inte tänka på riktigt,
  416. de har inga känslor,
    de förstår inte poesi,
  417. vi förstår inte riktigt hur de fungerar.
  418. Så vadå?
  419. Just nu kan datorer göra det
  420. som människor ägnar det mesta
    av sin tid åt att göra för att få betalt,
  421. så det är hög tid att börja tänka
  422. på hur vi ska anpassa
    våra sociala och ekonomiska strukturer
  423. för att klara av den nya verkligheten.
  424. Tack.
  425. (Applåder)