0:00:00.671,0:00:03.456 Deze kerel hier 0:00:03.456,0:00:05.718 denkt dat hij je de toekomst kan vertellen. 0:00:05.718,0:00:07.697 Zijn naam is Nostradamus, [br]hoewel de Sun 0:00:07.697,0:00:11.367 hem hier een beetje [br]op Sean Connery laat lijken. (Gelach) 0:00:11.367,0:00:14.270 Zoals de meesten van jullie, [br]vermoed ik, geloof ik niet echt 0:00:14.270,0:00:15.378 dat mensen in de toekomst kunnen kijken. 0:00:15.378,0:00:18.082 Ik geloof niet in helderziendheid. 0:00:18.082,0:00:21.264 Af en toe hoor je dat iemand erin geslaagd is [br]iets toekomstigs te voorspellen. 0:00:21.264,0:00:24.323 Dat is dan waarschijnlijk een toevalstreffer. 0:00:24.323,0:00:26.938 Alleen die komen in het nieuws. 0:00:26.938,0:00:31.017 We horen niets over de keren [br]dat ze ernaast zaten. 0:00:31.017,0:00:33.177 We verwachten niet beter met dwaze verhalen 0:00:33.177,0:00:36.316 over helderziendheid, maar het probleem is 0:00:36.316,0:00:39.660 dat precies hetzelfde zich voordoet [br]in de academische wereld. 0:00:39.660,0:00:44.161 In de geneeskunde kost dat levens. 0:00:44.161,0:00:47.526 Wat helderziendheid aangaat, 0:00:47.526,0:00:50.055 blijkt dat vorig jaar de onderzoeker Daryl Bem 0:00:50.055,0:00:51.891 wat onderzoek deed waarbij hij bewijs vond 0:00:51.891,0:00:55.549 van voorspellende krachten [br]bij eerstejaarsstudenten. 0:00:55.549,0:00:58.123 Dit werd gepubliceerd [br]in een peer-reviewed wetenschappelijk tijdschrift 0:00:58.123,0:01:00.404 en de meesten die dit lazen, zeiden: 0:01:00.404,0:01:02.585 "Het zal wel kloppen." Maar ik denk [br]dat het een toevalstreffer is, want ik weet 0:01:02.585,0:01:05.419 dat als ik een studie deed 0:01:05.419,0:01:07.931 die het tegenovergestelde uitwees, 0:01:07.931,0:01:11.483 ik het waarschijnlijk niet gepubliceerd [br]zou krijgen in een tijdschrift. 0:01:11.483,0:01:14.338 We weten dat dat waar is 0:01:14.338,0:01:16.867 omdat diverse groepen van onderzoekers [br]geprobeerd hebben 0:01:16.867,0:01:20.387 om de bevindingen van deze studie [br]in helderziendheid te repliceren. 0:01:20.387,0:01:23.022 Toen ze ze indienden bij hetzelfde tijdschrift, 0:01:23.022,0:01:26.174 kregen ze als antwoord: [br]"We zijn niet geïnteresseerd [br]in het publiceren van die replicatie. 0:01:26.174,0:01:30.699 We zijn niet geïnteresseerd [br]in jullie negatieve gegevens." 0:01:30.699,0:01:33.453 Dit is al een bewijs [br]uit de academische literatuur 0:01:33.453,0:01:38.323 van hoe vooringenomenheid ('bias') 0:01:38.323,0:01:41.790 wetenschappelijke studies kan beïnvloeden. 0:01:41.790,0:01:46.219 Maar het gebeurt niet alleen [br]op het droge academische gebied van de psychologie. 0:01:46.219,0:01:50.586 Het gebeurt ook in [br]bijvoorbeeld het kankeronderzoek. 0:01:50.586,0:01:54.663 In maart 2012, slechts één maand geleden, [br]meldden sommige onderzoekers 0:01:54.663,0:01:57.559 in het tijdschrift Nature hoe ze 0:01:57.559,0:02:01.405 53 verschillende fundamentele wetenschapsstudies [br]hadden proberen te herhalen. 0:02:01.405,0:02:04.960 Het ging over een mogelijke behandeling van kanker. 0:02:04.960,0:02:07.598 Van die 53 studies konden 0:02:07.598,0:02:10.674 er slechts zes met succes gerepliceerd worden. 0:02:10.674,0:02:15.007 47 van die 53 waren niet repliceerbaar. 0:02:15.007,0:02:18.920 In hun discussie zeggen ze [br]dat dit zeer waarschijnlijk komt 0:02:18.920,0:02:21.559 omdat uitzonderingsgevallen gepubliceerd worden. 0:02:21.559,0:02:23.655 Mensen doen hopen verschillende studies. 0:02:23.655,0:02:25.775 Als het werkt, [br]worden ze gepubliceerd. 0:02:25.775,0:02:27.454 Als het niet werkt, [br]worden ze niet gepubliceerd. 0:02:27.454,0:02:31.395 Dat is een probleem, 0:02:31.395,0:02:34.684 omdat het ons allemaal [br]op een dwaalspoor brengt. 0:02:34.684,0:02:36.390 Hun eerste aanbeveling [br]van hoe dit probleem op te lossen 0:02:36.390,0:02:39.783 is het vergemakkelijken van publicatie [br]van negatieve resultaten in de wetenschap. 0:02:39.783,0:02:42.690 We moeten wetenschappers aansporen 0:02:42.690,0:02:47.042 om meer van hun negatieve resultaten [br]openbaar te maken. 0:02:47.042,0:02:50.894 Maar het gebeurt niet alleen [br]in de erg droge wereld 0:02:50.894,0:02:54.745 van het preklinisch basiskankeronderzoek. 0:02:54.745,0:02:58.402 Het gebeurt ook in de zeer reële, 0:02:58.402,0:03:01.993 vlees-en-bloed academische geneeskunde. 0:03:01.993,0:03:05.001 In 1980 maakten een aantal onderzoekers [br]een studie over lorcainide, 0:03:05.001,0:03:07.332 een geneesmiddel tegen hartritmestoornissen. 0:03:07.332,0:03:09.583 een geneesmiddel tegen hartritmestoornissen. 0:03:09.598,0:03:11.826 Men ging ervan uit dat als mensen [br]een hartaanval hadden gekregen, 0:03:11.826,0:03:13.363 ze heel waarschijnlijk [br]hartritmestoornissen zouden krijgen. 0:03:13.363,0:03:15.740 Een middel dat dat zou onderdrukken, 0:03:15.740,0:03:19.453 zou hun overlevingskansen kunnen verhogen. 0:03:19.453,0:03:22.461 Eerst deden ze een kleine test 0:03:22.461,0:03:24.105 met iets minder dan honderd patiënten. 0:03:24.105,0:03:27.757 Vijftig patiënten kregen lorcainide [br]en van die patiënten stierven er 10. 0:03:27.757,0:03:30.800 50 andere patiënten [br]kregen een placebo suikerpil 0:03:30.800,0:03:33.758 zonder actief ingrediënt [br]en slechts één ervan stierf. 0:03:33.758,0:03:36.407 Dit geneesmiddel werd terecht [br]als een mislukking beschouwd, 0:03:36.407,0:03:39.276 en de commerciële ontwikkeling ervan gestopt. 0:03:39.276,0:03:43.624 Omdat de commerciële ontwikkeling niet doorging, [br]werd dit onderzoek nooit gepubliceerd. 0:03:43.624,0:03:49.021 Helaas hadden [br]in de loop van de komende vijf, tien jaar, 0:03:49.021,0:03:52.846 andere bedrijven hetzelfde idee [br]over geneesmiddelen 0:03:52.846,0:03:55.438 om hartritmestoornissen [br]na hartaanvallen te voorkomen. 0:03:55.438,0:03:57.158 Deze geneesmiddelen werden op de markt gebracht. 0:03:57.158,0:04:00.570 Ze werden op zeer grote schaal voorgeschreven[br]omdat hartaanvallen frequent voorkomen. 0:04:00.570,0:04:04.413 Het duurde lang voor we doorhadden [br]dat deze geneesmiddelen 0:04:04.413,0:04:07.324 meer sterfgevallen veroorzaakten. 0:04:07.324,0:04:10.071 Voordat we het doorhadden, 0:04:10.071,0:04:16.122 stierven in Amerika [br]meer dan 100.000 mensen onnodig 0:04:16.122,0:04:19.573 door het voorschrijven [br]van geneesmiddelen tegen hartstoornissen. 0:04:19.573,0:04:23.171 Pas in 1993 publiceerden 0:04:23.171,0:04:26.731 de onderzoekers van [br]die vroege studie van 1980 0:04:26.731,0:04:30.572 een verontschuldiging [br]aan de wetenschappelijke gemeenschap. 0:04:30.572,0:04:33.697 Ze zeiden: "Toen wij onze studie [br]in 1980 uitvoerden, 0:04:33.697,0:04:35.633 dachten we dat de verhoogde sterfte 0:04:35.633,0:04:38.991 in de lorcainidegroep toeval was." 0:04:38.991,0:04:41.023 De ontwikkeling van lorcainide [br]werd om commerciële redenen verlaten 0:04:41.023,0:04:42.661 en de studie werd nooit gepubliceerd. 0:04:42.661,0:04:45.047 Het is nu een goed voorbeeld [br]van 'publicatiebias'. 0:04:45.047,0:04:46.938 Dat is de technische term voor het fenomeen waar 0:04:46.938,0:04:51.176 onflatteuze gegevens verloren gaan, [br]ongepubliceerd blijven, de mist ingaan. 0:04:51.176,0:04:54.547 Ze zeggen dat de hier beschreven resultaten 0:04:54.547,0:04:59.355 "misschien een vroegtijdige waarschuwing [br]voor gevaar hadden kunnen zijn." 0:04:59.355,0:05:02.568 Nu zijn dit verhalen [br]uit de basiswetenschap. 0:05:02.568,0:05:07.355 Dit zijn verhalen [br]van 20, 30 jaar geleden. 0:05:07.355,0:05:10.502 De academische omgeving voor publicatie [br]is nu heel anders. 0:05:10.502,0:05:14.497 Er zijn wetenschappelijke tijdschriften [br]zoals 'Trials', een 'open-accesstijdschrift'. 0:05:14.497,0:05:17.152 Dat publiceert elke test [br]uitgevoerd op mensen 0:05:17.152,0:05:20.455 ongeacht of ze een positief [br]of een negatief resultaat heeft. 0:05:20.455,0:05:24.424 Maar het probleem van negatieve [br]resultaten die de mist ingaan, 0:05:24.424,0:05:27.983 komt nog steeds voor. [br]In feite zozeer 0:05:27.983,0:05:33.834 dat het de op bewijsmateriaal gebaseerde [br]geneeskunde in het gedrang brengt. 0:05:33.834,0:05:36.849 Dit is het geneesmiddel reboxetine. [br]Ik heb dit zelf voorgeschreven. 0:05:36.849,0:05:39.384 Het is een antidepressivum. 0:05:39.384,0:05:41.920 Ik ben nogal een pietje-precies. [br]Ik las alle studies 0:05:41.920,0:05:44.972 die ik kon vinden over dit geneesmiddel. [br]Ik las één studie 0:05:44.972,0:05:47.919 die zei dat reboxetine beter was dan placebo 0:05:47.919,0:05:49.783 en drie andere studies 0:05:49.783,0:05:53.354 die zeiden dat reboxetine even goed was [br]als elk ander antidepressivum. 0:05:53.354,0:05:55.541 Omdat deze patiënt niet goed [br]op die andere antidepressiva had gereageerd, 0:05:55.541,0:05:58.007 dacht ik dat het veilig was om het te proberen." 0:05:58.007,0:06:01.399 Maar het bleek dat ik werd misleid. 0:06:01.399,0:06:03.848 Zeven tests waren uitgevoerd [br]om reboxetine te vergelijken 0:06:03.848,0:06:06.560 met een placebo. 0:06:06.560,0:06:08.872 Eén was positief en werd gepubliceerd, [br]maar zes waren negatief 0:06:08.872,0:06:12.920 en werden niet gepubliceerd. 0:06:12.920,0:06:14.659 Drie tests werden gepubliceerd 0:06:14.659,0:06:16.885 waar reboxetine werd vergeleken[br]met andere antidepressiva. 0:06:16.885,0:06:18.678 Reboxetine deed het net zo goed [br]en ze werden gepubliceerd. 0:06:18.678,0:06:23.067 Maar van drie keer zoveel patiënten [br]werden gegevens verzameld 0:06:23.067,0:06:24.938 waaruit bleek dat reboxetine slechter was 0:06:24.938,0:06:29.639 dan de andere behandelingen [br]en deze tests werden niet gepubliceerd. 0:06:29.639,0:06:33.398 Ik voelde me misleid. 0:06:33.398,0:06:35.528 Nu zou je kunnen zeggen [br]dat dit een uitzonderlijk geval is. 0:06:35.528,0:06:37.536 Ik wil niet beschuldigd worden 0:06:37.536,0:06:40.517 van hetzelfde soort kersenplukken [br]en selectieve referenties 0:06:40.517,0:06:42.308 waar ik andere mensen van beschuldig. 0:06:42.308,0:06:44.192 Maar het blijkt dat publicatiebias 0:06:44.192,0:06:46.319 een zeer goed bestudeerd verschijnsel is. 0:06:46.319,0:06:48.537 Hier is een voorbeeld [br]van hoe je het aanpakt. 0:06:48.537,0:06:50.977 De klassieke manier is een hoop studies verzamelen 0:06:50.977,0:06:53.162 waarvan je weet dat ze voltooid zijn. 0:06:53.162,0:06:55.483 Vervolgens ga je na of ze gepubliceerd zijn 0:06:55.483,0:06:58.346 in de academische literatuur. [br]Deze nam alle tests 0:06:58.346,0:07:00.500 die ooit werden uitgevoerd 0:07:00.500,0:07:04.142 op door de FDA goedgekeurde antidepressiva[br]over een periode van 15 jaar. 0:07:04.142,0:07:07.898 Zij namen alle tests [br]die werden ingediend bij de FDA [br]als onderdeel van het goedkeuringspakket. 0:07:07.898,0:07:11.098 Dat zijn ze niet allemaal. 0:07:11.098,0:07:13.196 Dat kan je nooit weten. 0:07:13.196,0:07:16.690 Alleen degenen die werden gedaan [br]voor de vergunning om ze op de markt te brengen. 0:07:16.690,0:07:19.039 Dan gingen ze na of deze tests werden gepubliceerd 0:07:19.039,0:07:21.611 in de peer-reviewed wetenschappelijke literatuur. 0:07:21.611,0:07:24.780 Ze vonden zowat 50-50. 0:07:24.780,0:07:28.377 De helft van deze tests was positief, [br]de andere helft negatief. 0:07:28.377,0:07:33.118 Maar toen ze deze tests opzochten [br]in de peer-reviewed wetenschappelijke literatuur 0:07:33.118,0:07:35.352 vonden ze een zeer verschillend beeld. 0:07:35.352,0:07:39.724 Slechts drie van de negatieve tests [br]werden gepubliceerd 0:07:39.724,0:07:44.366 en alle, op één na, [br]van de positieve tests werden gepubliceerd. 0:07:44.366,0:07:48.127 Als we die twee met elkaar vergelijken 0:07:48.127,0:07:50.721 kun je zien wat een enorm verschil er was 0:07:50.721,0:07:54.171 tussen de werkelijkheid en wat artsen, patiënten, 0:07:54.171,0:07:56.793 commissarissen van gezondheidsdiensten en academici 0:07:56.793,0:08:00.074 te zien kregen [br]in de peer-reviewed wetenschappelijke literatuur. 0:08:00.074,0:08:04.528 We werden misleid. [br]Dit is een systematische fout 0:08:04.528,0:08:07.858 in het hart van de geneeskunde. 0:08:07.858,0:08:10.521 In feite zijn er nu meer dan honderd studies 0:08:10.521,0:08:13.905 over publicatiebias uitgevoerd. 0:08:13.905,0:08:17.099 Ze werden in 2010 gebundeld [br]in een systematische evaluatie. 0:08:17.099,0:08:19.865 Daarin vond je elke ontdekte studie 0:08:19.865,0:08:21.164 over publicatiebias terug. 0:08:21.164,0:08:24.016 Publicatiebias beïnvloedt [br]elk gebied van de geneeskunde. 0:08:24.016,0:08:28.329 Gemiddeld gaat ongeveer [br]de helft van alle tests de mist in. 0:08:28.329,0:08:31.387 We weten dat de kans [br]dat positieve bevindingen worden gepubliceerd 0:08:31.387,0:08:34.441 ongeveer tweemaal zo groot is [br]als voor negatieve bevindingen. 0:08:34.441,0:08:38.502 Dit is een kanker in het hart [br]van de op bewijsmateriaal gebaseerde geneeskunde. 0:08:38.502,0:08:42.373 Als ik een munt 100 keer opgooi, 0:08:42.373,0:08:45.632 maar je de resultaten [br]van de helft van deze worpen niet vertel, 0:08:45.632,0:08:49.032 kan ik je wijsmaken dat die munt altijd 'kop' geeft. 0:08:49.032,0:08:50.838 Maar dat wil niet zeggen [br]dat ik een munt heb met twee koppen. 0:08:50.853,0:08:52.565 Dat zou betekenen dat ik een beunhaas ben 0:08:52.565,0:08:55.679 en jij een idioot door mij te geloven. (Gelach) 0:08:55.679,0:08:59.316 Maar dit is precies wat we blindelings tolereren 0:08:59.316,0:09:03.105 in de op bewijsmateriaal gebaseerde geneeskunde. 0:09:03.105,0:09:07.537 Voor mij is dit onderzoeksfraude. 0:09:07.537,0:09:10.280 Als ik een studie uitvoerde en ik zweeg over 0:09:10.280,0:09:13.280 de helft van de gegevenspunten uit die studie, 0:09:13.280,0:09:17.987 zouden jullie mij terecht beschuldigen van fraude. 0:09:17.987,0:09:20.770 Maar als iemand 10 gevallen onderzoekt 0:09:20.770,0:09:25.328 en alleen die vijf publiceert [br]die het verlangde resultaat geven, 0:09:25.328,0:09:28.116 dan vinden wij dat geen onderzoeksfraude. 0:09:28.116,0:09:30.683 Wanneer die verantwoordelijkheid [br]dan nog gespreid wordt 0:09:30.683,0:09:33.844 over een heel netwerk [br]van onderzoekers, academici, 0:09:33.844,0:09:37.372 industriesponsors en tijdschriftredacteuren[br]dan vinden wij het, eigenaardig genoeg 0:09:37.372,0:09:38.825 plots meer aanvaardbaar. 0:09:38.825,0:09:42.500 Maar het effect op patiënten is vernietigend. 0:09:42.500,0:09:47.518 En dit gebeurt nu, vandaag. 0:09:47.518,0:09:50.229 Dit is Tamiflu. [br]Tamiflu is een geneesmiddel 0:09:50.229,0:09:52.825 waaraan regeringen over de hele wereld [br]miljarden hebben uitgegeven 0:09:52.825,0:09:55.397 en nog eens miljarden dollars [br]voor de aanleg van voorraden. 0:09:55.397,0:09:58.545 We stockeerden in paniek Tamiflu 0:09:58.545,0:10:02.494 in de overtuiging dat het [br]het aantal complicaties van griep zou verminderen. 0:10:02.494,0:10:05.178 'Complicaties' is een medisch eufemisme 0:10:05.178,0:10:09.992 voor longontsteking en dood. (Gelach) 0:10:09.992,0:10:13.200 Toen de systematische revisoren van Cochrane 0:10:13.200,0:10:15.725 de gegevens van alle tests 0:10:15.725,0:10:19.373 of Tamiflu al dan niet werkte, [br]probeerden te verzamelen, 0:10:19.373,0:10:22.324 vonden ze dat verscheidene van die tests [br]niet waren gepubliceerd. 0:10:22.324,0:10:24.166 De resultaten waren niet beschikbaar. 0:10:24.166,0:10:28.130 Ze gingen labnota's van die tests [br]op verschillende manieren opvragen 0:10:28.130,0:10:29.812 op basis van de Vrijheid op Infomatie Wet. 0:10:29.812,0:10:34.621 Ze zetten de bedrijven onder druk, [br]maar wat ze vonden was inconsistent. 0:10:34.621,0:10:37.087 Ze konden de rapporten [br]van de klinische studie 0:10:37.087,0:10:40.133 -- een 10.000 pagina's dik document 0:10:40.133,0:10:43.733 met de best mogelijke informatie -- 0:10:43.733,0:10:46.621 niet in handen krijgen. 0:10:46.621,0:10:49.304 Als je de volledige correspondentie, 0:10:49.304,0:10:52.594 de excuses en de uitleg van het bedrijf wilt lezen, 0:10:52.594,0:10:55.311 vind je dat terug in de editie van deze week 0:10:55.311,0:10:59.678 van PLoS Medicine. 0:10:59.678,0:11:03.537 Het meest verbluffende is nog 0:11:03.537,0:11:06.836 dat dit niet het enige probleem is. 0:11:06.836,0:11:11.031 We krijgen ook nog [br]te maken met valse correcties. 0:11:11.031,0:11:14.089 We hebben mensen horen beweren [br]dat het probleem is opgelost. 0:11:14.089,0:11:16.277 Ten eerste zijn er de testregistraties. 0:11:16.277,0:11:19.880 Iedereen zei: "Oh, het is in orde. [br]Iedereen registreert zijn tests [br]en publiceert het protocol. 0:11:19.880,0:11:21.904 Ze moeten zeggen wat ze gaan doen [br]voordat ze eraan beginnen. 0:11:21.904,0:11:24.025 Later kunnen we dan controleren [br]of alle tests 0:11:24.025,0:11:26.493 die werden voltooid, [br]zijn gepubliceerd. 0:11:26.493,0:11:28.689 Maar de mensen namen niet de moeite [br]om deze registers te gebruiken. 0:11:28.689,0:11:31.308 Daarom zegde de Internationale Commissie van Medische-Tijdschriftredacteuren: 0:11:31.308,0:11:32.851 "Wij houden het wel in de gaten. 0:11:32.851,0:11:35.484 We zullen geen artikelen of tests publiceren 0:11:35.484,0:11:38.166 tenzij ze ze registreerden[br]voordat ze eraan begonnen. 0:11:38.166,0:11:41.697 Maar ze houden ze niet in de gaten. [br]In 2008 werd een studie uitgevoerd 0:11:41.697,0:11:44.712 waaruit bleek dat de helft van alle tests [br]gepubliceerd door tijdschriften 0:11:44.712,0:11:47.379 van leden van het ICMJE (Internationaal Comité van Medische Tijdschriften Uitgevers) 0:11:47.379,0:11:52.192 niet correct waren geregistreerd, [br]en een kwart ervan zelfs helemaal niet. 0:11:52.192,0:11:54.993 Tenslotte werd een paar jaar geleden [br]het FDA Amendement aangenomen. 0:11:54.993,0:11:57.342 Dat stelde dat iedereen 0:11:57.342,0:12:00.785 die een test uitvoert, de resultaten ervan [br]binnen het jaar moet publiceren. 0:12:00.785,0:12:04.881 In de eerste editie van het British [br]Medical Journal van januari 2012 0:12:04.881,0:12:07.585 kun je een studie zien over wie zich [br]aan die regel heeft gehouden 0:12:07.585,0:12:11.304 en het blijkt dat slechts één op de vijf 0:12:11.304,0:12:14.168 dat heeft gedaan. 0:12:14.168,0:12:17.451 Dat is een ramp. 0:12:17.451,0:12:21.015 We kunnen de echte effecten van geneesmiddelen [br]die wij voorschrijven niet kennen 0:12:21.015,0:12:24.231 als we geen toegang hebben 0:12:24.231,0:12:27.411 tot alle informatie. 0:12:27.411,0:12:31.370 Dat is geen moeilijk probleem om op te lossen. 0:12:31.370,0:12:36.498 We moeten mensen dwingen [br]alle tests op mensen te publiceren. 0:12:36.498,0:12:39.469 Ook de oudere tests 0:12:39.469,0:12:43.414 omdat het FDA Amendement alleen vraagt [br]de tests van na 2008 te publiceren 0:12:43.414,0:12:46.027 en ik niet inzie waarom we [br]alleen geneeskunde zouden beoefenen 0:12:46.027,0:12:50.483 op basis van tests [br]die in de afgelopen twee jaar werden voltooid. 0:12:50.483,0:12:52.588 We moeten alle tests op mensen publiceren, 0:12:52.588,0:12:55.662 met inbegrip van de oudere, [br]voor alle geneesmiddelen nu in gebruik. 0:12:55.662,0:12:58.578 Vertel aan iedereen die je kent 0:12:58.578,0:13:02.020 dat dit een probleem is [br]dat niet is opgelost. 0:13:02.020,0:13:04.971 Hartelijk dank. (Applaus) 0:13:04.971,0:13:08.244 (Applaus)