Deze kerel hier
denkt dat hij je de toekomst kan vertellen.
Zijn naam is Nostradamus, hoewel de Sun
hem hier een beetje op Sean Connery laat lijken. (Gelach)
Zoals de meesten van jullie, vermoed ik, geloof ik niet echt
dat mensen in de toekomst kunnen kijken.
Ik geloof niet in helderziendheid.
Af en toe hoor je dat iemand erin geslaagd is iets toekomstigs te voorspellen.
Dat is dan waarschijnlijk een toevalstreffer.
Alleen die komen in het nieuws.
We horen niets over de keren dat ze ernaast zaten.
We verwachten niet beter met dwaze verhalen
over helderziendheid, maar het probleem is
dat precies hetzelfde zich voordoet in de academische wereld.
In de geneeskunde kost dat levens.
Wat helderziendheid aangaat,
blijkt dat vorig jaar de onderzoeker Daryl Bem
wat onderzoek deed waarbij hij bewijs vond
van voorspellende krachten bij eerstejaarsstudenten.
Dit werd gepubliceerd in een peer-reviewed wetenschappelijk tijdschrift
en de meesten die dit lazen, zeiden:
"Het zal wel kloppen." Maar ik denk dat het een toevalstreffer is, want ik weet
dat als ik een studie deed
die het tegenovergestelde uitwees,
ik het waarschijnlijk niet gepubliceerd zou krijgen in een tijdschrift.
We weten dat dat waar is
omdat diverse groepen van onderzoekers geprobeerd hebben
om de bevindingen van deze studie in helderziendheid te repliceren.
Toen ze ze indienden bij hetzelfde tijdschrift,
kregen ze als antwoord: "We zijn niet geïnteresseerd in het publiceren van die replicatie.
We zijn niet geïnteresseerd in jullie negatieve gegevens."
Dit is al een bewijs uit de academische literatuur
van hoe vooringenomenheid ('bias')
wetenschappelijke studies kan beïnvloeden.
Maar het gebeurt niet alleen op het droge academische gebied van de psychologie.
Het gebeurt ook in bijvoorbeeld het kankeronderzoek.
In maart 2012, slechts één maand geleden, meldden sommige onderzoekers
in het tijdschrift Nature hoe ze
53 verschillende fundamentele wetenschapsstudies hadden proberen te herhalen.
Het ging over een mogelijke behandeling van kanker.
Van die 53 studies konden
er slechts zes met succes gerepliceerd worden.
47 van die 53 waren niet repliceerbaar.
In hun discussie zeggen ze dat dit zeer waarschijnlijk komt
omdat uitzonderingsgevallen gepubliceerd worden.
Mensen doen hopen verschillende studies.
Als het werkt, worden ze gepubliceerd.
Als het niet werkt, worden ze niet gepubliceerd.
Dat is een probleem,
omdat het ons allemaal op een dwaalspoor brengt.
Hun eerste aanbeveling van hoe dit probleem op te lossen
is het vergemakkelijken van publicatie van negatieve resultaten in de wetenschap.
We moeten wetenschappers aansporen
om meer van hun negatieve resultaten openbaar te maken.
Maar het gebeurt niet alleen in de erg droge wereld
van het preklinisch basiskankeronderzoek.
Het gebeurt ook in de zeer reële,
vlees-en-bloed academische geneeskunde.
In 1980 maakten een aantal onderzoekers een studie over lorcainide,
een geneesmiddel tegen hartritmestoornissen.
Men ging ervan uit dat als mensen een hartaanval hadden gekregen,
ze heel waarschijnlijk hartritmestoornissen zouden krijgen.
Een middel dat dat zou onderdrukken,
zou hun overlevingskansen kunnen verhogen.
Eerst deden ze een kleine test
met iets minder dan honderd patiënten.
Vijftig patiënten kregen lorcainide en van die patiënten stierven er 10.
50 andere patiënten kregen een placebo suikerpil
zonder actief ingrediënt en slechts één ervan stierf.
Dit geneesmiddel werd terecht als een mislukking beschouwd,
en de commerciële ontwikkeling ervan gestopt.
Omdat de commerciële ontwikkeling niet doorging, werd dit onderzoek nooit gepubliceerd.
Helaas hadden in de loop van de komende vijf, tien jaar,
andere bedrijven hetzelfde idee over geneesmiddelen
om hartritmestoornissen na hartaanvallen te voorkomen.
Deze geneesmiddelen werden op de markt gebracht.
Ze werden op zeer grote schaal voorgeschreven omdat hartaanvallen frequent voorkomen.
Het duurde lang voor we doorhadden dat deze geneesmiddelen
meer sterfgevallen veroorzaakten.
Voordat we het doorhadden,
stierven in Amerika meer dan 100.000 mensen onnodig
door het voorschrijven van geneesmiddelen tegen hartstoornissen.
Pas in 1993 publiceerden
de onderzoekers van die vroege studie van 1980
een verontschuldiging aan de wetenschappelijke gemeenschap.
Ze zeiden: "Toen wij onze studie in 1980 uitvoerden,
dachten we dat de verhoogde sterfte
in de lorcainidegroep toeval was."
De ontwikkeling van lorcainide werd om commerciële redenen verlaten
en de studie werd nooit gepubliceerd.
Het is nu een goed voorbeeld van 'publicatiebias'.
Dat is de technische term voor het fenomeen waar
onflatteuze gegevens verloren gaan, ongepubliceerd blijven, de mist ingaan.
Ze zeggen dat de hier beschreven resultaten
"misschien een vroegtijdige waarschuwing voor gevaar hadden kunnen zijn."
Nu zijn dit verhalen uit de basiswetenschap.
Dit zijn verhalen van 20, 30 jaar geleden.
De academische omgeving voor publicatie is nu heel anders.
Er zijn wetenschappelijke tijdschriften zoals 'Trials', een 'open-accesstijdschrift'.
Dat publiceert elke test uitgevoerd op mensen
ongeacht of ze een positief of een negatief resultaat heeft.
Maar het probleem van negatieve resultaten die de mist ingaan,
komt nog steeds voor. In feite zozeer
dat het de op bewijsmateriaal gebaseerde geneeskunde in het gedrang brengt.
Dit is het geneesmiddel reboxetine. Ik heb dit zelf voorgeschreven.
Het is een antidepressivum.
Ik ben nogal een pietje-precies. Ik las alle studies
die ik kon vinden over dit geneesmiddel. Ik las één studie
die zei dat reboxetine beter was dan placebo
en drie andere studies
die zeiden dat reboxetine even goed was als elk ander antidepressivum.
Omdat deze patiënt niet goed op die andere antidepressiva had gereageerd,
dacht ik dat het veilig was om het te proberen."
Maar het bleek dat ik werd misleid.
Zeven tests waren uitgevoerd om reboxetine te vergelijken
met een placebo.
Eén was positief en werd gepubliceerd, maar zes waren negatief
en werden niet gepubliceerd.
Drie tests werden gepubliceerd
waar reboxetine werd vergeleken met andere antidepressiva.
Reboxetine deed het net zo goed en ze werden gepubliceerd.
Maar van drie keer zoveel patiënten werden gegevens verzameld
waaruit bleek dat reboxetine slechter was
dan de andere behandelingen en deze tests werden niet gepubliceerd.
Ik voelde me misleid.
Nu zou je kunnen zeggen dat dit een uitzonderlijk geval is.
Ik wil niet beschuldigd worden
van hetzelfde soort kersenplukken en selectieve referenties
waar ik andere mensen van beschuldig.
Maar het blijkt dat publicatiebias
een zeer goed bestudeerd verschijnsel is.
Hier is een voorbeeld van hoe je het aanpakt.
De klassieke manier is een hoop studies verzamelen
waarvan je weet dat ze voltooid zijn.
Vervolgens ga je na of ze gepubliceerd zijn
in de academische literatuur. Deze nam alle tests
die ooit werden uitgevoerd
op door de FDA goedgekeurde antidepressiva over een periode van 15 jaar.
Zij namen alle tests die werden ingediend bij de FDA als onderdeel van het goedkeuringspakket.
Dat zijn ze niet allemaal.
Dat kan je nooit weten.
Alleen degenen die werden gedaan voor de vergunning om ze op de markt te brengen.
Dan gingen ze na of deze tests werden gepubliceerd
in de peer-reviewed wetenschappelijke literatuur.
Ze vonden zowat 50-50.
De helft van deze tests was positief, de andere helft negatief.
Maar toen ze deze tests opzochten in de peer-reviewed wetenschappelijke literatuur
vonden ze een zeer verschillend beeld.
Slechts drie van de negatieve tests werden gepubliceerd
en alle, op één na, van de positieve tests werden gepubliceerd.
Als we die twee met elkaar vergelijken
kun je zien wat een enorm verschil er was
tussen de werkelijkheid en wat artsen, patiënten,
commissarissen van gezondheidsdiensten en academici
te zien kregen in de peer-reviewed wetenschappelijke literatuur.
We werden misleid. Dit is een systematische fout
in het hart van de geneeskunde.
In feite zijn er nu meer dan honderd studies
over publicatiebias uitgevoerd.
Ze werden in 2010 gebundeld in een systematische evaluatie.
Daarin vond je elke ontdekte studie
over publicatiebias terug.
Publicatiebias beïnvloedt elk gebied van de geneeskunde.
Gemiddeld gaat ongeveer de helft van alle tests de mist in.
We weten dat de kans dat positieve bevindingen worden gepubliceerd
ongeveer tweemaal zo groot is als voor negatieve bevindingen.
Dit is een kanker in het hart van de op bewijsmateriaal gebaseerde geneeskunde.
Als ik een munt 100 keer opgooi,
maar je de resultaten van de helft van deze worpen niet vertel,
kan ik je wijsmaken dat die munt altijd 'kop' geeft.
Maar dat wil niet zeggen dat ik een munt heb met twee koppen.
Dat zou betekenen dat ik een beunhaas ben
en jij een idioot door mij te geloven. (Gelach)
Maar dit is precies wat we blindelings tolereren
in de op bewijsmateriaal gebaseerde geneeskunde.
Voor mij is dit onderzoeksfraude.
Als ik een studie uitvoerde en ik zweeg over
de helft van de gegevenspunten uit die studie,
zouden jullie mij terecht beschuldigen van fraude.
Maar als iemand 10 gevallen onderzoekt
en alleen die vijf publiceert die het verlangde resultaat geven,
dan vinden wij dat geen onderzoeksfraude.
Wanneer die verantwoordelijkheid dan nog gespreid wordt
over een heel netwerk van onderzoekers, academici,
industriesponsors en tijdschriftredacteuren dan vinden wij het, eigenaardig genoeg
plots meer aanvaardbaar.
Maar het effect op patiënten is vernietigend.
En dit gebeurt nu, vandaag.
Dit is Tamiflu. Tamiflu is een geneesmiddel
waaraan regeringen over de hele wereld miljarden hebben uitgegeven
en nog eens miljarden dollars voor de aanleg van voorraden.
We stockeerden in paniek Tamiflu
in de overtuiging dat het het aantal complicaties van griep zou verminderen.
'Complicaties' is een medisch eufemisme
voor longontsteking en dood. (Gelach)
Toen de systematische revisoren van Cochrane
de gegevens van alle tests
of Tamiflu al dan niet werkte, probeerden te verzamelen,
vonden ze dat verscheidene van die tests niet waren gepubliceerd.
De resultaten waren niet beschikbaar.
Ze gingen labnota's van die tests op verschillende manieren opvragen
op basis van de Vrijheid op Infomatie Wet.
Ze zetten de bedrijven onder druk, maar wat ze vonden was inconsistent.
Ze konden de rapporten van de klinische studie
-- een 10.000 pagina's dik document
met de best mogelijke informatie --
niet in handen krijgen.
Als je de volledige correspondentie,
de excuses en de uitleg van het bedrijf wilt lezen,
vind je dat terug in de editie van deze week
van PLoS Medicine.
Het meest verbluffende is nog
dat dit niet het enige probleem is.
We krijgen ook nog te maken met valse correcties.
We hebben mensen horen beweren dat het probleem is opgelost.
Ten eerste zijn er de testregistraties.
Iedereen zei: "Oh, het is in orde. Iedereen registreert zijn tests en publiceert het protocol.
Ze moeten zeggen wat ze gaan doen voordat ze eraan beginnen.
Later kunnen we dan controleren of alle tests
die werden voltooid, zijn gepubliceerd.
Maar de mensen namen niet de moeite om deze registers te gebruiken.
Daarom zegde de Internationale Commissie van Medische-Tijdschriftredacteuren:
"Wij houden het wel in de gaten.
We zullen geen artikelen of tests publiceren
tenzij ze ze registreerden voordat ze eraan begonnen.
Maar ze houden ze niet in de gaten. In 2008 werd een studie uitgevoerd
waaruit bleek dat de helft van alle tests gepubliceerd door tijdschriften
van leden van het ICMJE (Internationaal Comité van Medische Tijdschriften Uitgevers)
niet correct waren geregistreerd, en een kwart ervan zelfs helemaal niet.
Tenslotte werd een paar jaar geleden het FDA Amendement aangenomen.
Dat stelde dat iedereen
die een test uitvoert, de resultaten ervan binnen het jaar moet publiceren.
In de eerste editie van het British Medical Journal van januari 2012
kun je een studie zien over wie zich aan die regel heeft gehouden
en het blijkt dat slechts één op de vijf
dat heeft gedaan.
Dat is een ramp.
We kunnen de echte effecten van geneesmiddelen die wij voorschrijven niet kennen
als we geen toegang hebben
tot alle informatie.
Dat is geen moeilijk probleem om op te lossen.
We moeten mensen dwingen alle tests op mensen te publiceren.
Ook de oudere tests
omdat het FDA Amendement alleen vraagt de tests van na 2008 te publiceren
en ik niet inzie waarom we alleen geneeskunde zouden beoefenen
op basis van tests die in de afgelopen twee jaar werden voltooid.
We moeten alle tests op mensen publiceren,
met inbegrip van de oudere, voor alle geneesmiddelen nu in gebruik.
Vertel aan iedereen die je kent
dat dit een probleem is dat niet is opgelost.
Hartelijk dank. (Applaus)
(Applaus)