Ben Goldacre: Wat dokters niet weten over de geneesmiddelen die ze voorschrijven

Als een nieuw geneesmiddel wordt getest, zouden de resultaten voor de rest van de medische wereld moeten worden gepubliceerd. Maar vaak worden negatieve of voorlopige resultaten niet gepubliceerd waardoor dokters in het ongewisse blijven. In deze gepassioneerde talk legt Ben Goldacre uit waarom deze ongepubliceerde negatieve data zo buitengewoon misleidend en gevaarlijk zijn.

Deze kerel hier

denkt dat hij je de toekomst kan vertellen.

Zijn naam is Nostradamus,
hoewel de Sun

hem hier een beetje
op Sean Connery laat lijken. (Gelach)

Zoals de meesten van jullie,
vermoed ik, geloof ik niet echt

dat mensen in de toekomst kunnen kijken.

Ik geloof niet in helderziendheid.

Af en toe hoor je dat iemand erin geslaagd is
iets toekomstigs te voorspellen.

Dat is dan waarschijnlijk een toevalstreffer.

Alleen die komen in het nieuws.

We horen niets over de keren
dat ze ernaast zaten.

We verwachten niet beter met dwaze verhalen

over helderziendheid, maar het probleem is

dat precies hetzelfde zich voordoet
in de academische wereld.

In de geneeskunde kost dat levens.

Wat helderziendheid aangaat,

blijkt dat vorig jaar de onderzoeker Daryl Bem

wat onderzoek deed waarbij hij bewijs vond

van voorspellende krachten
bij eerstejaarsstudenten.

Dit werd gepubliceerd
in een peer-reviewed wetenschappelijk tijdschrift

en de meesten die dit lazen, zeiden:

"Het zal wel kloppen." Maar ik denk
dat het een toevalstreffer is, want ik weet

dat als ik een studie deed

die het tegenovergestelde uitwees,

ik het waarschijnlijk niet gepubliceerd
zou krijgen in een tijdschrift.

We weten dat dat waar is

omdat diverse groepen van onderzoekers
geprobeerd hebben

om de bevindingen van deze studie
in helderziendheid te repliceren.

Toen ze ze indienden bij hetzelfde tijdschrift,

kregen ze als antwoord:
"We zijn niet geïnteresseerd
in het publiceren van die replicatie.

We zijn niet geïnteresseerd
in jullie negatieve gegevens."

Dit is al een bewijs
uit de academische literatuur

van hoe vooringenomenheid ('bias')

wetenschappelijke studies kan beïnvloeden.

Maar het gebeurt niet alleen
op het droge academische gebied van de psychologie.

Het gebeurt ook in
bijvoorbeeld het kankeronderzoek.

In maart 2012, slechts één maand geleden,
meldden sommige onderzoekers

in het tijdschrift Nature hoe ze

53 verschillende fundamentele wetenschapsstudies
hadden proberen te herhalen.

Het ging over een mogelijke behandeling van kanker.

Van die 53 studies konden

er slechts zes met succes gerepliceerd worden.

47 van die 53 waren niet repliceerbaar.

In hun discussie zeggen ze
dat dit zeer waarschijnlijk komt

omdat uitzonderingsgevallen gepubliceerd worden.

Mensen doen hopen verschillende studies.

Als het werkt,
worden ze gepubliceerd.

Als het niet werkt,
worden ze niet gepubliceerd.

Dat is een probleem,

omdat het ons allemaal
op een dwaalspoor brengt.

Hun eerste aanbeveling
van hoe dit probleem op te lossen

is het vergemakkelijken van publicatie
van negatieve resultaten in de wetenschap.

We moeten wetenschappers aansporen

om meer van hun negatieve resultaten
openbaar te maken.

Maar het gebeurt niet alleen
in de erg droge wereld

van het preklinisch basiskankeronderzoek.

Het gebeurt ook in de zeer reële,

vlees-en-bloed academische geneeskunde.

In 1980 maakten een aantal onderzoekers
een studie over lorcainide,

een geneesmiddel tegen hartritmestoornissen.

een geneesmiddel tegen hartritmestoornissen.

Men ging ervan uit dat als mensen
een hartaanval hadden gekregen,

ze heel waarschijnlijk
hartritmestoornissen zouden krijgen.

Een middel dat dat zou onderdrukken,

zou hun overlevingskansen kunnen verhogen.

Eerst deden ze een kleine test

met iets minder dan honderd patiënten.

Vijftig patiënten kregen lorcainide
en van die patiënten stierven er 10.

50 andere patiënten
kregen een placebo suikerpil

zonder actief ingrediënt
en slechts één ervan stierf.

Dit geneesmiddel werd terecht
als een mislukking beschouwd,

en de commerciële ontwikkeling ervan gestopt.

Omdat de commerciële ontwikkeling niet doorging,
werd dit onderzoek nooit gepubliceerd.

Helaas hadden
in de loop van de komende vijf, tien jaar,

andere bedrijven hetzelfde idee
over geneesmiddelen

om hartritmestoornissen
na hartaanvallen te voorkomen.

Deze geneesmiddelen werden op de markt gebracht.

Ze werden op zeer grote schaal voorgeschreven
omdat hartaanvallen frequent voorkomen.

Het duurde lang voor we doorhadden
dat deze geneesmiddelen

meer sterfgevallen veroorzaakten.

Voordat we het doorhadden,

stierven in Amerika
meer dan 100.000 mensen onnodig

door het voorschrijven
van geneesmiddelen tegen hartstoornissen.

Pas in 1993 publiceerden

de onderzoekers van
die vroege studie van 1980

een verontschuldiging
aan de wetenschappelijke gemeenschap.

Ze zeiden: "Toen wij onze studie
in 1980 uitvoerden,

dachten we dat de verhoogde sterfte

in de lorcainidegroep toeval was."

De ontwikkeling van lorcainide
werd om commerciële redenen verlaten

en de studie werd nooit gepubliceerd.

Het is nu een goed voorbeeld
van 'publicatiebias'.

Dat is de technische term voor het fenomeen waar

onflatteuze gegevens verloren gaan,
ongepubliceerd blijven, de mist ingaan.

Ze zeggen dat de hier beschreven resultaten

"misschien een vroegtijdige waarschuwing
voor gevaar hadden kunnen zijn."

Nu zijn dit verhalen
uit de basiswetenschap.

Dit zijn verhalen
van 20, 30 jaar geleden.

De academische omgeving voor publicatie
is nu heel anders.

Er zijn wetenschappelijke tijdschriften
zoals 'Trials', een 'open-accesstijdschrift'.

Dat publiceert elke test
uitgevoerd op mensen

ongeacht of ze een positief
of een negatief resultaat heeft.

Maar het probleem van negatieve
resultaten die de mist ingaan,

komt nog steeds voor.
In feite zozeer

dat het de op bewijsmateriaal gebaseerde
geneeskunde in het gedrang brengt.

Dit is het geneesmiddel reboxetine.
Ik heb dit zelf voorgeschreven.

Het is een antidepressivum.

Ik ben nogal een pietje-precies.
Ik las alle studies

die ik kon vinden over dit geneesmiddel.
Ik las één studie

die zei dat reboxetine beter was dan placebo

en drie andere studies

die zeiden dat reboxetine even goed was
als elk ander antidepressivum.

Omdat deze patiënt niet goed
op die andere antidepressiva had gereageerd,

dacht ik dat het veilig was om het te proberen."

Maar het bleek dat ik werd misleid.

Zeven tests waren uitgevoerd
om reboxetine te vergelijken

met een placebo.

Eén was positief en werd gepubliceerd,
maar zes waren negatief

en werden niet gepubliceerd.

Drie tests werden gepubliceerd

waar reboxetine werd vergeleken
met andere antidepressiva.

Reboxetine deed het net zo goed
en ze werden gepubliceerd.

Maar van drie keer zoveel patiënten
werden gegevens verzameld

waaruit bleek dat reboxetine slechter was

dan de andere behandelingen
en deze tests werden niet gepubliceerd.

Ik voelde me misleid.

Nu zou je kunnen zeggen
dat dit een uitzonderlijk geval is.

Ik wil niet beschuldigd worden

van hetzelfde soort kersenplukken
en selectieve referenties

waar ik andere mensen van beschuldig.

Maar het blijkt dat publicatiebias

een zeer goed bestudeerd verschijnsel is.

Hier is een voorbeeld
van hoe je het aanpakt.

De klassieke manier is een hoop studies verzamelen

waarvan je weet dat ze voltooid zijn.

Vervolgens ga je na of ze gepubliceerd zijn

in de academische literatuur.
Deze nam alle tests

die ooit werden uitgevoerd

op door de FDA goedgekeurde antidepressiva
over een periode van 15 jaar.

Zij namen alle tests
die werden ingediend bij de FDA
als onderdeel van het goedkeuringspakket.

Dat zijn ze niet allemaal.

Dat kan je nooit weten.

Alleen degenen die werden gedaan
voor de vergunning om ze op de markt te brengen.

Dan gingen ze na of deze tests werden gepubliceerd

in de peer-reviewed wetenschappelijke literatuur.

Ze vonden zowat 50-50.

De helft van deze tests was positief,
de andere helft negatief.

Maar toen ze deze tests opzochten
in de peer-reviewed wetenschappelijke literatuur

vonden ze een zeer verschillend beeld.

Slechts drie van de negatieve tests
werden gepubliceerd

en alle, op één na,
van de positieve tests werden gepubliceerd.

Als we die twee met elkaar vergelijken

kun je zien wat een enorm verschil er was

tussen de werkelijkheid en wat artsen, patiënten,

commissarissen van gezondheidsdiensten en academici

te zien kregen
in de peer-reviewed wetenschappelijke literatuur.

We werden misleid.
Dit is een systematische fout

in het hart van de geneeskunde.

In feite zijn er nu meer dan honderd studies

over publicatiebias uitgevoerd.

Ze werden in 2010 gebundeld
in een systematische evaluatie.

Daarin vond je elke ontdekte studie

over publicatiebias terug.

Publicatiebias beïnvloedt
elk gebied van de geneeskunde.

Gemiddeld gaat ongeveer
de helft van alle tests de mist in.

We weten dat de kans
dat positieve bevindingen worden gepubliceerd

ongeveer tweemaal zo groot is
als voor negatieve bevindingen.

Dit is een kanker in het hart
van de op bewijsmateriaal gebaseerde geneeskunde.

Als ik een munt 100 keer opgooi,

maar je de resultaten
van de helft van deze worpen niet vertel,

kan ik je wijsmaken dat die munt altijd 'kop' geeft.

Maar dat wil niet zeggen
dat ik een munt heb met twee koppen.

Dat zou betekenen dat ik een beunhaas ben

en jij een idioot door mij te geloven. (Gelach)

Maar dit is precies wat we blindelings tolereren

in de op bewijsmateriaal gebaseerde geneeskunde.

Voor mij is dit onderzoeksfraude.

Als ik een studie uitvoerde en ik zweeg over

de helft van de gegevenspunten uit die studie,

zouden jullie mij terecht beschuldigen van fraude.

Maar als iemand 10 gevallen onderzoekt

en alleen die vijf publiceert
die het verlangde resultaat geven,

dan vinden wij dat geen onderzoeksfraude.

Wanneer die verantwoordelijkheid
dan nog gespreid wordt

over een heel netwerk
van onderzoekers, academici,

industriesponsors en tijdschriftredacteuren
dan vinden wij het, eigenaardig genoeg

plots meer aanvaardbaar.

Maar het effect op patiënten is vernietigend.

En dit gebeurt nu, vandaag.

Dit is Tamiflu.
Tamiflu is een geneesmiddel

waaraan regeringen over de hele wereld
miljarden hebben uitgegeven

en nog eens miljarden dollars
voor de aanleg van voorraden.

We stockeerden in paniek Tamiflu

in de overtuiging dat het
het aantal complicaties van griep zou verminderen.

'Complicaties' is een medisch eufemisme

voor longontsteking en dood. (Gelach)

Toen de systematische revisoren van Cochrane

de gegevens van alle tests

of Tamiflu al dan niet werkte,
probeerden te verzamelen,

vonden ze dat verscheidene van die tests
niet waren gepubliceerd.

De resultaten waren niet beschikbaar.

Ze gingen labnota's van die tests
op verschillende manieren opvragen

op basis van de Vrijheid op Infomatie Wet.

Ze zetten de bedrijven onder druk,
maar wat ze vonden was inconsistent.

Ze konden de rapporten
van de klinische studie

-- een 10.000 pagina's dik document

met de best mogelijke informatie --

niet in handen krijgen.

Als je de volledige correspondentie,

de excuses en de uitleg van het bedrijf wilt lezen,

vind je dat terug in de editie van deze week

van PLoS Medicine.

Het meest verbluffende is nog

dat dit niet het enige probleem is.

We krijgen ook nog
te maken met valse correcties.

We hebben mensen horen beweren
dat het probleem is opgelost.

Ten eerste zijn er de testregistraties.

Iedereen zei: "Oh, het is in orde.
Iedereen registreert zijn tests
en publiceert het protocol.

Ze moeten zeggen wat ze gaan doen
voordat ze eraan beginnen.

Later kunnen we dan controleren
of alle tests

die werden voltooid,
zijn gepubliceerd.

Maar de mensen namen niet de moeite
om deze registers te gebruiken.

Daarom zegde de Internationale Commissie van Medische-Tijdschriftredacteuren:

"Wij houden het wel in de gaten.

We zullen geen artikelen of tests publiceren

tenzij ze ze registreerden
voordat ze eraan begonnen.

Maar ze houden ze niet in de gaten.
In 2008 werd een studie uitgevoerd

waaruit bleek dat de helft van alle tests
gepubliceerd door tijdschriften

van leden van het ICMJE (Internationaal Comité van Medische Tijdschriften Uitgevers)

niet correct waren geregistreerd,
en een kwart ervan zelfs helemaal niet.

Tenslotte werd een paar jaar geleden
het FDA Amendement aangenomen.

Dat stelde dat iedereen

die een test uitvoert, de resultaten ervan
binnen het jaar moet publiceren.

In de eerste editie van het British
Medical Journal van januari 2012

kun je een studie zien over wie zich
aan die regel heeft gehouden

en het blijkt dat slechts één op de vijf

dat heeft gedaan.

Dat is een ramp.

We kunnen de echte effecten van geneesmiddelen
die wij voorschrijven niet kennen

als we geen toegang hebben

tot alle informatie.

Dat is geen moeilijk probleem om op te lossen.

We moeten mensen dwingen
alle tests op mensen te publiceren.

Ook de oudere tests

omdat het FDA Amendement alleen vraagt
de tests van na 2008 te publiceren

en ik niet inzie waarom we
alleen geneeskunde zouden beoefenen

op basis van tests
die in de afgelopen twee jaar werden voltooid.

We moeten alle tests op mensen publiceren,

met inbegrip van de oudere,
voor alle geneesmiddelen nu in gebruik.

Vertel aan iedereen die je kent

dat dit een probleem is
dat niet is opgelost.

Hartelijk dank. (Applaus)

(Applaus)