Buongiorno. Bene, questo tipo qui,
pensa di poter prevedere il futuro.
Si chiama Nostradamus, anche se qui il Sun
lo fa somigliare più a Sean Connery.
(Risate)
Come molti di voi, immagino, io non credo
si possa prevedere il futuro.
Non credo nella preveggenza e, di tanto in tanto,
si sente dire che qualcuno è riuscito a prevedere il futuro,
probabilmente per puro caso, e
solo i colpi di fortuna e le stranezze fanno notizia.
Non sentiamo mai parlare di tutte le previsioni che la gente ha sbagliato.
Pensiamo che sia così solo per le storielle
sulla preveggenza, mentre il problema è
che la stessa situazione si verifica in ambito accademico
e medico e, in questo ambito, costa vite.
In primo luogo, pensando solo alla preveggenza, si è scoperto
proprio l'anno scorso un ricercatore di nome Daryl Bem ha diretto
una ricerca in cui ha trovato prove
di poteri di chiaroveggenza negli studenti universitari,
ed è stato pubblicato in una rivista accademica
e gran parte di chi l'ha letta si è detta "Ok,
mi sta bene, ma credo che sia un caso, è uno scherzo, perché so
che se facessi una ricerca in cui non trovo prove
di chiaroveggenza negli studenti universitari
probabilmente non verrebbe pubblicata su una rivista.
E di fatto, sappiamo che è vero, perché
diversi gruppi di ricercatori hanno tentato
di replicare le scoperte di questo studio sulla preveggenza,
e quando le hanno sottoposte alla stessa rivista,
la rivista ha detto, "No, non ci interessa pubblicare
repliche. Non siamo interessati ai vostri dati negativi."
Questa è già una prova di come, in letteratura accademica,
si vada a creare un campione distorto della reale situazione
di tutti gli studi scientifici condotti.
Ma non succede solo nell'asettico mondo accademico della psicologia.
Succede anche, per esempio, nella ricerca sul cancro.
A marzo 2012, solo un mese fa, alcuni ricercatori
hanno riportato sulla rivista Nature di come avessero tentato
di replicare 53 diverse ricerche scientifiche in cerca
di potenziali trattamenti per il cancro,
e di queste 53 ricerche, sono stati in grado di replicarne
con successo solo 6.
47 di quelle 53 non erano replicabili.
E nella loro discussione dicono che è molto probabilmente
perché vengono pubblicate le anomalie.
Si fanno tantissime ricerche diverse,
e se i risultati sono positivi vengono pubblicati,
se no, non vengono pubblicati.
La loro prima raccomandazione su come risolvere il problema,
perché è un problema, perché ci spedisce dritti in un vicolo cieco,
la loro prima raccomandazione su come risolvere il problema
è rendere più facile la pubblicazione scientifica dei risultati negativi,
e cambiare gli incentivi in modo che gli scienziati
siano incoraggiati a rendere noti al pubblico i risultati negativi.
Ma non succede solo nell'asettico mondo
della ricerca scientifica pre-clinica sul cancro.
Succede anche nel mondo reale, in carne e ossa,
della medicina accademica. Nel 1980,
alcuni ricercatori hanno realizzato una ricerca su un farmaco chiamato lorcainide,
un farmaco contro le aritmie,
che inibisce i battiti cardiaci anomali.
e l'idea era che nei casi di infarto,
era più probabile il verificarsi di battiti cardiaci anomali,
quindi somministrando un farmaco che inibisce i battiti anomali
aumentano le possibilità di sopravvivenza.
Nelle prime fasi di sviluppo, hanno realizzato un piccolissimo test,
su poco meno di un centinaio di pazienti.
A 50 pazienti è stata somministrata la lorcainide, e di questi, 10 sono deceduti.
Agli altri 50 pazienti è stata somministrata una finta pillola placebo
senza alcun principio attivo, e solo uno di loro è deceduto.
Quindi hanno giustamente archiviato questo farmaco come fallimento,
e il suo sviluppo commerciale è stato fermato. Poiché
lo sviluppo commerciale era stato bloccato, l'esperimento non è mai stato pubblicato.
Sfortunatamente, nei 5 o 10 anni successivi
altre aziende hanno avuto la stessa idea di farmaci
per la prevenzione di aritmie post-infarto.
Questi farmaci sono stati messi sul mercato. Sono stati prescritti
molto ampiamente perché gli infarti sono abbastanza comuni,
e ci è voluto talmente tanto per scoprire che anche questi farmaci
causavano un aumento del tasso di decesso
che prima di identificare quel segnale di allarme,
più di 100.000 persone erano morte inutilmente in America
per colpa della prescrizione di farmaci anti-aritmie.
Poi, nel 1993,
i ricercatori che avevano realizzato quella prima ricerca nel 1980,
hanno pubblicato un mea culpa, una scusa alla comunità scientifica,
in cui hanno detto, "Quando abbiamo realizzato la ricerca nel 1980,
abbiamo pensato che l'aumento del tasso di decessi che avveniva
nel gruppo trattato con lorcainide fosse un caso."
Lo sviluppo della lorcainide è stato abbandonato per ragioni commerciali,
e quella ricerca non è mai stata pubblicata;
è ora un buon esempio di "bias" nella pubblicazione.
È il termine tecnico del fenomeno per cui
dati non accettabili vengono persi, non vengono pubblicati,
vengono persi per strada, e dicono che i risultati qui descritti
"avrebbero potuto segnalare con anticipo i problemi."
Queste sono storie di scienza basilare.
Queste sono storie di 20, 30 anni fa.
Il mondo delle pubblicazioni accademiche ora è molto diverso.
Ci sono riviste accademiche come "Trials", ad accesso libero,
che pubblicherà qualunque esperimento condotto su esseri umani
a prescindere dal risultato positivo o negativo.
Ma questo problema dei risultati negativi che si perdono per strada
è ancora molto diffuso.
Di fatto è così diffuso
che va dritto al nocciolo della medicina basata sulle prove
Questo è un farmaco chiamato reboxetina ed è un farmaco
che ho prescritto io stesso. È un antidepressivo.
Sono un medico molto pignolo, quindi ho letto tutte le ricerche
possibili su questo farmaco.
Ho letto l'unica ricerca pubblicata
che mostrava che la reboxetina era meglio del placebo,
e ho letto gli altri tre studi pubblicati
che mostravano che la reboxetina era efficace tanto quanto un qualunque altro antidepressivo,
e dato che per questo paziente gli altri antidepressivi non avevano funzionato,
ho pensato che la reboxetina andasse bene.
Era da provare.
Ma si è scoperto che sono stato ingannato.
Di fatto,
sono stati condotti 7 esperimenti che confrontavano la reboxetina
con le pillole placebo.
Uno di loro
era positivo ed è stato pubblicato, ma 6
erano negativi e sono stati scartati.
Sono stati pubblicati tre esperimenti che confrontavano la reboxetina
con altri antidepressivi in cui la reboxetina
risultava altrettanto efficace: e sono stati pubblicati,
ma sono stati raccolti dati sul triplo dei pazienti
che mostravano che la reboxetina era peggio
degli altri trattamenti. Quegli esperimenti invece non sono stati pubblicati.
Mi sono sentito ingannato.
Potreste dirmi che è un esempio estremamente anomalo
e non vorrei sentirmi colpevole dello stesso tipo
di selezione e referenziamento
di cui accuso gli altri.
Ma risulta che il fenomeno dei bias nelle pubblicazioni
sia stato studiato molto, molto a fondo.
Ecco un esempio di approccio.
Il modello classico consiste nel prendere una serie di ricerche
che si sanno essere state condotte e completate,
e poi si va a vedere se sono state pubblicate da qualche parte
nella letteratura accademica.
Questo ha preso tutti i test
mai condotti sugli antidepressivi
approvati in 15 anni dalla FDA.
Hanno preso tutti i test che sono stati sottoposti alla FDA come parte del pacchetto di approvazione.
Non sono tutti gli esperimenti che sono stati condotti sui farmaci,
perché non possiamo sapere se li abbiamo,
ma sono quelli condotti per poter ottenere l'autorizzazione a commercializzare.
E poi sono andati a vedere se questi esperimenti sono stati pubblicati
nella letteratura accademica a revisione paritaria.
E questo è ciò che hanno scoperto.
Era più o meno la metà. In realtà la metà di questi esperimenti
erano positivi, la metà erano negativi.
Ma quando sono andati a cercare questi test nella letteratura accademica con revisione paritaria,
ciò che hanno scoperto era tutt'altro.
Solo tre degli esperimenti negativi erano stati pubblicati,
mentre tutti i test positivi tranne uno erano stati pubblicati.
Se andiamo avanti e indietro tra questi due,
vedete l'incredibile differenza che c'era
tra la realtà e quello che i dottori, i pazienti,
i commissari dei servizi sanitari e gli accademici
hanno potuto vedere nelle revisioni paritarie della letteratura accademica.
Siamo stati ingannati ed è un vizio sistematico
alla base della medicina.
Di fatto, sono state condotte così tante ricerche
sui bias di pubblicazione, più di un centinaio,
che sono state raccolte in una revisione sistematica, pubblicata nel 2010,
prendendo ogni singola ricerca sui bias di pubblicazione
che si è riusciti a trovare.
Bias di pubblicazione si contano in ogni ambito della medicina.
Circa la metà degli esperimenti, in media, si perde per strada,
e sappiamo che i risultati positivi hanno circa il doppio delle probabilità
di essere pubblicati rispetto a quelli negativi.
È un cancro nel cuore della medicina basata sulle prove.
Se lanciassi una moneta 100 volte, ma poi
vi nascondessi il risultato di metà di questi lanci,
potrei far sembrare di avere una moneta che dà sempre testa.
Ma questo non significherebbe che ho una moneta con due teste.
Vorrebbe dire che sono un irresponsabile
e voi siete stupidi a lasciarmelo fare.
(Risate)
Ma è esattamente ciò che tolleriamo ciecamente
nella medicina basata sulle prove.
A mio parere, è una prassi disdicevole nella ricerca.
Se conducessi una ricerca e nascondessi
la metà dei dati di quella ricerca,
mi accusereste giustamente di truffa nella ricerca.
Eppure, per qualche ragione, se qualcuno conduce
10 ricerche, ma pubblica solo quelle 5 che danno il risultato che vuole
non la consideriamo una prassi sbagliata.
E quando quella responsabilità si diffone
su un'intera rete di ricercatori, accademici,
sponsor industriali, editori di riviste, per qualche ragione
lo troviamo più accettabile,
ma l'effetto sui pazienti è schiacciante.
E questo succede ora, oggi.
Questo è un farmaco chiamato Tamiflu.
Il Tamiflu è un farmaco
che i governi di tutto il mondo hanno accumulato
spendendo miliardi e miliardi di dollari.
Abbiamo fatto scorte Tamiflu presi dal panico,
credendo che avrebbe ridotto il tasso di complicazioni dell'influenza.
Complicazioni è un eufemismo medico per dire polmonite
e morte.
(Risate)
Quando i revisori sistematici della Cochrane
hanno cercato di raccogliere tutti i dati
da tutti gli esperimenti condotti per il verificare che il Tamiflu lo facesse o meno,
hanno scoperto che diversi di questi esperimenti non erano stati pubblicati.
I risultati non erano accessibili.
Quando hanno iniziato a ricevere i resoconti di quelle prove attraverso altri mezzi,
appellandosi alla Freedom of Information Act,
rompendo le scatole a diverse organizzazioni, hanno scoperto delle incoerenze.
Quando hanno cercato di ottenere le relazioni delle ricerche cliniche,
i documenti di 10 000 pagine
con il più accurato resoconto delle informazioni,
è stato detto loro che non erano autorizzati ad averli.
Se volete leggere la corrispondenza completa
e le scuse e le spiegazioni date dalla casa farmaceutica,
le trovate pubblicate nell'edizione di questa settimana
di PLOS Medicine.
La cosa più strabiliante di tutte, ai miei occhi,
è che non solo questo è un problema, non solo riconosciamo
che questo è un problema, ma abbiamo dovuto subire finti aggiustamenti.
C'era chi sosteneva che il problema era stato risolto.
Prima di tutto, avevamo i registri degli esperimenti, e tutti dicevano:
Ok, va tutto bene. Faremo in modo che tutti registrino i test, pubblicheranno il protocollo
dichiareranno ciò che vogliono fare prima di iniziare,
e poi saremo in grado di controllare e vedere se tutti gli esperimenti
sono stati condotti, completati e pubblicati.
Ma nessuno si è preoccupato di usare quei registri.
Quindi poi il Comitato Internazionale dei Redattori di Riviste Mediche (ICMJE) è arrivato
e ha detto: Bene, manterremo la posizione.
Non pubblicheremo nessuna rivista, non pubblicheremo nessun test
che non sia stato registrato prima di essere avviato.
Ma non hanno mantenuto la posizione.
Nel 2008 è stata condotta una ricerca
che ha mostrato che la metà dei test pubblicati dalle riviste
dei membri del ICMJE
non erano stati regolarmente registrati e un quarto di loro non era stato affatto registrato.
Infine, il decreto di riforma della FDA è stato approvato
un paio di anni fa e diceva che chiunque conduca
un esperimento deve pubblicare i risultati di quel test entro un anno.
E nel BMJ, nella prima edizione di gennaio 2012,
si trova una ricerca che controlla se la gente si è adeguata
a quella regola e si è scoperto che solo uno su cinque
lo ha fatto.
È un disastro.
Non possiamo sapere i veri effetti dei farmaci
che prescriviamo se non abbiamo accesso
a tutte le informazioni.
Non è un problema difficile da risolvere.
Dobbiamo costringere la gente a pubblicare tutti gli esperimenti
condotti su esseri umani, compresi i vecchi esperimenti,
perché il decreto di riforma della FDA chiede solo di pubblicare gli esperimenti condotti dopo il 2008,
e non so che mondo sia quello in cui
pratichiamo la medicina sulla base dei soli test completati nei due anni precedenti.
Dobbiamo pubblicare tutti gli esperimenti sugli esseri umani,
compresi gli esperimenti più vecchi, per tutti i farmaci attualmente in uso,
e dovete dire a tutti che sapete
che questo è un problema che non è stato risolto.
Grazie infinite.
(Applausi)
(Applausi)