praques non convenonnelles : peut-on et doit-on les...
TRANSCRIPT
DirecteurdelaPlateformeMéthodologiqueCEPS
www.CEPSpla;orm.eu
Pra$quesnonconven$onnelles:Peut-onetdoit-onlesévaluer?Lepointdevueduméthodologiste.
www.montpellier-cancer.com
Pr.GrégoryNinot,UniversitédeMontpellier
Co-responsableaxeSHSSIRIC-SoinsdeSupport
Liensd’intérêts
• Aucunliend’intérêtsàdéclarer
Ce.eprésenta1onn’engagequesonauteuretnesauraitme.reencauselaresponsabilitédeTakedaFrance
1986 2016
Unepharmacied’hieretd’aujourd’hui
DespraNquesrarementévaluéesetsurveillées
Unrégimed’hieretd’aujourd’hui
1986 2016
DespraNquesrarementévaluéesetsurveillées
Unobjet«santé»d’hieretd’aujourd’hui
1986 2016
DespraNquesrarementévaluéesetsurveillées
Unepsychothérapied’hieretd’aujourd’hui
1986 2016
DespraNquesrarementévaluéesetsurveillées
Unprogrammed’Ac$vitésPhysiquesAdaptées(APA)d’hieretd’aujourd’hui
1986 2016
DespraNquesrarementévaluéesetsurveillées
Des«best-sellers»
2010 20132011 2016
DespraNquesrarementévaluéesetsurveillées
Desmédiasrelayantabondammentleurusage
Despa$entsmoinsnaïfs…
maisparadoxalementplusvulnérables(dérivessectaires,marke$ngvs.science...)
DespraNquesrarementévaluéesetsurveillées
Laporteouverteàtousles«remèdes»ettousles«amalgames»…
DespraNquesrarementévaluéesetsurveillées
«Auregarddescritèreshabituellementconsidéréspourl’évaluaNondel’efficacitédestraitementsmédicamenteux,lesétudesévaluantl’efficacitédesthérapeuNquesnonmédicamenteuses[règleshygiéno-diété1ques,traitementspsychologiques,thérapeu1quesphysiques]présententpourlaplupartdesinsuffisancesméthodologiques.»(p.40)
HAS(2011)
…laissantlesautoritésdesantépourlemoinsscep$ques
DespraNquesrarementévaluéesetsurveillées
Effetduprofessionnel,maispasque…
BiaisdepercepNondesprogrèsencasdebonnealliancethérapeuNque
(Horvathetal.,2011,P;Haugetal.,2012,CPR)
Besoind’étudesdequalité
Biaisdepercep$on
Avecletemps,7,5%devarianceexpliquéeparleprofessionnel
Rôleduprofessionneldesantédanslaréduc$ondeladouleur
ContribuNondupraNciendanslesbénéfices(effetsplacebo/noceboetHawthorne)
(MarNnetal.,2000,JCCP)
(SchulteetEifert,2002,SP)
BiaisadribuNonnelsencasdesuccèsvs.échecs(Hannanetal.,2005,JCP)
Faiblevarianceexpliquéeavecletemps
…effetdelaméthode:LesInterven$onsNonMédicamenteuses
DifférentssynonymesdesINM☐acNonsdeprévenNonprimaire☐acNonsdeprévenNonsecondaire☐acNonsdeprévenNonterNaire☐aidestechniquesettechnologiques☐allégaNonsdesanté☐disposiNfsmédicauxnonimplantables☐médecinesalternaNves☐médecineschinoises☐médecinescomplémentaires☐médecinescomportementales☐médecinesdouces☐médecinesintégraNves☐médecinesnaturelles
☐médecinestradiNonnelles☐objetsconnectéssanté(oum-santé)☐praNquesdesoinsnonconvenNonnelles☐produitsdesanté☐servicesdesanté☐soinsadjuvants☐soinsdesupport☐soluNonse-santénonimplantables☐thérapeuNquesnonconvenNonnelles☐thérapeuNquesintégrées☐thérapeuNquesnonmédicamenteuses☐thérapiescomplémentaires☐traitementscomplémentaires☐traitementsnonpharmacologiques
INM=appella$oninsa$sfaisantemaisu$liséeetcompriseactuellement
400recenséesparlaPlateformeCEPS,l’OMSetl’AcadémiedeMédecine
LesintervenNonsnonmédicamenteuses(INM)
Confusionsentretechnique,ingrédient,objet,méthode,théorieetphilosophie
Solu$onenvironnementaleensanté
Solu$onindividuelleensanté
Solu$onorganisa$onnelleensanté
INM
+(complémentaire)
LesintervenNonsnonmédicamenteuses(INM)
Produitsdesantéavecuneinterven1onbiologiqueciblée
(médicament,vaccin,chirurgie,radiothérapie,thérapiegénique,disposi1f
médicalimplantable,1ssus/organe)
Posi$onnementdesINMenFrance
Biensdeconsomma$oncourante Interven$onsnonmédicamenteuses(INM)
LesintervenNonsnonmédicamenteuses(INM)
Servicebiomédical
Vérifica$ondesbénéficessurlasantéetlaqualitédevie,desrisquesetdel’u$lité
Démonstra$onduservicemédicalrendu
Obliga$ongénéraledesécurité
Dangerositéàvérifier
5catégoriesd’INM
Interven$onspsychologiques
santé
Interven$onsphysiquessanté
Interven$onsnumériques
santé
Interven$onsnutri$onnelles
santé
Autresinterven$ons
santé
(desprogrammesdepréven1onauxméthodesde
psychothérapie)
(desthérapiesmanuellesauxprogrammesd’ac1vitésphysiquesadaptées)
(descomplémentsalimentairesauxrégimes
thérapeu1ques)
(desobjetsconnectéssantéauxsolu1ons
decoachinge-santé)
(delaphytothérapieàl’aromathérapie)
LesintervenNonsnonmédicamenteuses(INM)
Exemplesd’INM
Interven$onspsychologiques
santé
Interven$onsnumériques
santé
Interven$onsnutri$onnelles
santé
Autresinterven$ons
santé
Catégorie
Sous-catégorie
Psychothérapie
Méthode
Méthoded’hypnoseclassiquepourlesevragetabagique
Interven$onsphysiquesanté
Catégorie
Sous-catégorie
Ac$vitéphysiqueadaptée
Méthode
ProgrammeOtagopourlapréven$on
deschutes
Catégorie
Sous-catégorie
Complémentalimentaire
Méthode
Spirulinepourlaprisedemuscle
Catégorie
Sous-catégorie
Objetconnectésanté
Méthode
AppWellnessCoachpourlages$ondupoidscorporel
Catégorie
Sous-catégorie
Phytothérapie
Méthode
Millepertuiscontreladéprime
LesintervenNonsnonmédicamenteuses(INM)
Défini$on
www.CEPSpla;orm.eu
«UneInterven1onNonMédicamenteuse(INM)estuneméthodeefficienteetefficacesurlasanté
humaine. Ce.eméthode, non invasive, prend la forme d’un produit, d’un programme ou d’un
service.Elleauneac1onobservable(bénéficesetrisquesmesurablesallantaudelàdusimpleavis
du consommateur) sur des indicateurs de santé et de qualité de vieet peut être reliée à des
mécanismes biologiques et/ou des processus psychologiques iden1fiés. Elle peut également
avoirunimpactposi1fsurdescomportementsdesantéetdesindicateurssocio-économiques.»
PlateformeCEPS,Montpellier,avril2016
LesintervenNonsnonmédicamenteuses(INM)
3.Théorie(processusouprinciped’acNon)
4.Contenu(durée,fréquence,composiNon,technique)
1.Objec$fsurlasanté(guérir,soigner,prévenir)
2.Publiccible(groupeciblé)
INM1
INM3
INM5
INM2
INM4
MédicamentX
PhaseiniNale Phasedesuivi
INM1
INM4
Intégra$ond’INMdansleparcourspersonnalisédesoindeladouleur
X
LesintervenNonsnonmédicamenteuses(INM)
Réajustement
Modèled’usaged’uneINM(condi$onsdesuccès)
LesintervenNonsnonmédicamenteuses(INM)
StratégiedepersonnalisaNon(moNvaNon,préférences…)
Savoirfaire,savoirêtreetsavoir(formaNonprofessionnelle)
Preuvesd’efficience Condi$onsdemiseenœuvre
Rechercheinterven1onnelle+++ Rechercheenimplémenta1on+++
Efficacité
Sécurité
UNlité
Bénéficessurlaqualitédevie
LesINM:Solu$onssantéfondéessurlascience
«UnepoliNquereposantsurlesavoirestindispensableàl’intégraNonde laMédecine TradiNonnelle /Médecine Complémentaire dans lessystèmes naNonaux de santé. La recherche devrait être hiérarchiséeen termes de priorités et soutenue de manière à produire desconnaissances. Même si les essais cliniques contrôlés livrent denombreuses informaNons, d’autres méthodes d’évalua$on sontégalementu$les.C’estlecas,parexemple,desétudessurleseffetsetsur l’efficacité, ainsi quede la recherche comparaNve sur l’efficacité,de l’analyse des schémas d’uNlisaNon et d’autres méthodesqualitaNves.»(p.39)
OMS(2013).Stratégiedel’OMSpourlamédecinetradiNonnellepour2014-2023.Genève:OMS.
Unbesoind’étudesrigoureusespouraméliorerlespra$quesetpréciserlesusages
EvaluerscienNfiquementlesINMestpossible
Pra$quesprofessionnellesdesantéfondéessurlespreuves(oudonnéesprobantes)
Sackedetal.(2000)
OC,FRSC,BA(Lawrence),MD(Illinois&Basel),MSc(Harvard),FRCP(Odawa,London,Edinburgh)
(17novembre1934–13mai2015)
DavidL.SackeiAmericainetCanadien
EvaluerscienNfiquementlesINMestpossible
Programmed’ETPCHRUMontpellier
16séancesen1mois
Efficacité:+72m(TDM-6)Risques:aucunincidentouaccidentQualitédevie:+15/100(quesNonnaireSGRQ)U$lité:-481€/an/paNent(dépensesdirectesdesanté)
+1mois +1anT0
18paNentsBPCO
20paNentsBPCO
Randomisa$on
Ninotetal.(2011,RespiratoryMedicine)
Exempled’étudeinterven$onnellevérifiantl’efficienced’uneINM
EvaluerscienNfiquementlesINMestpossible
Programmed’ETPaucoursd’unepriseenchargedelaBPCO
MonNconeetal.(2015,Cochrane)
Méta-analysedethérapiecogni$vo-comportementalecontreladouleurducou
2CBTversusnotreatment(chronicNP),outcome:2.1Pain(short-termfollow-up)
EvaluerscienNfiquementlesINMestpossible
Cochrane Database of Systematic Reviews
Cognitive-behavioural treatment for subacute and chronicneck pain (Review)
Monticone M, Cedraschi C, Ambrosini E, Rocca B, Fiorentini R, Restelli M, Gianola S, Ferrante S,
Zanoli G, Moja L
Monticone M, Cedraschi C, Ambrosini E, Rocca B, Fiorentini R, Restelli M, Gianola S, Ferrante S, Zanoli G, Moja L.
Cognitive-behavioural treatment for subacute and chronic neck pain.
Cochrane Database of Systematic Reviews 2015, Issue 5. Art. No.: CD010664.
DOI: 10.1002/14651858.CD010664.pub2.
www.cochranelibrary.com
Cognitive-behavioural treatment for subacute and chronic neck pain (Review)
Copyright © 2016 The Cochrane Collaboration. Published by John Wiley & Sons, Ltd.
Cochrane Database of Systematic Reviews
Cognitive-behavioural treatment for subacute and chronicneck pain (Review)
Monticone M, Cedraschi C, Ambrosini E, Rocca B, Fiorentini R, Restelli M, Gianola S, Ferrante S,
Zanoli G, Moja L
Monticone M, Cedraschi C, Ambrosini E, Rocca B, Fiorentini R, Restelli M, Gianola S, Ferrante S, Zanoli G, Moja L.
Cognitive-behavioural treatment for subacute and chronic neck pain.
Cochrane Database of Systematic Reviews 2015, Issue 5. Art. No.: CD010664.
DOI: 10.1002/14651858.CD010664.pub2.
www.cochranelibrary.com
Cognitive-behavioural treatment for subacute and chronic neck pain (Review)
Copyright © 2016 The Cochrane Collaboration. Published by John Wiley & Sons, Ltd.
0
50
100
150
200
250
300
350
400
450
1965
19
68
1971
19
74
1977
19
80
1983
19
86
1989
19
92
1995
19
98
2001
20
04
2007
20
10
2013
0
20
40
60
80
100
120
140
160
1966
1969
1975
1978
1981
1984
1987
1990
1993
1996
1999
2002
2005
2008
2011
2014
0
10
20
30
40
50
60
1966
1969
1973
1976
1979
1982
1985
1988
1991
1994
1997
2000
2003
2006
2009
2012
2015
0
20
40
60
80
100
120
140
1966
1970
1973
1976
1979
1982
1985
1988
1991
1994
1997
2000
2003
2006
2009
2012
2015
0
500
1000
1500
2000
2500
3000
3500
4000
1964
1967
1970
1973
1976
1979
1982
1985
1988
1991
1994
1997
2000
2003
2006
2009
2012
20150
100
200
300
400
500
600
1966
1970
1974
1977
1980
1983
1986
1989
1992
1995
1998
2001
2004
2007
2010
2013
Mul$plica$onexponen$elledespublica$onssurlesINMetladouleurdepuis1965
Méthodesdepsychothérapie(1.811trials/8.926)
Complémentsalimentaires(1.399trials/9.370)
Programmesd’acNvitéphysique(6.316trials/28.508)
Méthodesdekinésithérapie(6.116trials/26.503)
Régimes(859trials/4.976)
Méthodesd’éducaNonthérapeuNque(60.620trials/38.3092)
>50/an
>130/an
>500/an
>400/an
>3500/an
>140/an
sourceProv&Care(2016)
EvaluerscienNfiquementlesINMestpossible
Evaluer,c’estd’abordiden$fieretnommer
Besoinderencontreetdepartaged’expériences
Unbesoindemieuxdécrirelesinterven$onsdanslespublica$onsd’étude
www.cepspla;orm.eu
Besoinderencontreetdepartaged’expériences
Besoind’uneontologiedesINM
CatégorieSous-catégorieIntervenNon
IntervenNonpsychologiquesanté(etsynonymes)Psychothérapie(etsynonymes)Mindfulness-BasedStressReduc1on(MBSR)
Evaluer,c’estconvergerversunparadigmecommun
«Jusqu’aux années soixante, nombre d’intervenNons thérapeuNquesn’avaientencorepourseulejusNficaNon,sil’onpeutdire,quelaforcedelarouNne,l’adachementcréduleàdestradiNons,oulagénéralisaNonàparNrdequelquesexemplesoccasionnelsetanecdo$quesabusivementappelésexpérienceprofessionnelle.»
Bouvenot(2006,p.XIII)
L’exempledumédicamentilya50ans
Besoind’unparadigmecommund’évaluaNon
CarbonneletNinot(2016,Hegel)
Besoind’unparadigmecommun
Versunparadigmeconsensueldansl’évalua$ondesINM?
Prototype Bigdata
Recherchefondamentale
ouObserva$onclinique
Recherhcheclinique
Régula$ondesautorités
Produc$onNormes
Surveillance
Faceàl’arrivéedenouveauxacteursdanslasantéayantd’autresapproches
CarbonneletNinot(2016,Hegel)
Besoind’unparadigmecommun
Versunparadigmeconsensueldansl’évalua$ondesINM?
Evaluer,c’esttravaillerensemble,professionnelscommepa$ents
InsNtutNaNonaldelaPrévenNonetdel’EducaNonpourlaSanté(INPES)InsNtutdeVeilleSanitaire(InVS)EtablissementsdepréparaNonetderéponsesauxurgences(EPRUS)SantépubliqueFrance
AcNoncoordonnéepourlaRechercheIntervenNonnelleenSantéPublique(ACRISP)
2016
Programme prévisionnel du troisième séminaire de l’Action Coordonnée Recherche Interventionnelle en Santé Publique du 11 mars 2016
9h : Accueil
9h30-10h00 : Actualités - François Alla, IRESP x CERReSP x Appel à Projets
10h00-11h00 : « La complexité? Oui, mais encore? » - Louise Potvin, Université de Montréal
11h00-12h00 : Méthodes pour la recherche
x « Les méthodes économiques dans l’évaluation des interventions de santé publique » - Karine Chevreul, URC Eco, Paris
12h00-12h30 : Présentation d’un projet de recherche interventionnelle
x « Pralimap-INèS : Recherche interventionnelle et réduction des inégalités sociales de surpoids en milieu scolaire » –Abdou Omorou, Université de Lorraine
12h30-13h : Echanges sur le colloque international des 16, 17 et 18 novembre 2016
13h00 : Déjeuner
14h00-16h00 : Ateliers parallèles
Atelier 1 : « Partenariats chercheurs-décideurs », animé par Christian Pradier
Atelier 2 : « Aspects éthiques et réglementaires de la Recherche Interventionnelle », animé par Frédérique Claudot
16h00-17h00 : Restitution des ateliers, synthèse et clôture de la journée
17h00 : Clôture
ITMO Cancer ITMO Immunologie, Inflammation, Infectiologie et Microbiologie ITMO Santé publique
Programme prévisionnel du troisième séminaire de l’Action Coordonnée Recherche Interventionnelle en Santé Publique du 11 mars 2016
9h : Accueil
9h30-10h00 : Actualités - François Alla, IRESP x CERReSP x Appel à Projets
10h00-11h00 : « La complexité? Oui, mais encore? » - Louise Potvin, Université de Montréal
11h00-12h00 : Méthodes pour la recherche
x « Les méthodes économiques dans l’évaluation des interventions de santé publique » - Karine Chevreul, URC Eco, Paris
12h00-12h30 : Présentation d’un projet de recherche interventionnelle
x « Pralimap-INèS : Recherche interventionnelle et réduction des inégalités sociales de surpoids en milieu scolaire » –Abdou Omorou, Université de Lorraine
12h30-13h : Echanges sur le colloque international des 16, 17 et 18 novembre 2016
13h00 : Déjeuner
14h00-16h00 : Ateliers parallèles
Atelier 1 : « Partenariats chercheurs-décideurs », animé par Christian Pradier
Atelier 2 : « Aspects éthiques et réglementaires de la Recherche Interventionnelle », animé par Frédérique Claudot
16h00-17h00 : Restitution des ateliers, synthèse et clôture de la journée
17h00 : Clôture
ITMO Cancer ITMO Immunologie, Inflammation, Infectiologie et Microbiologie ITMO Santé publique
2011 2015
Besoind’unsouNendestutelles
Desorganisa$onsna$onalespourrépondreàcesbesoins
Desorganisa$onsinterna$onalespourrépondreàcesbesoins
Pouravancer
DesorganisaNons
DesinsNtuNons
Edi$onn°1Montpellier25mars2011
1jour320par$cipants6plénières6ateliers
1jour610par$cipants11plénières6ateliers
Edi$onn°2Montpellier5avril2013
Edi$onn°3Montpellier
19-21mars2015
3jours1030par$cipants35plénières11ateliers68posters
Edi$onn°4Montréal
19-21mai2016
3jours250par$cipants30conférencesplénières10ateliers29postersscienNfiques
Edi$onn°5Montpellier
18-20mai2017
www.iceps.eu
3jours1200par$cipantsaiendus50plénières50ateliers200posters
Besoinderencontreetdepartaged’expériences
Uncongrèsscien$fiqueinterna$onaltouslesans,l’iCEPS
Pourconclure
Ioannidis(2015,PlosMedicine)
powerful in scientific processes [8,9]. Forhealthcare and clinical practice, whileevidence-based medicine has grown stron-ger over time, some argue that it iscurrently in crisis [10] and ‘‘evidence-based’’ terminology has been usurped topromote expert-based beliefs and industryagendas [11]. We have little experimentalevidence on how peer review should bedone and when (e.g., protocol-based, man-uscript-based, post-publication) [5,12,13]or on how research funds should beallocated [14,15]. Many dominant scientif-ic structures date back to the Middle Ages(e.g., academic hierarchies) or the 17thcentury (e.g., professional societies, journalpublishing), but their suitability for thecurrent growth of science is uncertain. Atthe same time, there is an obvious tensionin hoping for decisions to be both moreimaginative and more evidence-based; itmay be the case that the bureaucracy andpractice of science require different peoplewith different skill sets, and it may even bethat a system too focused on eliminatingunfair discrimination also eliminates thereasonable discrimination required to makewise choices. While we could certainlyintroduce changes that made science worse,we could also purposefully introduce onesto make it better.
One option is to transplant into as manyscientific disciplines as possible researchpractices that have worked successfullywhen applied elsewhere. Box 1 lists a fewexamples that are presented in more detailhere.
Adoption of large-scale collaborativeresearch with a strong replication culture[16] has been successful in several bio-medical fields: in particular, in genetic andmolecular epidemiology. These techniqueshave helped transform genetic epidemiol-
ogy from a spurious field [17] to a highlycredible one [18]. Such practices could beapplied to other fields of observationalresearch and beyond [19].
Replication has different connotationsfor different settings and designs. For basiclaboratory and preclinical studies, replica-tion should be feasible as a default, buteven in those cases, there should be an apriori understanding of the essential fea-tures that are needed to be replicated andhow much heterogeneity is acceptable[20]. For some clinical research, replica-tion is difficult, especially for very large,long-term, expensive studies. The prospectof replication needs to be considered andincorporated up front in designing theresearch agenda in a given field [12].Otherwise, some questions are not ad-dressed at all or are addressed by singlestudies that are never replicated, whileothers are subjected to multiple unneces-sary replications or even redundant meta-analyses combining them [21].
Registration of randomized trials [22](and, more recently, registration of theirresults [23]) has enhanced transparency inclinical trials research and has allowedprobing of selective reporting biases [24,25],even if not fully remedying them. It mayshow redundancy and allow better visualizingof the evolution of the total corpus of researchin a given field. Registration is currentlyproposed for many other types of research,including both human observational studies[26] and nonhuman studies [27].
Sharing of data, protocols, materials,and software has been promoted in several-omics fields, creating a substrate forreproducible data practices [28–31]. Pro-motion of data sharing in clinical trialsmay similarly improve the credibility ofclinical research [32]. Some disadvantages
have been debated, like the potential ofmultiple analysts performing contradictinganalyses, difficulties with de-identificationof participants, and the potential forparties to introduce uncertainty for resultsthat hurt their interests, as in the case ofdiesel exhaust and cancer risk [33].
Dissociation of some research types fromspecific conflicted sponsors or authors hasbeen proposed (not without debate) fordesigns as diverse as cost-effectiveness analy-ses [34], meta-analyses [35,36], and guide-lines [37]. For all of these types of research,involvement of sponsors with conflicts hasbeen shown to spin more favorable conclu-sions.
Adoption of more appropriate statisticalmethods [38], standardized definitions andanalyses and more stringent thresholds forclaiming discoveries or ‘‘successes’’ [39] maydecrease false-positive rates in fields that haveto-date been too lenient (like epidemiology[40], psychology [41,42], or economics [43]).It may lead them to higher credibility, moreakin to that of fields that have traditionallybeen more rigorous in this regard, like thephysical sciences [44].
Improvements in study design standardscould improve the reliability of results [45].For example, for animal studies of interven-tions, this would include randomization andblinding of investigators [27]. There isincreasing interest in proposing checklists forthe conduct of studies to be approved[46,47], making it vital to ensure both thatchecklist items are indeed essential and thatclaims of adherence to them are verifiable.
Reporting, review, publication, dissem-ination, and post-publication review ofresearch shape its reliability. There arecurrently multiple efforts to improve andstandardize reporting (e.g., as cataloguedby the EQUATOR initiative [48]) andmultiple ideas about how to change peerreview (by whom, how, and when) anddissemination of information [25,49–51].
Finally, proper training and continuingeducation of scientists in research methodsand statistical literacy are also important [47].
Stakeholders
As we design, test, and implementinterventions on research practices, weneed to understand who is affected by andshaping research [5,52,53]. Scientists areonly one group in a larger network(Table 1) in which different stakeholdershave different expectations. Stakeholdersmay cherish research for being publish-able, fundable, translatable, or profitable.Their expectations are not necessarilyaligned with one another. Scientists maycontinue publishing and getting grants
Box 1. Some Research Practices that May Help Increase theProportion of True Research Findings
N Large-scale collaborative research
N Adoption of replication culture
N Registration (of studies, protocols, analysis codes, datasets, raw data, andresults)
N Sharing (of data, protocols, materials, software, and other tools)
N Reproducibility practices
N Containment of conflicted sponsors and authors
N More appropriate statistical methods
N Standardization of definitions and analyses
N More stringent thresholds for claiming discoveries or ‘‘successes’’
N Improvement of study design standards
N Improvements in peer review, reporting, and dissemination of research
N Better training of scientific workforce in methods and statistical literacy
PLOS Medicine | www.plosmedicine.org 2 October 2014 | Volume 11 | Issue 10 | e1001747
Essay
How to Make More Published Research TrueJohn P. A. Ioannidis1,2,3,4*
1 Meta-Research Innovation Center at Stanford (METRICS), Stanford University, Stanford, California, United States of America, 2 Department of Medicine, Stanford
Prevention Research Center, Stanford, California, United States of America, 3 Department of Health Research and Policy, Stanford University School of Medicine, Stanford,
California, United States of America, 4 Department of Statistics, Stanford University School of Humanities and Sciences, Stanford, California, United States of America
The achievements of scientific researchare amazing. Science has grown from theoccupation of a few dilettanti into a vibrantglobal industry with more than 15,000,000people authoring more than 25,000,000scientific papers in 1996–2011 alone [1].However, true and readily applicable majordiscoveries are far fewer. Many newproposed associations and/or effects arefalse or grossly exaggerated [2,3], andtranslation of knowledge into useful appli-cations is often slow and potentially ineffi-cient [4]. Given the abundance of data,research on research (i.e., meta-research)can derive empirical estimates of theprevalence of risk factors for high false-positive rates (underpowered studies; smalleffect sizes; low pre-study odds; flexibility indesigns, definitions, outcomes, analyses;biases and conflicts of interest; bandwagonpatterns; and lack of collaboration) [3].Currently, an estimated 85% of researchresources are wasted [5].
Effective Interventions
We need effective interventions to im-prove the credibility and efficiency ofscientific investigation. Some risk factorsfor false results are immutable, like smalleffect sizes, but others are modifiable. Wemust diminish biases, conflicts of interest,and fragmentation of efforts in favor ofunbiased, transparent, collaborative re-search with greater standardization. How-ever, we should also consider the possibilitythat interventions aimed at improvingscientific efficiency may cause collateraldamage or themselves wastefully consumeresources. To give an extreme example,one could easily eliminate all false positivessimply by discarding all studies with evenminimal bias, by making the researchquestions so bland that nobody cares about(or has a conflict with) the results, and bywaiting for all scientists in each field to joinforces on a single standardized protocol and
analysis plan: the error rate would decreaseto zero simply because no research wouldever be done. Thus, whatever solutions areproposed should be pragmatic, applicable,and ideally, amenable to reliable testing oftheir performance.
Currently, major decisions about howresearch is done may too often be based onconvention and inertia rather than beinghighly imaginative or evidence-based [5–15].For example, there is evidence that grant
reviewers typically have only modest CVsand most of the top influential scientists don’treview grant applications and don’t getfunded by government funds, even in theUnited States [6], which arguably has thestrongest scientific impact at the momentthan any other country (e.g., in cumulativecitations). Non-meritocratic practices, includ-ing nepotism, sexism, and unwarrantedconservatism, are probably widespread [7].Allegiance and confirmation biases are
Essays are opinion pieces on a topic of broadinterest to a general medical audience.
Citation: Ioannidis JPA (2014) How to Make More Published Research True. PLoS Med 11(10): e1001747.doi:10.1371/journal.pmed.1001747
Published October 21, 2014
Copyright: ! 2014 John P. A. Ioannidis. This is an open-access article distributed under the terms of theCreative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in anymedium, provided the original author and source are credited.
Funding: The Meta-Research Innovation Center at Stanford is funded by the Laura and John ArnoldFoundation. The funders had no role in the decision to publish or in the preparation of the manuscript.
Competing Interests: JPAI is a member of the Editorial Board of PLOS Medicine. The author has declared thatno competing interests exist.
* E-mail: [email protected]
Provenance: Commissioned; externally peer reviewed
Summary Points
N Currently, many published research findings are false or exaggerated, and anestimated 85% of research resources are wasted.
N To make more published research true, practices that have improved credibilityand efficiency in specific fields may be transplanted to others which wouldbenefit from them—possibilities include the adoption of large-scale collabo-rative research; replication culture; registration; sharing; reproducibilitypractices; better statistical methods; standardization of definitions and analyses;more appropriate (usually more stringent) statistical thresholds; and improve-ment in study design standards, peer review, reporting and dissemination ofresearch, and training of the scientific workforce.
N Selection of interventions to improve research practices requires rigorousexamination and experimental testing whenever feasible.
N Optimal interventions need to understand and harness the motives of variousstakeholders who operate in scientific research and who differ on the extent towhich they are interested in promoting publishable, fundable, translatable, orprofitable results.
N Modifications need to be made in the reward system for science, affecting theexchange rates for currencies (e.g., publications and grants) and purchasedacademic goods (e.g., promotion and other academic or administrative power)and introducing currencies that are better aligned with translatable andreproducible research.
PLOS Medicine | www.plosmedicine.org 1 October 2014 | Volume 11 | Issue 10 | e1001747
Conclusion
Unlongcheminresteàfaire
Peut-onévaluerlesINM?OUI
Commentlesévaluer?ENCONSTRUISANTENSEMBLE
ilenvadel’amélioraNondespraNquesetdesusages(comparabilité,complémentarité)
enaval(+)etenamont(+++)comptetenudelaprofondemutaNondenotresystèmedesanté
Doit-onlesévaluer?OUI
unparadigmestandardisé(nécessairementdifférentdeceluidumédicament)
Pourconclure
Envousremerciantdevotreaien$on
"preemptdiseasebeforeitoccurs,u1lizingthepar=cipa=onofindividuals,communi1es,andhealthcareprovidersinaproac1vefashion,asearlyaspossible,andthroughoutthenaturalcycleofadiseaseprocess”(EliasZerhouni,DirecteurNIH,2008)
Plateformeméthodologiqued’évaluaNondesINMUniversitésdeMontpellier,France
www.CEPSpla;orm.eu
www.blogensante.fr
BlogprésentantdesétudesintervenNonnellessurlesINM