bibliométrie : panorama, critiques, perspectives
DESCRIPTION
Formation à la bibliométrie donnée dans le cadre des Journées de l'École doctorale STS - Université de la RéunionTRANSCRIPT
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales1
Bibliométrie : panorama,
critiques, perspectives
Bibliométrie : panorama,
critiques, perspectives
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales2
En 3 mots,
que vous évoque
le terme
« Bibliométrie » ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales3
➔ Définition des concepts
➔ Panorama des indicateurs
➔ Les nouvelles formes de bibliométrie et d'évaluation de la recherche
sommaire de la formation
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales4
la bibliométrie : définition
« méthode d’analyse quantitative de
l’activité de recherche, applicable à toutes
les entités de recherche (individus, équipes,
établissement, pays) pour mesurer le niveau
de production scientifique et son impact »
Comité national d'évaluation de la recherche (CNER)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales5
à l'origine
Derek John de Solla Price dans
Little Science, Big Science
(1963) analyse le récent système
de communication scientifique et
jette les fondations des
techniques d’évaluation de la
recherche moderne
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales7
à l'origine
Eugene Garfield, fondateur de
l'Institute of Scientific
Information (ISI) a placé la
citation d'article au fondement
de la construction d'indicateurs
bibliométriques
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales8
Quel est le point
commun entre H-Index,
Journal Impact Factor et
le classement de
Shangaï ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales9
citation d'article
Toute la bibliométrie est basée sur l’analyse
des citations, i.e. sur les indications
bibliographiques des « Références » ou
« Bibliographie » des articles
Qui recense ?
À partir de quelle source ?
Avec quelle méthodologie ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales10
citation d'article
« Citations are signposts left behind after
information has been utilized »
L. C. Smith
« frozen footprints in the landscape of
scholarly achievement which bear witness of
the passage of ideas »
B. Cronin
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales11
citation d'article
1ère étape Collecte
travail colossal impossible à mener à
bien de manière exhaustive
2ème étapeConstruction
définir la formule mathématique qui
permet une évaluation chiffrée à partir des
données brutes
Pratiques de citation et de publication très variables d’une discipline à l’autre
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales12
critiquer les sources de citations
L’analyse bibliométrique se base sur de
larges bases de données
bibliographiques qui doivent être
évaluées au regard de leur couverture,
leurs fonctionnalités, leur disponibilité
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales13
la couverture des bases
➔ Type de documents
➔ Antériorité
➔ Domaines de recherche couverts
➔ Variété linguistique
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales15
Web of Science
1ère et principale base de données bibliographiques pour la production d'indicateurs bibliométriques
Fondé dans les 60's, 12 000 revues indexées en 2014,
antériorité jusqu'à 1900
Sujet de nombreuses critiques en raison de sa position historique sur le
marché
3 index de citations : Science Citation Index, Social Science Citation Index et Art & Humanities Citation Index
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales16
Web of Science
➔ couverture très variable en fonction des champs de recherche
➔ limité aux citations des revues, prend mal ou pas en compte les citations d’autres sources (livres, actes de conférence, etc.)
➔ Biais américain : couvre principalement Amérique du nord, Europe occidentale et en langue anglaise (98% des articles)
➔ base payante et coûteuse
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales17
SCOPUS
Principal challenger de Web of Science
Fondé dans les années 2000, 21 000 revues indexées, antériorité jusqu'à 1995
Géographiquement, plus diversifié
Plus varié dans les supports indexés (livres, collections, conférences)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales18
Google Scholar
Lancé en 2004, avec pour objectif un couverture très large
Imprécision voire fantaisie des résultats démontrée
Ressource gratuite
Sources indexées confidentielles
Services aux utilisateurs : identification des auteurs et indicateurs bibliométriques personnalisés
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales19
Google Scholar
Lancé en 2004, avec pour objectif un couverture très large
Imprécision voire fantaisie des résultats démontrée
Ressource gratuite
Sources indexées confidentielles : bases des revues + archives ouvertes ?
Services aux utilisateurs : identification des auteurs et indicateurs bibliométriques personnalisés
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales20
Les limites des bases
➔ Les corpus peuvent favoriser un champs disciplinaire au détriment d'un autre
➔ Identification des auteurs et des revues
➔ Difficulté d'attribution
➔ Comment compter quand plusieurs versions d'un même document sont en ligne ?
➔ Les bases sont plus complémentaires que concurrentes
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales21
Le bon indicateur
➔ Adéquation avec l’objetla mesure est-elle appropriée à l’objet évalué?
➔ Homogénéité dans la mesurele mélange d'indicateurs est-il fiable ?
➔ Respect de l’inertie propre à l’objetprendre le temps de mesurer le changement
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales22
Journal Impact Factor (jif)
jif(N) = A / Boù A = nombre de citations pendant
l'année N des articles parus les années N-1 et
N-2
où B = nombre
d'articles citables parus
pendant les années N-1
et N-2
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales23
Critiquer l'Impact factor
➔ N (années de référence)Rien ne prouve l'intérêt d'une fenêtre de 2 ansLe pic de citation est souvent plus long
➔ A (nombre de citations)Les auto-citations sont comptabiliséesPratiques de citations différentes entre lesdisciplines
➔ B (nombre d'articles)Variable selon la périodicité, le nombre d'articles par numéro
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales24
Critiquer l'Impact factor
➔ Compte tenu de la marge d'erreur, les décimales du jif ne sont pas significatives
➔ Le jif d'une revue peut être porté par quelques articles
➔ Le jif ne distingue pas les revues populaires des revues prestigieuses
➔ Le jif est-il le bon indicateur pour mesurer l'impact d'une revue ? D'une article ?
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales25
Alternatives au jif
➔ Refuser la tyrannie du jif comme le Research Excellence Framework britanniqueaucun comité britannique ne prendra en compte l’IF d’un journal scientifique pour déterminer la qualité d’un résultat
de recherche soumis à évaluation
➔ Compléter le jif par de nouveaux indicateurs complémentaires
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales26
Alternatives au jif
Y-factor
Combine le facteur d'impact et le PageRank
pour déterminer la qualité d'une citation et
pour classer les revues qui présentent un jif et
un PageRank élevé
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales27
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales28
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales29
Alternatives au jif
Eigenfactor
Ratio de citations reçues par l’ensemble
des articles de la revue au cours des 5
dernières années sur le total de citations
reçues par l’ensemble des articles des
revues enregistrées dans le JCR sur la
même période.
Intègre dans son calcul le prestige des
revues citantes.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales32
Indicateur au niveau de l'articleIl existe une corrélation entre nombre de téléchargements d'un article et nombre de citations même si elle varie d'une discipline à l'autre
Mais :
➔ difficile à établir pour un auteur donné
➔ ne prend pas en compte les nouveaux modes de diffusion (page perso, archive ouverte, réseaux sociaux)
➔ valorisation des articles les plus téléchargés favorise mécaniquement ces articles
➔ fiabilité relative : calculés par les éditeurs eux-mêmes,
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales33
H-Index
Le H-Index d'un chercheur est le plus grand nombre H de
publications tel que chaque article a reçu au moins H citations
➔ Créé par Jorge E. Hirsch (Université de Californie à San Diego) en 2005
➔ Tentative de résumer à la fois la productivité et l’impact d’un chercheur
➔ Favorise les chercheurs qui publient un flux continu de papiers influents
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales34
H-IndexCalculer le H-Index
Classer tous les articles d'un chercheur par ordre décroissant de citation
Quand le rang de l'article est supérieur aux nombres de citations, alors le rang précédent équivaut au H-Index
Rang Article Citations1 Art D 46
2 Art B 40
3 Art G 21
4 Art A 15
5 Art C 10
6 Art F 7
7 Art E 3
8 Art H 2
9 Art I 0
Dans l'exemple ci-dessus, le H-Index est de 6.
Le rang dépasse le nombre de citations à l'article E (7>3). Le rang précédent est donc le H-
Index
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales35
Critiques du H-Index (1)➔ Désavantage les jeunes chercheurs tant
que leur nombre de publications et de citations seront faibles
➔ Ne prend pas en compte le nombre de co‑auteurs de la publi et leur position relative
➔ Indicateur fortement dépendant de la discipline
➔ Désavantage beaucoup les corpus d'articles petits mais très fortement cités
➔ Autorise les chercheurs à se reposer sur leurs lauriers
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales36
Critiques du H-Index (2)➔ Ne prend pas en compte les citations
négatives
➔ Ignore la contribution de l’auteur dans le papier
➔ Dépend de la base de données bibliographiques utilisée
➔ Ne fonctionne qu’avec les articles, pas avec les brevets, les billets de blog ou les livres
➔ Ne prend pas en compte l’influence sur les politiques publiques
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales37
Corriger le H-Index➔ Diviser l’index par l’âge académique de
l’auteur
➔ Pondérer chaque article cité par l’âge relatif de l’article, donnant moins de poids aux articles les plus vieux
➔ Ajuster l’index par le nombre moyen d’auteurs dans les H publications
➔ G-Index (Egghe) : plus grand nombre d’articles pour lesquels il est vrai de dire que l’ensemble des G articles ont reçu au moins G² citations
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales39
Altérer les indicateurs➔ Saucissonnage : découper ses travaux en plusieurs
articles ne contenant qu’un élément important de la recherche
➔ Auto-citation ou erreur de citation
➔ frein à la prise de risques : orienter les jeunes chercheurs vers les domaines où les résultats s’obtiennent plus rapidement
➔ Effet de halo : citer les références ou chercheurs qu’on estime les plus importants
➔ citations secondaires : omettre les articles de base et ne citer que les résultats les plus récents
➔ Citation négative : les mentionner ou les éviter
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales40
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique
Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL
Elles sont calculées essentiellement au niveau de l'article
Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales41
Altmetrics : mesurer autrement
➔ Usages : pages HTML vue, téléchargements PDF/XML
➔ Marque-page : Delicious, CiteULike, Scoop.it
➔ Mentions : billet de blog, actualité, commentaire, article Wikipédia, review
➔ Réseaux sociaux : Twitter, Facebook, Google+, partage, ratings
➔ Citations : Web of Science, Google Scholar, Scopus, Pubmed Central
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales42
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique
Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL
Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales43
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique
Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL
Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales44
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique
Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL
Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales45
Altmetrics : mesurer autrement
L’altmétrie est l’étude et l’usage des mesures d’impact académique basée sur l’activité sur les outils et l’environnement numérique
Les altmétriques se basent sur les partages, recommandations, réutilisations de documents identifiés par un DOI ou une URL
Produites par différentes sociétés et éditeurs : PLOS, ImpactStory, ReadMeter, Altmetrics.org, etc.
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales46
Critique des altmetrics
Les altmétriques mesurent l'impact des articles en dehors des espaces scientifiques
➔ Risque d’achat d’espace d’exposition pour truquer les indicateurs
➔ Mauvaise interprétation des résultats, innocente ou délibérée
➔ Sujets racoleurs : sexe, drogues, crime, jeu vidéo, chocolat
➔ « Les altmétriques sont produites par et pour des gens qui ne comprennent pas la recherche »
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales47
L'évaluation par les pairs
Système apparue dans les années 40 pour Science et JAMA, 1967 pour Nature
Double blindévaluateurs et auteurs sont anonymes
Single blindles évaluateurs anonymes mais
auteur(s) connu(s)
1 ou plus rarement 2 navettes entre évaluateurs, éditeurs et auteurs
Rapport de lecture visible uniquement par les auteurs et l'éditeur
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales48
Évaluation alternative
➔ Révéler les noms des évaluateurs et l’historique de la pré-publication (comme le BMJ en 1999-2000)
➔ Transformer la soumission en Discussion Paper archivé avec tous les commentaires et critiques avant acceptation (Atmospheric Chemistry and Physics)
➔ Divulguer les évaluateurs et publier les rapports de lecture (Biology Direct, EMBO journals, BMJ Open entre 2006-2011)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales49
Faculty of 1000
F1000 Prime : système d'évaluation alternatif lancé en 2002 pour la biologie et en 2006 pour la médecine
Diversification vers l'édition scientifique avec F1000 Research et F1000 Posters
Des chercheurs reconnus évaluent et notent des articles récemment lus dans leur domaine selon des critères précis (changes clinical practice, confirmation, controversial, good for teaching, interesting hypothesis, new finding, novel drug target, refutations)
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales51
Scienceneedstime
Slow Science Manifesto
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales52
Slow Science
La Slow Science part du constat des dérives de la Fast Science
1990 : Eugene Garfield est l’un des premiers à en parler dans “Fast Science vs Slow Science”
2006 : Article de la biochimiste australienne Lisa Alleva dans Nature
2010 : apparition d'une Slow Science Academy (Berlin) et d'un manifeste
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales53
Slow Science
Basé sur le mouvement Slow food, la Slow Science engage à prendre du temps pour ne pas précipiter les résultats et vérifier les travaux de tiers
Les défenseurs de la Slow Science préconisent de repenser l’évaluation de la recherche, de mieux informer le public de la réalité de la recherche (temps et financement longs)
Ils militent également pour une autre rapport au travail de recherche fondé sur le plaisir
31 mars 2015
Bibliométrie et évaluation de la recherche – Formation Écoles doctorales54
Des questions ? Plus d'informations [email protected]
Merci de votre attention
Crédits photo : Scientists: Are we producing too many? / MaRS Discovery District / CC by-nc-saSignpost / Anthony / CC by-sa