III. Développer une critique des données existantes

A. Critères de sélection

A ce stade, vous disposez des articles complets.

On va procéder à une analyse détaillée de chaque article afin de déterminer son intérêt.

On va regarder :

  • Le titre et le résumé.
  • Les auteurs.
  • La revue :
    • Impact factor
    • Présence d’un comité de lecture
    • Rang de classement au sein de la discipline
  • L’article :
    • Type de publication : article originale, méta-analyse…
    • Type d’étude : validité interne/externe
    • Niveau de preuve

1. Classification des revues : la dictature de l’Impact Factor

Le facteur d’impact est un calcul qui estime indirectement la visibilité/notoriété d’une revue scientifique.

Quel intérêt ?

Initialement, c’était un ratio pour isoler des revues centrales dans un domaine.

Son but était :

  • Pour les bibliothécaires : identifier les revues majeures d’un domaine pour s’abonner
  • Pour les chercheurs : chercher les informations dans les revues pertinentes
  • Pour les responsables des politiques scientifiques : repérer les domaines émergents.

Son but premier était de repérer les domaines scientifiques d’intérêt, aujourd’hui, il sert plus à évaluer les chercheurs et les unités de recherche.

Son référencement :

Il est calculé à partir d’une base de donnée répertoriant près de 3000 revues de 55 disciplines : « Science Citation Index ».

Ils sont indexés dans le Journal Citation Reports (JRC) et publiés par Thomson Scientific tous les ans au mois de juin.

Sans titreOn peut le trouver sur le site de Web of Science ou directement sur le site du journal.

a. Comment le calculer ?

Il se calcule par le nombre de citations des articles de la revue sur le nombre d’articles publiés par la revue, sur une période de 2 ans.

IF de 2016 = A/B

A : Nombre de fois où les articles publiés en 2014-2015, ont été cité dans des revues indexé, en 2016.

B : Nombre d’articles « citables » publiés par ce journal en 2014-2015.

Par exemple : un journal d’IF de 3 en 2016 signifie que ses articles publiés en 2014 -2015 ont été cités en moyenne 3 fois en 2016.

b. Avantages et limites

Bien qu’il soit très régulièrement critiqué  , il reste l’indicateur le plus utilisé pour classer les revues.

  • Avantage :
    • Facilité d’utilisation et de calcul.
  • Inconvénient :
    • Biais linguistique: les revues non-anglophones étant moins bien répertoriées, elles ne bénéficient pas ou peu d’un facteur d’impact, même quand elles sont internationalement reconnues.
    • Qualité et fiabilité du Science Citation Index : l’automatisation de cette base et le data mining (exploration de données) peut entrainer des erreurs et des biais.
    • Manque de fiabilité mathématique de l’algorithme de calcul de l’IF .
    • Quelques articles très cités d’un journal peut augmenter grandement son IF.
      • Par ex : en 2009, Acta Crystallographica A, avait une IF sur 4 ans de 2.38 et un IF sur 2 ans de 49.93 
    • La définition du « nombre d’articles citables » dans le dénominateur de la formule est flou pouvant entraîner une négociation entre les journaux et Thomson .
      • Par ex : Nature, le NEJM, The Lancet publié des textes (lettre, errata…) qui sont comptabilisés dans le numérateur (le A sur l’équation) mais pas le dénominateur (le B).
    • Influence de critères non scientifiques .
      • Sera plus souvent cité un article à la mode, un article bien présenté, un article d’accès gratuit…
    • La fenêtre temporelle de 2 ans est parfois trop courte. Elle avantage les sciences se développement rapidement comme la médecine mais désavantage les disciplines nécessitant plus de temps comme par exemple les journaux de pédagogie .
    • La nature d’un domaine scientifique car il dépend de la taille de sa communauté.
      • Par ex : les revues d’épidémiologie seront moins citées que les revues médicales généraliste (Journal of Clinical Epidemiology vs The Lancet).
    • Le facteur d’impact augmente avec le prestige de la revue, qui peut être artificiellement augmenté par une politique éditoriale adéquate et ses moyens en termes de publicité.
    • Il est manipulable :
      • En 2008, un article de Acta Crystallograhica A incluait la phrase « Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d’un cristal. » Il reçu plus de 6 600 citations. Son IF augmenta de 2,051 en 2008 à 49,926 en 2009, soit plus que Nature (31,434) et Science (28,103).
    • Double citation pour un journal traduit en 2 langues.
      • Un journal allemand Angewandte Chemie traduit en anglais et allemand était cité dans ces 2 langues entraînant une augmentation de son IF de 15% .
    • Incitation à l’auto-citation: c’est la pratique d’éditeurs qui forcent un auteur à ajouter des auto-citations de sa revue pour accepter la publication de son article, ce qui permet d’augmenter artificiellement le FI.
      • En 2007, la revue spécialisée Folia Phoniatrica et Logopaedica, avec un FI de 0.66, publia un éditorial qui citait tous ses articles de 2005 à 2006, en protestation contre l’IF . Il passa à 1.44 d’IF et fut désindexé en 2008 et 2009 par CJR.
    • Alliance des revues et intercitation : les revues vont s’auto citer entres-elles. Elles sont identifiées comme des « cartels de revues » par Web of Science et peuvent être bannies temporairement de l’indexation.

 

© 1cartoonbank.com. All Rights Reserved

© 1cartoonbank.com. All Rights Reserved

c. Alternative ?

  • Nouveaux algorithmes
    • Eigen factor score : Il tente d’estimer l’importance d’un journal pour pour une communauté scientifique donnée, en regardant notamment les journaux qui vont le citer. Une même citation n’aura pas le même poids en fonction de l’importance du journal qui va la citer.
    • SCImago Journal Rank (SJR) : algorithme très similaire à l’Eigen factor utilisé par Scopus
    • L’indice H (Hirsch) : cet indice essaie de quantifier la qualité et la quantité de publication d’un chercheur en fonction du nombre de fois où il a été cité, et non pas d’une revue scientifique. Il peut être calculer par l’utilisateur.
    • Les almetrics.
  • Nouvelles bases de données
    • Scopus (Elsevier) : base de données alternative du Web of Science incluant plus de données sur les sciences humaines et sociale ainsi que les journaux non anglophones.
    • Google Scholar : indexation large d’articles scientifiques : journaux (avec ou sans comité de lecture), thèses, livres…

Tableau résumé  :

Base de donnée Web of Science Scopus
Nom de l’algorithme Eigen factor SJR
Editeur ISI Elsevier
Usage Complémentaire de l’IF Unique mesure

eigen factorsjrScopusGoogle_Scholar_logo_2015

2. Classification des études :

a. Les almetrics : nouvel outils d’évaluation numérique 

A l’ère du numérique, de nouveaux outils de mesure sont développés. Ils portent sur des articles (Article level metrics ) et non pas sur la revue ni sur l’auteur.

Que mesurent-ils ?

Ils mesurent l’audience, l’attention et l’usage en comptant le nombre de téléchargement, le nombre de vue d’une page html, le nombre like sur facebook, le nombre de retweet…

Elle introduit la notion de post publication peer-review.

Au lieu d’être évalué ex ante, avant la publication par des pairs (les producteurs et lecteurs d’articles), l’évaluation se fait ex post par un autre cercle de pairs, à savoir les chercheurs, les étudiants, des journalistes…

Malgré de nombreuses critiques quant à sa fiabilité, d’importante revues comme le NEJM commencent à les utiliser.

almetrics

b. Niveau de preuve HAS

En France, une classification des types d’articles a été établie en 2000 par l’HAS (ex-ANAES).

Cette grille permet de classer les articles en fonction de leur niveau de preuve et leur grade de recommandation.

niveau HAS

Différentes grilles existent pour déterminer le niveau de preuve d’un article :

  • Aux Etat Unis, c’est l’US Preventive Services Task Force qui l’a élaboré.
  • Le GRADE working group (The Grading of Recommendations Assessment, Development and Evaluation) adopté par de nombreuses organisations internationales…

Pour aller plus loin, un guide a été publié par la HAS en 2013 analysant les principales grilles internationales.

c. Grilles d’analyse internationales

Le site internet d’Equator Network met à disposition des grilles d’évaluation internationale pour chaque type d’étude. Ces grilles sont en anglais mais une version français non officielle a été publiée .

Chaque grille évalue la qualité d’un article :

Des recommandations sont aussi disponibles pour l’écriture de l’article :

  • Du protocole standard pour essai clinique, études expérimentales et protocoles diverses : SPIRIT (français)
  • De l’analyse statistique : SAMPL (français)

equator network

B. Lire la littérature anglophone

La majorité de la recherche médicale est écrite en anglais. Il est indispensable pour un chercheur de maîtriser l’anglais que ce soit pour lire, écrire, communiquer ou publier.

Il existe certaines revues anglophones traduite en français mais elles sont rares.

1. Glossaire de la BDSP

La BDSP (Banque de Donnée de Santé Publique) a élaboré un glossaire multilingue (anglais, français, espagnol et allemand) à l’initiative de l’Union Européenne. Il comprend des définitions et des traductions des termes utilisés en santé publique.

Utilisez-le pour traduire les termes techniques que vous ne maitrisez pas.

2. Traduction

Voici quelques conseils pour vos traductions :

  • Utilisez des outils de traduction accessible gratuitement en ligne ( reverso, Google translate, linguee…)
  • Inspirez vous de la grammaire utilisée dans les articles anglophones précédemment sélectionnés pour votre recherche.
  • « Appel à un ami » : on a souvent dans notre entourage professionnel des confrères ayant une expertise ou ayant déjà traduit des articles.

1.
Maisonneuve H. NEJM se met à la mode des ’Metrics’ ! Que mesure-t-on ? C’est un leurre pour doyens et CNU ! [Internet]. Rédaction Médicale et Scientifique. [cited 2016 Mar 19]. Available from: http://www.h2mw.eu/redactionmedicale/2016/03/le-nejm-se-met-%C3%A0-la-mode-des-metrics-comme-tous-les-concurrents-mais-que-mesure-t-on-exactement-.html
1.
Mooc SciNum. Panorama de l’évaluation scientifique et de ses évolutions : le développement des altmetrics S6 [Internet]. 2015 [cited 2016 Mar 19]. Available from: https://www.youtube.com/watch?v=5Fpfb-jWPPU&list=PLp_ugSUC6I1pR1VUBhBkVPFRugrLL_deA&index=2
1.
Mooc SciNum. Panorama de l’évaluation scientifique et de ses évolutions : du facteur d’impact au h-index S6 [Internet]. 2015 [cited 2016 Mar 19]. Available from: https://www.youtube.com/watch?v=byRK3GusJyY&list=PLp_ugSUC6I1pR1VUBhBkVPFRugrLL_deA&index=1
1.
Adler R, Ewing J, Taylor P, others. Citation statistics. Statistical Science [Internet]. 2009 [cited 2016 Mar 19];24(1):1. Available from: http://www.ams.org/ewing/Documents/CitationStatistics-FINAL-1.pdf
1.
Moed HF, Van Leeuwen ThN, Reedijk J. A critical analysis of the journal impact factors of Angewandte Chemie and the journal of the American Chemical Society inaccuracies in published impact factors based on overall citations only. Scientometrics [Internet]. 1996 [cited 2016 Feb 29];37(1):105–16. Available from: http://link.springer.com/10.1007/BF02093487
1.
Schutte HK, Svec JG. Reaction of Folia Phoniatrica et Logopaedica on the Current Trend of Impact Factor Measures. Folia Phoniatrica et Logopaedica [Internet]. 2007 [cited 2016 Feb 29];59(6):281–5. Available from: http://www.karger.com/doi/10.1159/000108334
1.
Togia A, Tsigilis N. Impact factor and education journals: a critical examination and analysis. International Journal of Educational Research [Internet]. 2006 [cited 2016 Feb 29];45(6):362–79. Available from: http://linkinghub.elsevier.com/retrieve/pii/S088303550700016X
1.
Bornmann L, Daniel H. What do citation counts measure? A review of studies on citing behavior. Journal of Documentation [Internet]. 2008 Jan 18 [cited 2016 Feb 29];64(1):45–80. Available from: http://www.emeraldinsight.com/doi/abs/10.1108/00220410810844150
1.
Rossner M, Van Epps H, Hill E. Show me the data. The Journal of Cell Biology [Internet]. 2007 Dec 17 [cited 2016 Feb 29];179(6):1091–2. Available from: http://www.jcb.org/lookup/doi/10.1083/jcb.200711140
1.
Dimitrov JD, Kaveri SV, Bayry J. Metrics: journal’s impact factor skewed by a single paper. Nature [Internet]. 2010 Jul 8 [cited 2016 Feb 29];466(7303):179–179. Available from: http://www.nature.com/doifinder/10.1038/466179b
1.
Bornmann L, Marx W, Gasparyan AY, Kitas GD. Diversity, value and limitations of the journal impact factor and alternative metrics. Rheumatology International [Internet]. 2012 [cited 2016 Feb 29];32(7):1861–7. Available from: http://link.springer.com/10.1007/s00296-011-2276-1