III. Développer une critique des données existantes

A. Critères de sélection

A ce stade, vous disposez des articles complets.

On va procéder à une analyse détaillée de chaque article afin de déterminer son intérêt.

On va regarder :

Le titre et le résumé.
Les auteurs.
La revue :
- Impact factor
- Présence d’un comité de lecture
- Rang de classement au sein de la discipline
L’article :
- Type de publication : article originale, méta-analyse…
- Type d’étude : validité interne/externe
- Niveau de preuve

1. Classification des revues : la dictature de l’Impact Factor

Le facteur d’impact est un calcul qui estime indirectement la visibilité/notoriété d’une revue scientifique.

Quel intérêt ?

Initialement, c’était un ratio pour isoler des revues centrales dans un domaine.

Son but était :

Pour les bibliothécaires : identifier les revues majeures d’un domaine pour s’abonner
Pour les chercheurs : chercher les informations dans les revues pertinentes
Pour les responsables des politiques scientifiques : repérer les domaines émergents.

Son but premier était de repérer les domaines scientifiques d’intérêt, aujourd’hui, il sert plus à évaluer les chercheurs et les unités de recherche.

Son référencement :

Il est calculé à partir d’une base de donnée répertoriant près de 3000 revues de 55 disciplines : « Science Citation Index ».

Ils sont indexés dans le Journal Citation Reports (JRC) et publiés par Thomson Scientific tous les ans au mois de juin.

On peut le trouver sur le site de Web of Science ou directement sur le site du journal.

a. Comment le calculer ?

Il se calcule par le nombre de citations des articles de la revue sur le nombre d’articles publiés par la revue, sur une période de 2 ans.

IF de 2016 = A/B

A : Nombre de fois où les articles publiés en 2014-2015, ont été cité dans des revues indexé, en 2016.

B : Nombre d’articles « citables » publiés par ce journal en 2014-2015.

Par exemple : un journal d’IF de 3 en 2016 signifie que ses articles publiés en 2014 -2015 ont été cités en moyenne 3 fois en 2016.

b. Avantages et limites

Bien qu’il soit très régulièrement critiqué , il reste l’indicateur le plus utilisé pour classer les revues.

Avantage :
- Facilité d’utilisation et de calcul.

Inconvénient :
- Biais linguistique: les revues non-anglophones étant moins bien répertoriées, elles ne bénéficient pas ou peu d’un facteur d’impact, même quand elles sont internationalement reconnues.
- Qualité et fiabilité du Science Citation Index : l’automatisation de cette base et le data mining (exploration de données) peut entrainer des erreurs et des biais.
- Manque de fiabilité mathématique de l’algorithme de calcul de l’IF .
- Quelques articles très cités d’un journal peut augmenter grandement son IF.
  - Par ex : en 2009, Acta Crystallographica A, avait une IF sur 4 ans de 2.38 et un IF sur 2 ans de 49.93
- La définition du « nombre d’articles citables » dans le dénominateur de la formule est flou pouvant entraîner une négociation entre les journaux et Thomson .
  - Par ex : Nature, le NEJM, The Lancet publié des textes (lettre, errata…) qui sont comptabilisés dans le numérateur (le A sur l’équation) mais pas le dénominateur (le B).
- Influence de critères non scientifiques .
  - Sera plus souvent cité un article à la mode, un article bien présenté, un article d’accès gratuit…
- La fenêtre temporelle de 2 ans est parfois trop courte. Elle avantage les sciences se développement rapidement comme la médecine mais désavantage les disciplines nécessitant plus de temps comme par exemple les journaux de pédagogie .
- La nature d’un domaine scientifique car il dépend de la taille de sa communauté.
  - Par ex : les revues d’épidémiologie seront moins citées que les revues médicales généraliste (Journal of Clinical Epidemiology vs The Lancet).
- Le facteur d’impact augmente avec le prestige de la revue, qui peut être artificiellement augmenté par une politique éditoriale adéquate et ses moyens en termes de publicité.
- Il est manipulable :
  - En 2008, un article de Acta Crystallograhica A incluait la phrase « Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d’un cristal. » Il reçu plus de 6 600 citations. Son IF augmenta de 2,051 en 2008 à 49,926 en 2009, soit plus que Nature (31,434) et Science (28,103).
- Double citation pour un journal traduit en 2 langues.
  - Un journal allemand Angewandte Chemie traduit en anglais et allemand était cité dans ces 2 langues entraînant une augmentation de son IF de 15% .
- Incitation à l’auto-citation: c’est la pratique d’éditeurs qui forcent un auteur à ajouter des auto-citations de sa revue pour accepter la publication de son article, ce qui permet d’augmenter artificiellement le FI.
  - En 2007, la revue spécialisée Folia Phoniatrica et Logopaedica, avec un FI de 0.66, publia un éditorial qui citait tous ses articles de 2005 à 2006, en protestation contre l’IF . Il passa à 1.44 d’IF et fut désindexé en 2008 et 2009 par CJR.
- Alliance des revues et intercitation : les revues vont s’auto citer entres-elles. Elles sont identifiées comme des « cartels de revues » par Web of Science et peuvent être bannies temporairement de l’indexation.

c. Alternative ?

Nouveaux algorithmes
- Eigen factor score : Il tente d’estimer l’importance d’un journal pour pour une communauté scientifique donnée, en regardant notamment les journaux qui vont le citer. Une même citation n’aura pas le même poids en fonction de l’importance du journal qui va la citer.
- SCImago Journal Rank (SJR) : algorithme très similaire à l’Eigen factor utilisé par Scopus
- L’indice H (Hirsch) : cet indice essaie de quantifier la qualité et la quantité de publication d’un chercheur en fonction du nombre de fois où il a été cité, et non pas d’une revue scientifique. Il peut être calculer par l’utilisateur.
- Les almetrics.
Nouvelles bases de données
- Scopus (Elsevier) : base de données alternative du Web of Science incluant plus de données sur les sciences humaines et sociale ainsi que les journaux non anglophones.
- Google Scholar : indexation large d’articles scientifiques : journaux (avec ou sans comité de lecture), thèses, livres…

Tableau résumé :

Base de donnée	Web of Science	Scopus
Nom de l’algorithme	Eigen factor	SJR
Editeur	ISI	Elsevier
Usage	Complémentaire de l’IF	Unique mesure

sjr Scopus

2. Classification des études :

a. Les almetrics : nouvel outils d’évaluation numérique

A l’ère du numérique, de nouveaux outils de mesure sont développés. Ils portent sur des articles (Article level metrics ) et non pas sur la revue ni sur l’auteur.

Que mesurent-ils ?

Ils mesurent l’audience, l’attention et l’usage en comptant le nombre de téléchargement, le nombre de vue d’une page html, le nombre like sur facebook, le nombre de retweet…

Elle introduit la notion de post publication peer-review.

Au lieu d’être évalué ex ante, avant la publication par des pairs (les producteurs et lecteurs d’articles), l’évaluation se fait ex post par un autre cercle de pairs, à savoir les chercheurs, les étudiants, des journalistes…

Malgré de nombreuses critiques quant à sa fiabilité, d’importante revues comme le NEJM commencent à les utiliser.

b. Niveau de preuve HAS

En France, une classification des types d’articles a été établie en 2000 par l’HAS (ex-ANAES).

Cette grille permet de classer les articles en fonction de leur niveau de preuve et leur grade de recommandation.

Différentes grilles existent pour déterminer le niveau de preuve d’un article :

Aux Etat Unis, c’est l’US Preventive Services Task Force qui l’a élaboré.
Le GRADE working group (The Grading of Recommendations Assessment, Development and Evaluation) adopté par de nombreuses organisations internationales…

Pour aller plus loin, un guide a été publié par la HAS en 2013 analysant les principales grilles internationales.

c. Grilles d’analyse internationales

Le site internet d’Equator Network met à disposition des grilles d’évaluation internationale pour chaque type d’étude. Ces grilles sont en anglais mais une version français non officielle a été publiée .

Chaque grille évalue la qualité d’un article :

Essai contrôlé randomisé : CONSORT (français )
Essai observationnel (cohorte, cas-témoin, transversale) : STROBE (français)
Revue systématique (et méta analyse) : PRISMA (français)
Case report : CARE (français)
Etude diagnostique ou pronostique : STARD (français)
Médico-économique : CHEERS
Recherche qualitative (entretien individuel et focus group) : COREQ (français) ou SRQR
Synthèse de recherche qualitative : ENTREQ (français)
Qualité et sécurité des soins : SQUIRE (français)

Des recommandations sont aussi disponibles pour l’écriture de l’article :

Du protocole standard pour essai clinique, études expérimentales et protocoles diverses : SPIRIT (français)
De l’analyse statistique : SAMPL (français)

B. Lire la littérature anglophone

La majorité de la recherche médicale est écrite en anglais. Il est indispensable pour un chercheur de maîtriser l’anglais que ce soit pour lire, écrire, communiquer ou publier.

Il existe certaines revues anglophones traduite en français mais elles sont rares.

1. Glossaire de la BDSP

La BDSP (Banque de Donnée de Santé Publique) a élaboré un glossaire multilingue (anglais, français, espagnol et allemand) à l’initiative de l’Union Européenne. Il comprend des définitions et des traductions des termes utilisés en santé publique.

Utilisez-le pour traduire les termes techniques que vous ne maitrisez pas.

2. Traduction

Voici quelques conseils pour vos traductions :

Utilisez des outils de traduction accessible gratuitement en ligne ( reverso, Google translate, linguee…)
Inspirez vous de la grammaire utilisée dans les articles anglophones précédemment sélectionnés pour votre recherche.
« Appel à un ami » : on a souvent dans notre entourage professionnel des confrères ayant une expertise ou ayant déjà traduit des articles.