III. Développer une critique des données existantes

A. Critères de sélection

A ce stade, vous disposez des articles complets.

On va procéder à une analyse détaillée de chaque article afin de déterminer son intérêt.

On va regarder :

  • Le titre et le résumé.
  • Les auteurs.
  • La revue :
    • Impact factor
    • Présence d’un comité de lecture
    • Rang de classement au sein de la discipline
  • L’article :
    • Type de publication : article originale, méta-analyse…
    • Type d’étude : validité interne/externe
    • Niveau de preuve

1. Classification des revues : la dictature de l’Impact Factor

Le facteur d’impact est un calcul qui estime indirectement la visibilité/notoriété d’une revue scientifique.

Quel intérêt ?

Initialement, c’était un ratio pour isoler des revues centrales dans un domaine.

Son but était :

  • Pour les bibliothécaires : identifier les revues majeures d’un domaine pour s’abonner
  • Pour les chercheurs : chercher les informations dans les revues pertinentes
  • Pour les responsables des politiques scientifiques : repérer les domaines émergents.

Son but premier était de repérer les domaines scientifiques d’intérêt, aujourd’hui, il sert plus à évaluer les chercheurs et les unités de recherche.

Son référencement :

Il est calculé à partir d’une base de donnée répertoriant près de 3000 revues de 55 disciplines : « Science Citation Index ».

Ils sont indexés dans le Journal Citation Reports (JRC) et publiés par Thomson Scientific tous les ans au mois de juin.

Sans titreOn peut le trouver sur le site de Web of Science ou directement sur le site du journal.

a. Comment le calculer ?

Il se calcule par le nombre de citations des articles de la revue sur le nombre d’articles publiés par la revue, sur une période de 2 ans.

IF de 2016 = A/B

A : Nombre de fois où les articles publiés en 2014-2015, ont été cité dans des revues indexé, en 2016.

B : Nombre d’articles « citables » publiés par ce journal en 2014-2015.

Par exemple : un journal d’IF de 3 en 2016 signifie que ses articles publiés en 2014 -2015 ont été cités en moyenne 3 fois en 2016.

b. Avantages et limites

Bien qu’il soit très régulièrement critiqué  , il reste l’indicateur le plus utilisé pour classer les revues.

  • Avantage :
    • Facilité d’utilisation et de calcul.
  • Inconvénient :
    • Biais linguistique: les revues non-anglophones étant moins bien répertoriées, elles ne bénéficient pas ou peu d’un facteur d’impact, même quand elles sont internationalement reconnues.
    • Qualité et fiabilité du Science Citation Index : l’automatisation de cette base et le data mining (exploration de données) peut entrainer des erreurs et des biais.
    • Manque de fiabilité mathématique de l’algorithme de calcul de l’IF .
    • Quelques articles très cités d’un journal peut augmenter grandement son IF.
      • Par ex : en 2009, Acta Crystallographica A, avait une IF sur 4 ans de 2.38 et un IF sur 2 ans de 49.93 
    • La définition du « nombre d’articles citables » dans le dénominateur de la formule est flou pouvant entraîner une négociation entre les journaux et Thomson .
      • Par ex : Nature, le NEJM, The Lancet publié des textes (lettre, errata…) qui sont comptabilisés dans le numérateur (le A sur l’équation) mais pas le dénominateur (le B).
    • Influence de critères non scientifiques .
      • Sera plus souvent cité un article à la mode, un article bien présenté, un article d’accès gratuit…
    • La fenêtre temporelle de 2 ans est parfois trop courte. Elle avantage les sciences se développement rapidement comme la médecine mais désavantage les disciplines nécessitant plus de temps comme par exemple les journaux de pédagogie .
    • La nature d’un domaine scientifique car il dépend de la taille de sa communauté.
      • Par ex : les revues d’épidémiologie seront moins citées que les revues médicales généraliste (Journal of Clinical Epidemiology vs The Lancet).
    • Le facteur d’impact augmente avec le prestige de la revue, qui peut être artificiellement augmenté par une politique éditoriale adéquate et ses moyens en termes de publicité.
    • Il est manipulable :
      • En 2008, un article de Acta Crystallograhica A incluait la phrase « Cet article peut servir comme une citation de littérature générale quand un des logiciels libres SHELX est utilisé pour déterminer la structure d’un cristal. » Il reçu plus de 6 600 citations. Son IF augmenta de 2,051 en 2008 à 49,926 en 2009, soit plus que Nature (31,434) et Science (28,103).
    • Double citation pour un journal traduit en 2 langues.
      • Un journal allemand Angewandte Chemie traduit en anglais et allemand était cité dans ces 2 langues entraînant une augmentation de son IF de 15% .
    • Incitation à l’auto-citation: c’est la pratique d’éditeurs qui forcent un auteur à ajouter des auto-citations de sa revue pour accepter la publication de son article, ce qui permet d’augmenter artificiellement le FI.
      • En 2007, la revue spécialisée Folia Phoniatrica et Logopaedica, avec un FI de 0.66, publia un éditorial qui citait tous ses articles de 2005 à 2006, en protestation contre l’IF . Il passa à 1.44 d’IF et fut désindexé en 2008 et 2009 par CJR.
    • Alliance des revues et intercitation : les revues vont s’auto citer entres-elles. Elles sont identifiées comme des « cartels de revues » par Web of Science et peuvent être bannies temporairement de l’indexation.

 

© 1cartoonbank.com. All Rights Reserved

© 1cartoonbank.com. All Rights Reserved

c. Alternative ?

  • Nouveaux algorithmes
    • Eigen factor score : Il tente d’estimer l’importance d’un journal pour pour une communauté scientifique donnée, en regardant notamment les journaux qui vont le citer. Une même citation n’aura pas le même poids en fonction de l’importance du journal qui va la citer.
    • SCImago Journal Rank (SJR) : algorithme très similaire à l’Eigen factor utilisé par Scopus
    • L’indice H (Hirsch) : cet indice essaie de quantifier la qualité et la quantité de publication d’un chercheur en fonction du nombre de fois où il a été cité, et non pas d’une revue scientifique. Il peut être calculer par l’utilisateur.
    • Les almetrics.
  • Nouvelles bases de données
    • Scopus (Elsevier) : base de données alternative du Web of Science incluant plus de données sur les sciences humaines et sociale ainsi que les journaux non anglophones.
    • Google Scholar : indexation large d’articles scientifiques : journaux (avec ou sans comité de lecture), thèses, livres…

Tableau résumé  :

Base de donnée Web of Science Scopus
Nom de l’algorithme Eigen factor SJR
Editeur ISI Elsevier
Usage Complémentaire de l’IF Unique mesure

eigen factorsjrScopusGoogle_Scholar_logo_2015

2. Classification des études :

a. Les almetrics : nouvel outils d’évaluation numérique 

A l’ère du numérique, de nouveaux outils de mesure sont développés. Ils portent sur des articles (Article level metrics ) et non pas sur la revue ni sur l’auteur.

Que mesurent-ils ?

Ils mesurent l’audience, l’attention et l’usage en comptant le nombre de téléchargement, le nombre de vue d’une page html, le nombre like sur facebook, le nombre de retweet…

Elle introduit la notion de post publication peer-review.

Au lieu d’être évalué ex ante, avant la publication par des pairs (les producteurs et lecteurs d’articles), l’évaluation se fait ex post par un autre cercle de pairs, à savoir les chercheurs, les étudiants, des journalistes…

Malgré de nombreuses critiques quant à sa fiabilité, d’importante revues comme le NEJM commencent à les utiliser.

almetrics

b. Niveau de preuve HAS

En France, une classification des types d’articles a été établie en 2000 par l’HAS (ex-ANAES).

Cette grille permet de classer les articles en fonction de leur niveau de preuve et leur grade de recommandation.

niveau HAS

Différentes grilles existent pour déterminer le niveau de preuve d’un article :

  • Aux Etat Unis, c’est l’US Preventive Services Task Force qui l’a élaboré.
  • Le GRADE working group (The Grading of Recommendations Assessment, Development and Evaluation) adopté par de nombreuses organisations internationales…

Pour aller plus loin, un guide a été publié par la HAS en 2013 analysant les principales grilles internationales.

c. Grilles d’analyse internationales

Le site internet d’Equator Network met à disposition des grilles d’évaluation internationale pour chaque type d’étude. Ces grilles sont en anglais mais une version français non officielle a été publiée .

Chaque grille évalue la qualité d’un article :

Des recommandations sont aussi disponibles pour l’écriture de l’article :

  • Du protocole standard pour essai clinique, études expérimentales et protocoles diverses : SPIRIT (français)
  • De l’analyse statistique : SAMPL (français)

equator network

B. Lire la littérature anglophone

La majorité de la recherche médicale est écrite en anglais. Il est indispensable pour un chercheur de maîtriser l’anglais que ce soit pour lire, écrire, communiquer ou publier.

Il existe certaines revues anglophones traduite en français mais elles sont rares.

1. Glossaire de la BDSP

La BDSP (Banque de Donnée de Santé Publique) a élaboré un glossaire multilingue (anglais, français, espagnol et allemand) à l’initiative de l’Union Européenne. Il comprend des définitions et des traductions des termes utilisés en santé publique.

Utilisez-le pour traduire les termes techniques que vous ne maitrisez pas.

2. Traduction

Voici quelques conseils pour vos traductions :

  • Utilisez des outils de traduction accessible gratuitement en ligne ( reverso, Google translate, linguee…)
  • Inspirez vous de la grammaire utilisée dans les articles anglophones précédemment sélectionnés pour votre recherche.
  • « Appel à un ami » : on a souvent dans notre entourage professionnel des confrères ayant une expertise ou ayant déjà traduit des articles.
1.
Matayong S, Jetwanna KW, Choksuchat C, Choosawang S, Trakulmaykee N, Limsuwan S, et al. IoT-based systems and applications for elderly healthcare: a systematic review. Univ Access Inf Soc [Internet]. 2023 Nov 2 [cited 2024 Oct 8]; Available from: https://doi.org/10.1007/s10209-023-01055-1
1.
Ferrara M, Bertozzi G, Di Fazio N, Aquila I, Di Fazio A, Maiese A, et al. Risk Management and Patient Safety in the Artificial Intelligence Era: A Systematic Review. Healthcare [Internet]. 2024 Jan [cited 2024 Oct 8];12(5):549. Available from: https://www.mdpi.com/2227-9032/12/5/549
1.
Kumar Y, Koul A, Singla R, Ijaz MF. Artificial intelligence in disease diagnosis: a systematic literature review, synthesizing framework and future research agenda. J Ambient Intell Human Comput [Internet]. 2023 Jul 1 [cited 2024 Oct 8];14(7):8459–86. Available from: https://doi.org/10.1007/s12652-021-03612-z
1.
rédaction L. Le numérique en santé au service du “Bien Vieillir” : enjeux et perspectives [Internet]. Repères en Gériatrie. 2023 [cited 2024 Oct 8]. Available from: https://geriatries.fr/le-numerique-en-sante-au-service-du-bien-vieillir-enjeux-et-perspectives/
1.
CKD Early Identification & Intervention Toolkit [Internet]. International Society of Nephrology. [cited 2023 Nov 24]. Available from: https://www.theisn.org/initiatives/toolkits/ckd-early-screening-intervention/
1.
Glenn JK, Goldman J. Task delegation to physician extenders--some comparisons. Am J Public Health. 1976 Jan;66(1):64–6.
1.
Heerspink HJL, Stefánsson BV, Correa-Rotter R, Chertow GM, Greene T, Hou FF, et al. Dapagliflozin in Patients with Chronic Kidney Disease. N Engl J Med [Internet]. 2020 Oct 8 [cited 2023 Nov 21];383(15):1436–46. Available from: https://doi.org/10.1056/NEJMoa2024816
1.
Heerspink HJL, Stefánsson BV, Correa-Rotter R, Chertow GM, Greene T, Hou FF, et al. Dapagliflozin in Patients with Chronic Kidney Disease. N Engl J Med [Internet]. 2020 Oct 8 [cited 2023 Nov 21];383(15):1436–46. Available from: https://doi.org/10.1056/NEJMoa2024816
1.
Namli Altintas İ, Kozaner Yenigül Ç. Active learning education in Museum. IJERE [Internet]. 2020 Mar 1 [cited 2021 Jan 5];9(1):120. Available from: http://ijere.iaescore.com/index.php/IJERE/article/view/20380
1.
Frappé P, Druais PL, Petersen W, Association française des jeunes chercheurs en médecine générale (Lyon). Initiation à la recherche. 2018.
1.
Becker J. Active Allyship. Public Services Quarterly. 2017 0;13(1):27–31.
1.
Bucher S, Maury A, Rosso J, de Chanaud N, Bloy G, Pendola-Luchel I, et al. Time and feasibility of prevention in primary care. Fam Pract. 2017;34(1):49–56.
1.
Le Lous M, De Chanaud N, Bourret A, Senat MV, Colmant C, Jaury P, et al. Improving the quality of transvaginal ultrasound scan by simulation training for general practice residents. Adv Simul (Lond). 2017;2:24.
1.
Le Lous M, De Chanaud N, Bourret A, Senat MV, Colmant C, Jaury P, et al. Improving the quality of transvaginal ultrasound scan by simulation training for general practice residents. Advances in Simulation [Internet]. 2017 Nov 21 [cited 2018 Mar 10];2:24. Available from: https://doi.org/10.1186/s41077-017-0056-z
1.
de Chanaud N, Boukari L, Gérin M, Mekinian A, Fain O. [Typhoid fever. Sore throat, macrophage activation syndrome and glomerulonephritis]. Rev Prat. 2012 Oct;62(8):1056.
1.
de Chanaud N, Sidrokiewitcz S. Comparaison de l’efficacité d’une évaluation gériatrique en soins primaires réalisée par une infirmière ou un médecin généraliste. D’après une communication de : Ferrat E, Attali C, Audureau E. Exercer. 2017;132:160–1.
1.
Neuman MD, Goldstein JN, Cirullo MA, Schwartz JS. Durability of class I American College of Cardiology/American Heart Association clinical practice guideline recommendations. JAMA. 2014 May;311(20):2092–100.
1.
Bucher S, Maury A, Rosso J, de Chanaud N, Bloy G, Pendola-Luchel I, et al. Time and feasibility of prevention in primary care. Fam Pract. 2017 Feb;34(1):49–56.
1.
Alderson LJH, Alderson P, Tan T. Median life span of a cohort of National Institute for Health and Care Excellence clinical guidelines was about 60 months. J Clin Epidemiol. 2014 Jan;67(1):52–5.
1.
Haute Autorité de Santé. Guide Saed : " ça aide à communiquer " [Internet]. 2014 [cited 2017 Mar 23]. Available from: http://www.has-sante.fr/portail/upload/docs/application/pdf/2014-11/saed_guide_complet_2014-11-21_15-41-2_64.pdf
1.
Makary MA, Daniel M. Medical error—the third leading cause of death in the US. BMJ [Internet]. 2016 May 3 [cited 2017 Mar 23];i2139. Available from: http://www.bmj.com/lookup/doi/10.1136/bmj.i2139
1.
Makary MA, Daniel M. Medical error—the third leading cause of death in the US. BMJ [Internet]. 2016 May 3 [cited 2017 Mar 23];353:i2139. Available from: http://www.bmj.com/content/353/bmj.i2139
1.
Michel P, Quenon JL, Djihoud A. Les événements indésirables graves liés au soins observés dans les établissements de santé : premiers résultats d’une étude nationale. Etudes et Résultats [Internet]. 2005 [cited 2017 Mar 23];(398). Available from: http://social-sante.gouv.fr/IMG/pdf/ENEIS_1.pdf
1.
Chaleix M, IZOTTE-KRET M, Régine BS, QUENON JL, OLIER L. Les événements indésirables graves associés aux soins observés dans les établissements de santé - Résultat des enquêtes nationales menées en 2009 et 2004. Solidarité Santé [Internet]. 2010 [cited 2017 Mar 23];(17). Available from: http://www.guidedesdemarches.com/DOCS/DOC123.pdf
1.
Stewart M. Towards a global definition of patient centred care. BMJ [Internet]. 2001 Feb 24 [cited 2017 Jan 5];322(7284):444–5. Available from: http://www.bmj.com/content/322/7284/444
1.
Minerva Website [Internet]. 2017 [cited 2017 Jan 5]. Critères composites : interprétation clinique. Available from: http://www.minerva-ebm.be/fr/article/410
1.
Jegu J, Braun M, Pelaccia T. Quelle est la motivation des étudiants en médecine pour l’apprentissage de la lecture critique d’article ? Pédagogie Médicale [Internet]. 2014 [cited 2017 Jan 5];15(4):259–67. Available from: http://www.pedagogie-medicale.org/10.1051/pmed/2014019
1.
Association pédagogique nationale pour l’enseignement de la thérapeutique (France), Durocher A. LCA-UE 12: formation générale à la recherche : iECN 2016, 2017, 2018 : cours + entraînement. Paris: Med-Line éditions; 2015.
1.
Mayer B, Ring C, Muche R, Rothenbacher D, Schmidt-Straßburger U. Creating a blended learning module in an online master study programme in oncology. Educ Health [Internet]. 2015 Jan 1;28(1):101–5. Available from: http://www.educationforhealth.net/article.asp?issn=1357-6283;year=2015;volume=28;issue=1;spage=101;epage=105;aulast=Mayer
1.
Education for Health [Internet]. 2015;28(1):101–5. Available from: http://www.educationforhealth.net/article.asp?issn=1357-6283;year=2015;volume=28;issue=1;spage=101;epage=105;aulast=Mayer
1.
Moak JH, Larese SR, Riordan JP, Sudhir A, Yan G. Training in transvaginal sonography using pelvic ultrasound simulators versus live models: a randomized controlled trial. Acad Med. 2014 Jul;89(7):1063–8.
1.
Dorton LH, Lintzenich CR, Evans AK. Simulation model for tracheotomy education for primary health-care providers. Ann Otol Rhinol Laryngol. 2014 Jan;123(1):11–8.
1.
Sukalich S, Elliott JO, Ruffner G. Teaching medical error disclosure to residents using patient-centered simulation training. Acad Med. 2014 Jan;89(1):136–43.
1.
Prislin MD, Fitzpatrick CF, Lie D, Giglio M, Radecki S, Lewis E. Use of an objective structured clinical examination in evaluating student performance. Fam Med. 1998 May;30(5):338–44.
1.
Harris JM, Sun H. A randomized trial of two e-learning strategies for teaching substance abuse management skills to physicians. Acad Med. 2013 Sep;88(9):1357–62.
1.
Brown RS, Graham CL, Richeson N, Wu J, McDermott S. Evaluation of medical student performance on objective structured clinical exams with standardized patients with and without disabilities. Acad Med. 2010 Nov;85(11):1766–71.
1.
Fovet-Rabot. Coopérer en information scientifique et technique. 2016 [cited 2016 Nov 8]. Eviter  les  éditeurs  prédateurs  (predatory publishers), en 4 points. Available from: http://coop-ist.cirad.fr/content/download/5719/42223/version/1/file/CoopIST-editeurs-predateurs20150601.pdf
1.
Bertignac C, Fouquet J, Marie E. La bibliométrie [Internet]. Form@doct. 2016 [cited 2016 Nov 8]. Available from: http://guides-formadoct.ueb.eu/bibliometrie
1.
Catherine Bertignac JF. Formadoct. La bibliométrie. Introduction. [Internet]. 2016 [cited 2016 Nov 8]. Available from: http://guides-formadoct.ueb.eu/bibliometrie
1.
BIUSanté. 8 questions sur SIGAPS et SAMPRA [Internet]. Le blog actualités de la BIU Santé. 2016 [cited 2016 Nov 8]. Available from: http://www2.biusante.parisdescartes.fr/wordpress/index.php/sigaps-sampra/
1.
Maisonneuve H. Rédaction Médicale et Scientifique. 2016 [cited 2016 Nov 8]. Que penser de Penelope ? C’est un site pour identifier les erreurs dans les manuscrits.... bonne idée, mais utile ? Available from: http://www.h2mw.eu/redactionmedicale/2015/11/que-penser-de-penelope-un-site-pour-identifier-les-erreurs-dans-les-manuscrits.html
1.
Coulon JP, Piette E. Aphtes banals, aphtose buccale récidivante et maladie de Behçet. https://www-em--premium-com.frodon-biusante.parisdescartes.fr/data/traites/mb/28-53228/ [Internet]. 2008 Nov 20 [cited 2016 Nov 8]; Available from: https://www-em--premium-com.frodon-biusante.parisdescartes.fr/article/189348/resultatrecherche/5
1.
Gaba DM. The future vision of simulation in health care. Quality and Safety in Health Care [Internet]. 2004 Oct 1 [cited 2016 Nov 3];13(suppl_1):i2–10. Available from: http://qualitysafety.bmj.com/lookup/doi/10.1136/qshc.2004.009878
1.
JWE15118_09_07_2011.pdf [Internet]. 2016 [cited 2016 Mar 24]. Available from: https://jama-jamanetwork-com.frodon-biusante.parisdescartes.fr/data/Journals/JAMA/22464/JWE15118_09_07_2011.pdf
1.
Weller J. Simulation Training for Medical Emergencies In General Practice. In 2016 [cited 2016 Oct 1]. Available from: http://www.academia.edu/295022/Simulation_Training_for_Medical_Emergencies_In_General_Practice
1.
Hureaux J, Urban T. La simulation en pneumologie : rationnel, données de la littérature et perspectives. Revue des Maladies Respiratoires [Internet]. 2015 [cited 2016 Sep 29];32(10):969–84. Available from: http://linkinghub.elsevier.com/retrieve/pii/S0761842515001874
1.
Haute Autorité de Santé. Guide de bonnes pratiques en matière de simulation en santé [Internet]. 2012 [cited 2016 Sep 29]. Available from: http://www.has-sante.fr/portail/upload/docs/application/pdf/2013-01/guide_bonnes_pratiques_simulation_sante_guide.pdf
1.
Poelman T. Rapport de hasards (hazard ratio, HR) et risque relatif. Minerva [Internet]. 2013 [cited 2016 Sep 29];12(10):129. Available from: file:///Users/Nico/Downloads/12_10_129-129.pdf
1.
BMJ. Publications [Internet]. 2016 [cited 2016 Sep 8]. Available from: http://www.bmj.com/about-bmj/resources-readers/publications
1.
Cucherat M. Lecture critique [Internet]. 2016 [cited 2016 Sep 8]. Available from: http://www.spc.univ-lyon1.fr/lecture-critique/