IV. Analyse bivariée

A. Le risque relatif et l’odds ratio

Permet d’évaluer la dépendance entre 2 variables qualitatives binaires.

  • Tableau de contingence :
    • On utilise ce tableau pour se représenter les données.
    • On a 2 variables qualitatives binaires
      • Maladie : positif (malade) ou négatif (sain). C’est l’événement.
      • Exposition : positif(exposé) ou négatif (non exposé). C’est le facteur d’exposition.
    • On a 4 modalités observées :
      • a : malade qui a été exposé
      • b : sain qui a été exposé
      • c : malade qui n’a pas été exposé
      • d : sain qui n’a pas été exposé
M+ M-
exposés a b
non-exposés c d
  • Le risque relatif RR :
    • Définition : risque de survenue d’un événement (malade) dans un groupe exposé à un facteur d’exposition par rapport à un autre groupe non exposé.
    • Anglais : relative risk, R.R.
    • Utilisé dans les études de cohorte.
    • Calcul : RR = [a/(a+b)] / [c/(c+d)]

 

  • L’odds ratio OR :
    • Définition : rapport de la cote d’exposition chez les sujets ayant présenté l’événement (malade) et ceux ne l’ayant pas présenté (non malade).
    • Anglais : odds ratio
    • Synonyme : rapport des cotes, rapport des chances
    • Utilisé dans les études cas-témoins.
    • Calcul : OR = [a/c] / [b/d] = ad/bc

 

  • Interprétation :
    • Ces 2 indices s’interprètent de la même façon.
    • Intervalle de variation : [0 à +∞ [
    • Si =1, pas de dépendance
    • Si <1, association négative, facteur protecteur
    • Si > 1, association positive, facteur de risque
    • Toujours interpréter en fonction de l’IC (Intervalle de Confiance)

 

  • Avantage du RR par rapport à l’OR
    • On peut donner une traduction littérale, une interprétation intuitive au RR mais pas de l’OR.
    • Par ex : un RR égale à 2 signifie que la population exposée a 2 fois plus de risque de présenté l’événement que la population non exposée. Un OR égale à 2 n’aura pas de traduction littérale.

 

  • Comment passer de l’OR au RR ?
    • Dans les études cas témoins, la prévalence d’un événement (la maladie étudiée souvent) ne correspond pas à la prévalence dans la population générale car elle a été mesurée dans un échantillon sélectionné.
    • Lorsque la prévalence de la maladie dans la population générale est rare (< 5-10%), on peut approximer l’OR par le RR.
    • Dans les études de cohorte, la prévalence de l’événement correspond à celle de la population générale, on peut utiliser le RR.

 

  • Cas particulier des variables censurées : le rapport des risques instantanés

Exercice Prescrire : B.A.-BA n°2 : « Différence des risques absolus, risque relatif, variation relative du risque, nombre de patients à traiter (NNT) »

B. Le rapport des risques instantanés (Hazard ratio)

  • Définition : risque de mourir (variable censurée) si on est exposé à un facteur d’exposition (variable qualitative binaire) à un moment donné.
  • Anglais : Hazard Ration, HR
  • Calcul : à partir du modèle de Cox. Il correspond au rapport des risques instantanés dans le groupe traité  divisé par le risque dans le groupe contrôle.
  • Interprétation : Il s’interprète comme le RR mais a la particularité d’être variable dans le temps.
  • Exemple ici 

C. Coefficient de corrélation de Pearson

  • Définition : mesure de l’intensité de la relation entre 2 variables quantitatives et de son sens lorsque cette relation est monotone.

 

  • Condition d’application :
    • Distribution normale
    • Variables quantitatives continues
    • Pas de valeurs extrêmes

 

  • Calcul :
    • R(X,Y) = Cov(X,Y)/ox.oy

pearson

  • Interprétation :
    • Compris entre -1 et +1
    • Le signe de r indique le sens de la relation :
      • – : négative
      • + : positive
    • La valeur absolue de r indique l’intensité de la relation, de la capacité à prédire la valeur de la 2ème variable lorsque l’on connaît la valeur de la 1ère
      • 0 : nulle
      • 0,5 : faible
      • 0,75 : moyenne
      • 0,9 : forte
      • 1 : parfaite

 

  • Significativité de la corrélation :
    • Le calcul du coefficient de corrélation ne constitue que la 1ère étape pour analyser la relation entre 2 variables. Cette étape exploratoire doit être validée par un test de significativité. Il faut s’assurer que cette corrélation n’est pas due au hasard.
    • On fixe l’hypothèse H0 : il n’y a pas de relation entre les 2 variables.

 

  • Absence de biais : on peut obtenir un résultat biaisé qui sera significatif mathématiquement mais faux en réalité.
    • Influence d’une valeur exceptionnelle : dans cet exemple, la valeur exceptionnelle va permettre d’obtenir une corrélation positive alors que d’après le graphique elle est négative.
    • Emboîtement des relations et composantes d’échelle : dans cet exemple, il existe bien une relation positive mais lorsqu’on regarde les 3 sous-populations, on observe qu’il existe une relation négative. Il existe une composante d’échelle (population/sous-population) dans la relation observée avec des conclusions variables en fonction de l’échantillon considéré.
    • Conclusion erronée sur l’absence de relation : il existe bien une relation (non-linéaire et non-monotone) alors que r = 0.

D. Coefficient de corrélation de Spearman

Ce coefficient est identique à celui de Pearson, sauf qu’il s’applique lorsqu’on ne peut pas utiliser Pearson. Il s’interprète de la même façon.

Synonyme : coefficient de corrélation de rang

 

  • Quand l’utiliser ?
    • Distribution non normale des variables
    • Coefficient de Pearson semble influencé par des valeurs extrêmes
    • Variables qualitatives

E. Coefficient de corrélation intraclasse

Il permet d’évaluer la concordance entre 2 variables quantitatives. Il permet de déterminer si la variation des mesures est dû au hasard ou pas.

  • Calcul : via un logiciel statistique
  • Interprétation : ?

En cours de rédaction…

F. Diagramme de Bland – Altman

Ce diagramme permet d’évaluer la concordance entre 2 instruments qui mesurent une même variable quantitative.

Ex : 2 glucomètres

  • Construction :
    • Abscisse : valeur moyenne entre les 2 instruments pour chaque sujet.
    • Ordonnée : différence entre les 2 mesures pour chaque sujet.
    • Limites d’agrément (limits of agreement)
      • Calcul d : différence moyenne
      • Calcul sdd : écart-type des différences
      • Calcul limite inférieur et supérieur (intervalle de confiance à 95%) : d ± 2sdd
  • Interprétation :
    • d : moyenne des différences. Il nous indique si un instrument tend à donner des mesures systématiquement trop basses ou trop élevées. Il peut être considéré comme la mesure du biais entre les 2 instruments.
    • Limites d’agrément : 95% de nos différences de mesure se situeront entre d ± 2 sdd. On ne peut pas faire de test statistique sur un graphique de Bland-Altman, il faut donc se demander quelle différence de mesure entre les 2 instruments est considérée comme acceptable ?

 

  • Intérêt :
    • Donne la dispersion des variables pour l’ensemble du spectre des moyennes.
    • Donne le biais : différence moyenne entre les mesures par les 2 tests.
    • Permet de repérer si le test est plus performant pour une valeur particulière.
    • Pas de gold standard.

 

  • Limite :
    • Pas de test statistique, p non calculable.
    • Il faut fixer quelle différence de mesure entre les 2 instruments paraît acceptable.

 

  • Pourquoi ne peut-on pas utiliser le coefficient de corrélation de Pearson pour établir la concordance entre 2 instruments ?
    • On ne veut pas uniquement savoir si ces valeurs sont corrélées, on veut aussi savoir si les mesures sont identiques.
    • Bland-Altman indique la différence systématique entre les 2 mesures (d).

Dans cet exemple issu du CRCHUM, la corrélation entre les 2 instruments est très bonne (0,9) mais le graphique de Bland-Altman nous indique que la concordance entre les instruments de gauche est mauvaise avec d = 2 alors que la concordance avec les instruments de droite est bonne avec d = 0.

Ainsi pour une valeur du coefficient de Pearson identique, on obtiendra une concordance de test différente.
bland pearson

G. Coefficient Kappa

Il permet d’évaluer la concordance entre 2 variables qualitatives ayant les mêmes modalités. Il permet de déterminer si la variation des mesures est due au hasard ou pas.

  • Calcul :
    • Kappa = (concordance observée – concordance due au hasard)/(1 – concordance due au hasard)

 

  • Interprétation :
    • Kappa n’est pas un test statistique. Il fournit un indicateur numérique de ce que l’on cherche à mesurer mais son interprétation reste subjective. On peut s’aider du tableau suivant :
κ concordance
1,00 – 0,81 Excellente
0,80 – 0,61 Satisfaisante
0,60 – 0,41 Moyenne
0,40 – 0,21 Faible
0,20 – 0,00 Très faible
< 0 Grand désaccord
  • Intervalle :
    • Compris entre – 1 et 1
    • < 0 : désaccord total
    • 0 : aucune concordance
    • 1 : concordance parfaite
  • Bien que ces valeurs soient arbitraires, on estime qu’il doit être > 0,8 dans les études médicales.

H. Sensibilité, spécificité, VPP, VPN, RV, courbe ROC

Ces mesures permettent d’évaluer la concordance entre 2 variables qualitatives binaires.

En pratique, on les retrouve dans les études diagnostiques.

La performance peut se décomposer en 2 catégories :

  • Performance intrinsèque :
    • Définition : c’est la capacité informative propre du test, ne dépendant pas de la prévalence de la maladie.
    • On l’estime grâce à la sensibilité (Sn), la spécificité (Sp), le rapport de vraisemblance positif (RVP) et négatif (RVN).
  • Performance extrinsèque :
    • Définition : c’est la capacité informative du test en fonction de ses caractéristiques intrinsèque et un contexte d’utilisation (la prévalence = probabilité pré-test).
    • On l’estime grâce à la valeur prédictive positive (VPP) et négative (VPN), c’est la probabilité post-test.

 

  • Tableau de contingence

On va déterminer si notre test a de bonne capacité discriminante M-/M+. Ces indicateurs sont assez théoriques car on ne prend pas en compte le contexte (la prévalence).

C’est un tableau à double entrée permettant d’estimer la dépendance entre 2 caractères. Ici, on choisit comme variable le statut malade (M+ ou M-) et le résultat du test (T+ ou T-).

T+ T-
M+ VP FN
M- FP VN

Ce tableau nous permet de déterminer 4 catégories de sujets :

  • VP : Vrai Positif. Sujet malade ayant le test positif.
  • FN : Faux Négatif. Sujet malade ayant le test négatif.
  • FP : Faux Positif. Sujet sain ayant le test négatif.
  • VN : Vrai Négatif. Sujet sain ayant le test négatif.

Pour qu’un test diagnostique soit de bonne qualité, il faut obtenir des VP et VN élevées et des FP et FP faibles. On va pouvoir étudier la relation entre ces 4 catégories grâce au calcul de différents paramètres.

1. Sensibilité et spécificité

  • Sensibilité :
    • Définition :
      • Capacité d’un diagnostic ou d’un test de dépistage à identifier correctement des individus affectés par une maladie ou par un problème de santé.
      • La sensibilité d’un test correspond à la probabilité que le test soit positif chez les personnes malades = p (T+/M+)
    • Calcul :
      • Sn = VP/(VP+FN)
  • Spécificité
    • Définition :
      • Capacité d’un diagnostic ou d’un test de dépistage à identifier correctement les individus non-affectés par une maladie ou par un problème de santé.
      • La spécificité d’un test correspond à la probabilité que le test sera négatif parmi les personnes non-malades = p (T-/M-)
    • Calcul :
      • Sp = VN/(VN+FP)

Se et Sp

Exercice Prescrire : B.A.-BA n°3 : « Sensibilité, spécificité »

2. Courbe ROC

Définition : un outil graphique permettant de représenter la capacité d’un test à discriminer entre la population des malades et des non-malades.

En anglais : ROC (Receiving Operating Curve)

 

  • Objectifs :
    • Evaluer la performance globale d’un test diagnostic (à variable de réponse quantitative continue).
    • Comparer 2 tests diagnostiques.
    • Définir le seuil de validité optimal d’un test diagnostique.

 

  • Construction de la courbe :
    • Ordonnée : taux de Vrai Positif = Se = P (T+/M+)
    • Abscisse : taux de Faux Positif = 1 – Sp = P (T+/M-)
    • Ces taux varient en fonction du seuil du test (seuil qui détermine si le test est positif ou négative, par ex : valeur seuil du dosage du BNP).
    • Dans l’illustration ci-dessous, la courbe bleue correspond à la distribution de la variable quantitative dans un groupe (par ex : le taux de BNP chez des sujets sains) et la courbe rouge correspond à celle dans un autre groupe (par ex : le taux de BNP chez des sujets ayant une insuffisance cardiaque)

roc

  • Interprétation :
    • Pour évaluer la performance d’1 test :
      • On calcule l’aire sous la courbe : AUC (Area Under Curve)
      • Valeur comprise entre 0,5 et 1
      • 1 : test parfait
      • 0,5 : test inutile
      • En pratique, le test est valable si AUC > 0.7
    • Pour comparer la performance de 2 tests :
      • On va comparer les 2 courbes et faire un test statistique pour déterminer s’il existe une différence.
    • Définir le seuil de validité optimal d’un test.
      • Il correspond au point d’inflexion de la courbe (le plus en haut à gauche). Pour une valeur donnée, la Se et la Sp seront optimales.
      • En pratique, on le choisit en fonction de l’objectif du test :
        • Dépistage : Se ~ 100% avec meilleur Sp possible. On choisit un point à droite
        • Diagnostic : Sp ~ 100% avec meilleur Sn possible. On choisit un point à gauche.
    • Plus le résultat du test est différent entre les 2 groupes, plus la courbe ROC aura un AUC élevé, plus le test sera discriminant. Dans l’illustration ci-dessous, on fait varier le résultat du test dans les 2 groupes et on voit une modification de la courbe ROC. Par ex : le test sera plus discriminant si le taux de BNP est de 100 chez les non malades et de 10 000 chez les malades, plutôt que 500 chez les malades et 550 chez les non-malades.

ROC moyenne

3. Rapport de vraisemblance

Définition : estimation du rapport entre la probabilité d’avoir un test positif (ou négatif) chez les sujets malades et celui d’avoir un test positif (ou négatif) chez les sujets sains.

Autrement dit, il correspond à la probabilité post test de la maladie par rapport à sa prévalence.

En anglais : LR , Likelihood Ratio

 

 

  • Rapport de vraisemblance positif (RVP) :
    • Définition : combien de fois est-il plus vraisemblable d’être malade (M+) sachant qu’on a le test positif (T+) ?
    • Calcul : RVP = Se/(1-Sp)
  • Rapport de vraisemblance négatif (RVN) :
    • Définition : combien de fois est-il plus vraisemblable d’être sain (M-) sachant qu’on a le test négatif (T-) ?
    • Calcul : RVN = (1-Se)/Sp
  • Nomogramme FaganNomogramme de Fagan:
    • Nomogramme = outil graphique de calcul constitué de courbes graduées entre lesquelles on place une règle. Le résultat de l’opération se lit au croisement de la règle et de l’une des courbes.
    • Intérêt : il permet de calculer la probabilité post-test connaissant le RV et la prévalence : p (post-test) = p (pré-test) x RV
  • Interprétation : c’est un ratio qui s’interprète comme un RR.
  • Avantages :
    • Indépendant de la prévalence
    • Cliniquement significatif pour le clinicien
RVP RVN Apport diagnostique
> 10 < 0,1 Très fort
5 – 10 0,1 – 0,2 Fort
2 – 5 0,2 – 0,5 Modéré
1 – 2 0,5 – 1 Faible
1 1 nul

Exercice Prescrire : B.A.-BA n°5 : « Rapport de vraisemblance »

4. Valeur prédictive positive et négative

  • Valeur prédictive positive (VPP)
    • Définition :
      • Capacité du test de distinguer les personnes malades (vrais positifs) de l’ensemble des personnes dont le résultat au test est positif (vrais positifs + faux positifs).
      • Probabilité qu’une personne qui a un test positif soit effectivement atteinte par la maladie ou le problème de santé = p (M+/T+).
    • Calcul :
      • VPP = VP / (VP+FP)
      • VPP = RVP x prévalence
  • Valeur prédictive négative (VPN)
    • Définition :
      • Capacité d’un test à distinguer les personnes saines (vrais négatifs) de l’ensemble des personnes dont le résultat au test est négatif (vrais négatifs + faux négatifs).
      • Probabilité qu’une personne au test négatif ne soit pas atteinte par la maladie ou par le problème de santé = p (M-/T-).
    • Calcul :
      • VPN = VN / (VN+FN)
      • VPN = RVN x prévalence

Exercice Prescrire : B.A.-BA n°3 : « Sensibilité, spécificité »


1.
Matayong S, Jetwanna KW, Choksuchat C, Choosawang S, Trakulmaykee N, Limsuwan S, et al. IoT-based systems and applications for elderly healthcare: a systematic review. Univ Access Inf Soc [Internet]. 2023 Nov 2 [cited 2024 Oct 8]; Available from: https://doi.org/10.1007/s10209-023-01055-1
1.
Ferrara M, Bertozzi G, Di Fazio N, Aquila I, Di Fazio A, Maiese A, et al. Risk Management and Patient Safety in the Artificial Intelligence Era: A Systematic Review. Healthcare [Internet]. 2024 Jan [cited 2024 Oct 8];12(5):549. Available from: https://www.mdpi.com/2227-9032/12/5/549
1.
Kumar Y, Koul A, Singla R, Ijaz MF. Artificial intelligence in disease diagnosis: a systematic literature review, synthesizing framework and future research agenda. J Ambient Intell Human Comput [Internet]. 2023 Jul 1 [cited 2024 Oct 8];14(7):8459–86. Available from: https://doi.org/10.1007/s12652-021-03612-z
1.
rédaction L. Le numérique en santé au service du “Bien Vieillir” : enjeux et perspectives [Internet]. Repères en Gériatrie. 2023 [cited 2024 Oct 8]. Available from: https://geriatries.fr/le-numerique-en-sante-au-service-du-bien-vieillir-enjeux-et-perspectives/
1.
CKD Early Identification & Intervention Toolkit [Internet]. International Society of Nephrology. [cited 2023 Nov 24]. Available from: https://www.theisn.org/initiatives/toolkits/ckd-early-screening-intervention/
1.
Glenn JK, Goldman J. Task delegation to physician extenders--some comparisons. Am J Public Health. 1976 Jan;66(1):64–6.
1.
Heerspink HJL, Stefánsson BV, Correa-Rotter R, Chertow GM, Greene T, Hou FF, et al. Dapagliflozin in Patients with Chronic Kidney Disease. N Engl J Med [Internet]. 2020 Oct 8 [cited 2023 Nov 21];383(15):1436–46. Available from: https://doi.org/10.1056/NEJMoa2024816
1.
Heerspink HJL, Stefánsson BV, Correa-Rotter R, Chertow GM, Greene T, Hou FF, et al. Dapagliflozin in Patients with Chronic Kidney Disease. N Engl J Med [Internet]. 2020 Oct 8 [cited 2023 Nov 21];383(15):1436–46. Available from: https://doi.org/10.1056/NEJMoa2024816
1.
Namli Altintas İ, Kozaner Yenigül Ç. Active learning education in Museum. IJERE [Internet]. 2020 Mar 1 [cited 2021 Jan 5];9(1):120. Available from: http://ijere.iaescore.com/index.php/IJERE/article/view/20380
1.
Frappé P, Druais PL, Petersen W, Association française des jeunes chercheurs en médecine générale (Lyon). Initiation à la recherche. 2018.
1.
Becker J. Active Allyship. Public Services Quarterly. 2017 0;13(1):27–31.
1.
Bucher S, Maury A, Rosso J, de Chanaud N, Bloy G, Pendola-Luchel I, et al. Time and feasibility of prevention in primary care. Fam Pract. 2017;34(1):49–56.
1.
Le Lous M, De Chanaud N, Bourret A, Senat MV, Colmant C, Jaury P, et al. Improving the quality of transvaginal ultrasound scan by simulation training for general practice residents. Adv Simul (Lond). 2017;2:24.
1.
Le Lous M, De Chanaud N, Bourret A, Senat MV, Colmant C, Jaury P, et al. Improving the quality of transvaginal ultrasound scan by simulation training for general practice residents. Advances in Simulation [Internet]. 2017 Nov 21 [cited 2018 Mar 10];2:24. Available from: https://doi.org/10.1186/s41077-017-0056-z
1.
de Chanaud N, Boukari L, Gérin M, Mekinian A, Fain O. [Typhoid fever. Sore throat, macrophage activation syndrome and glomerulonephritis]. Rev Prat. 2012 Oct;62(8):1056.
1.
de Chanaud N, Sidrokiewitcz S. Comparaison de l’efficacité d’une évaluation gériatrique en soins primaires réalisée par une infirmière ou un médecin généraliste. D’après une communication de : Ferrat E, Attali C, Audureau E. Exercer. 2017;132:160–1.
1.
Neuman MD, Goldstein JN, Cirullo MA, Schwartz JS. Durability of class I American College of Cardiology/American Heart Association clinical practice guideline recommendations. JAMA. 2014 May;311(20):2092–100.
1.
Bucher S, Maury A, Rosso J, de Chanaud N, Bloy G, Pendola-Luchel I, et al. Time and feasibility of prevention in primary care. Fam Pract. 2017 Feb;34(1):49–56.
1.
Alderson LJH, Alderson P, Tan T. Median life span of a cohort of National Institute for Health and Care Excellence clinical guidelines was about 60 months. J Clin Epidemiol. 2014 Jan;67(1):52–5.
1.
Haute Autorité de Santé. Guide Saed : " ça aide à communiquer " [Internet]. 2014 [cited 2017 Mar 23]. Available from: http://www.has-sante.fr/portail/upload/docs/application/pdf/2014-11/saed_guide_complet_2014-11-21_15-41-2_64.pdf
1.
Makary MA, Daniel M. Medical error—the third leading cause of death in the US. BMJ [Internet]. 2016 May 3 [cited 2017 Mar 23];i2139. Available from: http://www.bmj.com/lookup/doi/10.1136/bmj.i2139
1.
Makary MA, Daniel M. Medical error—the third leading cause of death in the US. BMJ [Internet]. 2016 May 3 [cited 2017 Mar 23];353:i2139. Available from: http://www.bmj.com/content/353/bmj.i2139
1.
Michel P, Quenon JL, Djihoud A. Les événements indésirables graves liés au soins observés dans les établissements de santé : premiers résultats d’une étude nationale. Etudes et Résultats [Internet]. 2005 [cited 2017 Mar 23];(398). Available from: http://social-sante.gouv.fr/IMG/pdf/ENEIS_1.pdf
1.
Chaleix M, IZOTTE-KRET M, Régine BS, QUENON JL, OLIER L. Les événements indésirables graves associés aux soins observés dans les établissements de santé - Résultat des enquêtes nationales menées en 2009 et 2004. Solidarité Santé [Internet]. 2010 [cited 2017 Mar 23];(17). Available from: http://www.guidedesdemarches.com/DOCS/DOC123.pdf
1.
Stewart M. Towards a global definition of patient centred care. BMJ [Internet]. 2001 Feb 24 [cited 2017 Jan 5];322(7284):444–5. Available from: http://www.bmj.com/content/322/7284/444
1.
Minerva Website [Internet]. 2017 [cited 2017 Jan 5]. Critères composites : interprétation clinique. Available from: http://www.minerva-ebm.be/fr/article/410
1.
Jegu J, Braun M, Pelaccia T. Quelle est la motivation des étudiants en médecine pour l’apprentissage de la lecture critique d’article ? Pédagogie Médicale [Internet]. 2014 [cited 2017 Jan 5];15(4):259–67. Available from: http://www.pedagogie-medicale.org/10.1051/pmed/2014019
1.
Association pédagogique nationale pour l’enseignement de la thérapeutique (France), Durocher A. LCA-UE 12: formation générale à la recherche : iECN 2016, 2017, 2018 : cours + entraînement. Paris: Med-Line éditions; 2015.
1.
Mayer B, Ring C, Muche R, Rothenbacher D, Schmidt-Straßburger U. Creating a blended learning module in an online master study programme in oncology. Educ Health [Internet]. 2015 Jan 1;28(1):101–5. Available from: http://www.educationforhealth.net/article.asp?issn=1357-6283;year=2015;volume=28;issue=1;spage=101;epage=105;aulast=Mayer
1.
Moak JH, Larese SR, Riordan JP, Sudhir A, Yan G. Training in transvaginal sonography using pelvic ultrasound simulators versus live models: a randomized controlled trial. Acad Med. 2014 Jul;89(7):1063–8.
1.
Dorton LH, Lintzenich CR, Evans AK. Simulation model for tracheotomy education for primary health-care providers. Ann Otol Rhinol Laryngol. 2014 Jan;123(1):11–8.
1.
Sukalich S, Elliott JO, Ruffner G. Teaching medical error disclosure to residents using patient-centered simulation training. Acad Med. 2014 Jan;89(1):136–43.
1.
Prislin MD, Fitzpatrick CF, Lie D, Giglio M, Radecki S, Lewis E. Use of an objective structured clinical examination in evaluating student performance. Fam Med. 1998 May;30(5):338–44.
1.
Harris JM, Sun H. A randomized trial of two e-learning strategies for teaching substance abuse management skills to physicians. Acad Med. 2013 Sep;88(9):1357–62.
1.
Brown RS, Graham CL, Richeson N, Wu J, McDermott S. Evaluation of medical student performance on objective structured clinical exams with standardized patients with and without disabilities. Acad Med. 2010 Nov;85(11):1766–71.
1.
Fovet-Rabot. Coopérer en information scientifique et technique. 2016 [cited 2016 Nov 8]. Eviter  les  éditeurs  prédateurs  (predatory publishers), en 4 points. Available from: http://coop-ist.cirad.fr/content/download/5719/42223/version/1/file/CoopIST-editeurs-predateurs20150601.pdf
1.
Bertignac C, Fouquet J, Marie E. La bibliométrie [Internet]. Form@doct. 2016 [cited 2016 Nov 8]. Available from: http://guides-formadoct.ueb.eu/bibliometrie
1.
Catherine Bertignac JF. Formadoct. La bibliométrie. Introduction. [Internet]. 2016 [cited 2016 Nov 8]. Available from: http://guides-formadoct.ueb.eu/bibliometrie
1.
BIUSanté. 8 questions sur SIGAPS et SAMPRA [Internet]. Le blog actualités de la BIU Santé. 2016 [cited 2016 Nov 8]. Available from: http://www2.biusante.parisdescartes.fr/wordpress/index.php/sigaps-sampra/
1.
Maisonneuve H. Rédaction Médicale et Scientifique. 2016 [cited 2016 Nov 8]. Que penser de Penelope ? C’est un site pour identifier les erreurs dans les manuscrits.... bonne idée, mais utile ? Available from: http://www.h2mw.eu/redactionmedicale/2015/11/que-penser-de-penelope-un-site-pour-identifier-les-erreurs-dans-les-manuscrits.html
1.
Coulon JP, Piette E. Aphtes banals, aphtose buccale récidivante et maladie de Behçet. https://www-em--premium-com.frodon-biusante.parisdescartes.fr/data/traites/mb/28-53228/ [Internet]. 2008 Nov 20 [cited 2016 Nov 8]; Available from: https://www-em--premium-com.frodon-biusante.parisdescartes.fr/article/189348/resultatrecherche/5
1.
Gaba DM. The future vision of simulation in health care. Quality and Safety in Health Care [Internet]. 2004 Oct 1 [cited 2016 Nov 3];13(suppl_1):i2–10. Available from: http://qualitysafety.bmj.com/lookup/doi/10.1136/qshc.2004.009878
1.
JWE15118_09_07_2011.pdf [Internet]. 2016 [cited 2016 Mar 24]. Available from: https://jama-jamanetwork-com.frodon-biusante.parisdescartes.fr/data/Journals/JAMA/22464/JWE15118_09_07_2011.pdf
1.
Weller J. Simulation Training for Medical Emergencies In General Practice. In 2016 [cited 2016 Oct 1]. Available from: http://www.academia.edu/295022/Simulation_Training_for_Medical_Emergencies_In_General_Practice
1.
Hureaux J, Urban T. La simulation en pneumologie : rationnel, données de la littérature et perspectives. Revue des Maladies Respiratoires [Internet]. 2015 [cited 2016 Sep 29];32(10):969–84. Available from: http://linkinghub.elsevier.com/retrieve/pii/S0761842515001874
1.
Haute Autorité de Santé. Guide de bonnes pratiques en matière de simulation en santé [Internet]. 2012 [cited 2016 Sep 29]. Available from: http://www.has-sante.fr/portail/upload/docs/application/pdf/2013-01/guide_bonnes_pratiques_simulation_sante_guide.pdf
1.
Poelman T. Rapport de hasards (hazard ratio, HR) et risque relatif. Minerva [Internet]. 2013 [cited 2016 Sep 29];12(10):129. Available from: file:///Users/Nico/Downloads/12_10_129-129.pdf
1.
BMJ. Publications [Internet]. 2016 [cited 2016 Sep 8]. Available from: http://www.bmj.com/about-bmj/resources-readers/publications
1.
Cucherat M. Lecture critique [Internet]. 2016 [cited 2016 Sep 8]. Available from: http://www.spc.univ-lyon1.fr/lecture-critique/