---

II. Critique

A. Validité Interne

Exercices :

Définition: elle permet de s’assurer que le résultat obtenu n’est pas dû à un biais, au hasard ou à un manque de puissance donc que la méthode utilisée pour l’obtenir est adéquate pour répondre à la question.

• Pertinence du CJP
• Absence de biais
  • Biais de sélection : randomisation bien faite / perdus de vue / analyse en ITT
  • Biais de classement : double aveugle / critère principal unique, standard.
  • Biais de confusion : groupes comparables / stratification.
• Réalité statistique du résultat
• Quantification de l’effet clinique
• Calcul du nombre de sujets réalisé pour garantir une puissance suffisante.
• Niveau de preuve HAS

1. Pertinence du CJP

Exercices :

Cf paragraphe spécifique

2. Les biais

Exercice :

• Biais (CNCI) : erreur systématique qui fausse les résultats dans un sens donné.

Attention : ne pas confondre un biais avec une erreur aléatoire (fluctuation d’échantillonnage qui débouche sur une imprécision) ou avec une erreur dans une conclusion statistique (risque alpha et risque bêta ou manque de puissance).

 

• Pour tout biais, donner :
  • Nom de la famille (sélection, classement, confusion), voir sous famille.
  • Sens (sous-estimation, surestimation).
  • Quantification (négligeable, faible, modéré, important).

a. de sélection

• Définition : biais dans la constitution de l’échantillon, qui va se retrouver non représentatif de la population cible pour des facteurs liés au problème étudié.

Attention : il s’agit de l’échantillon analysé.

 

• Processus :
  • Lors de la constitution de l’échantillon: échantillon non représentatif de la population source ou de la population à laquelle on veut extrapoler les résultats. Ex : sujets âgés de 70 ans ou plus sans comorbidité ne sont pas représentatifs de la population des sujets âgés.
  • Au niveau des groupes analysés : les groupes analysés ne diffèrent pas seulement par le facteur étudié mais aussi par un autre facteur (facteur pronostique) qui peut modifier les résultats. Ex : essai contrôlé randomisé avec 10% de sorties d’étude liées à des effets indésirables dans un groupe de traitement => résultats d’efficacité biaisés.

 

• Sous type de biais :
  • Biais d’attribution (« Allocation bias ») : biais survenant quand les sujets ne sont pas répartis aléatoirement dans les groupes étudiés. Exemple : procédure de randomisation détournée.
  • Biais d’attrition: biais survenant quand on exclut de la population d’analyse des sujets initialement inclus dans l’étude et que ces exclusions sont liées au résultat. Exemple : dans un essai randomisé, analyse non en ITT et motifs des exclusions liées au résultat.
  • Biais de perdus de vue (de migration) : biais survenant quand les motifs des pertes de vue sont liés au résultat.
  • Biais de recrutement : si probabilité d’inclusion dans l’étude est liée au facteur étudié. Surtout si les sujets sont recrutés dans des institutions de soin. Ex : sélection de diabétiques dans un service de diabétologie en CHU. 
  • Biais d’auto-sélection: si décision d’inclusion due à la décision du patient. Ex : recrutement par volontariat (non représentatifs de la population générale).
  • Biais de survie sélective (biais des cas prévalent/d’échantillonnage) : si inclusion des cas déjà connus (et donc en vie) avec les patients incidents. Les cas prévalent sont forcément moins graves et biaisent la population. Ex : sélection de cancers du poumon parmi des patients suivis depuis déjà 1 an.
  • Biais de Berkson (d’admission) : lié au fait que les témoins soient aussi des patients hospitalisés. Ex : témoin hospitalisé pour BPCO avec cas de cancer de vessie. Le tabac est un biais.
  • Biais du Healthy Worker Effect (effet du travailleur en bonne santé) : en milieu de travail, les individus sont capables d’exercer un travail régulier et sont a priori en meilleure santé que la population générale dans laquelle on trouve des malades dans l’incapacité de tenir un emploi. Cet effet est d’autant plus marqué que les conditions de travail sont difficiles et requièrent des capacités particulières (travaux physiquement pénibles, horaires de nuit/ou alternants, etc.).
  • Biais de volontariat : les caractéristiques des personnes volontaires sont différentes de ceux qui ne décident pas de participer.
  • Biais de durée : les cas décelés suite à un dépistage sont moins graves et évoluent moins rapidement que ceux diagnostiqués à l’apparition de symptômes.

 

• Contrôle des biais :
  • Avant l’étude :
    • Recrutement par tirage au sort : concerne surtout les enquêtes d’observation. Ex : enquête descriptive avec sondage aléatoire; enquête cas-témoin avec sélection par tirage au sort des témoins dans population d’où sont issus les cas.
    • Recrutement exhaustif. Ex : enquête cas-témoin : recrutement systématique de tous les cas définis par des critères diagnostiques valides et appliqués à tous les sujets. Enquête de cohorte, essai clinique, évaluation procédure diagnostique : recrutement systématique de tous les patients éligibles sur une période donnée.
    • Randomisation du facteur étudié : si l’objectif de l’étude le permet. S’assurer que la randomisation est bien faite.
    • Suivi complet et/ou relances : concerne toutes les études. Pour éviter les perdus de vue dans études prospectives et les données manquantes dans toutes les études.
    • Définition stricte des critères d’inclusion et d’exclusion.
  • Après l’étude : (limite le biais, mais ne le neutralise pas complètement)
    • Comparaison initiale des groupes. Les facteurs pronostiques doivent être similaires (comparabilité clinique et non statistique). Sinon, ajustement sur les facteurs pronostiques déséquilibrés entre les groupes.
    • Analyse en ITT. Elle n’élimine pas le biais si le suivi des patients est incomplet et si les motifs de sortie d’étude ou de perdus de vue sont liés aux résultats.
    • Analyse en intention de dépister. Idem
    • Ajustement sur facteurs. Il s’agit des facteurs pronostiques déséquilibrés, des facteurs sur lesquels la randomisation a été stratifiée (centre …) et les facteurs d’appariement (enquêtes cas-témoins, enquêtes de cohorte). Rmq : si les groupes analysés sont très différents, un ajustement ne suffit pas à neutraliser le biais car on ne peut pas ajuster sur tous les facteurs pronostiques (tous ne sont pas recueillis).
    • Analyse de sensibilité. Elle évalue l’influence sur les résultats, d’un changement de méthode, variable, critère de jugement. Elle permet de déterminer le sens du biais et de le quantifier dans la mesure du possible. Ex : analyse de la robustesse des résultats si les perdus de vue sont liés au facteur étudié ou à la réponse.

b. de classement

• Définition : Biais dans la mesure du facteur de risque ou dans la certitude de la maladie. Cette erreur est quasi inévitable puisque aucun outil de mesure (interrogatoire, examen, test) n’est parfait.

Ce biais peut toucher aussi bien le facteur étudié (par exemple l’exposition dans une enquête de cohorte exposés-non exposés) que les critères de jugement (exemple : score d’un questionnaire, décès pour cause spécifique).

 

• 2 types d’erreurs de classement :
  • Différentiel si les erreurs sur les informations recueillies affectent différemment les groupes soumis à comparaison.
    • Sens du biais imprévisible
    • Biaise l’étude
  • Non différentiel si les erreurs sur les informations recueillies affectent indifféremment les groupes soumis à comparaison.
    • Sens du biais prévisible : toujours diminution de l’association entre le facteur étudié et le CJP.
    • Diminution de la puissance.

 

• Processus : il peut résulter de
  • La subjectivité de l’enquêteur : variabilité.
  • La subjectivité des enquêtés : mémorisation, refus de répondre, déni.
  • La méthode de mesure : rythme de suivi différent, temps de mesure différent, outil non valide.

 

• Sous-type de biais :
  • Biais d’information/mesure : biais survenant quand le protocole de mesure n’est pas standardisé (le même pour tous) et/ou est sujet à interprétation. Exemple : questionnaire de qualité de vie non validé.
  • Biais de mémorisation (« recall bias ») : biais survenant lors du rappel de l’exposition ou du critère de jugement dans la vie passée. Exemple : enquête cas-témoin : les cas peuvent faire plus d’effort pour se souvenir d’une exposition passée que les témoins.
  • Biais de prévarication : omission volontaire ou mensonge. Ex : toxicomanie
  • Biais d’évaluation : biais survenant quand des facteurs subjectifs externes influencent l’évaluation du critère de jugement ou de l’exposition. Exemple : dans toute étude, ce biais survient quand l’évaluation du critère de jugement ou de l’exposition n’est pas faite en aveugle. Il est moindre quand le critère est objectif.
  • Biais de subjectivité de l’enquêteur : réponses suggérée ou interprétées. Ex : connaissance du statut du malade par l’enquêteur.
  • Biais de jugement. Ex : classer un cas dans groupe exposé parce qu’on sait qu’il est malade.
  • Biais liés au mode d’évaluation. Ex: dossiers médicaux incomplets dans une cohorte historique.

 

• Contrôle des biais : les moyens à disposition pour contrôler les biais de classement doivent être prévus lors de la planification de l’étude. Les règles suivantes s’appliquent au facteur étudié et au critère de jugement et à toutes les études.
  • Validité et fiabilité des mesures :
    • La mesure doit être précise, exacte et reproductible (reproductibilité intra-observateur et inter observateur).
    • Pour les critères subjectifs, il faut une référence dans le texte à une étude de validation ; à défaut, des résultats de reproductibilité. Exemple : questionnaire de qualité de vie (subjectif) doit avoir été validé. Vérifier qu’il y a une référence dans le texte à propos d’une étude de validation.
  • Standardisation des procédures. Les mêmes procédures doivent être appliquées à tous les sujets de l’étude : même procédé de recueil de mesure, même rythme de mesure (si prospectif), même définition du facteur étudié et des critères de jugement pour tous les sujets. Exemples : mêmes critères diagnostiques appliqués à tous les sujets dans une enquête cas-témoin, à chaque fois que c’est possible même contenu et rythme de suivi dans les enquêtes exposés/non exposés
  • Evaluation/recueil des données en aveugle/en insu.
    • Essais cliniques : évaluation des critères de jugement en insu du traitement.
    • Résultat d’un examen diagnostique en insu du résultat du gold standard et vice versa.
    • Enquête cas-témoin : évaluation de l’exposition en insu du statut malade/non malade du sujet.
    • Enquête de cohorte exposée/non exposé : évaluation de la maladie en insu de l’exposition.
  • Formation des enquêteurs pour avoir une standardisation des procédures.

c. de confusion

• Définition : Biais provoqué par un facteur de confusion interagissant avec le facteur de risque étudié dans l’étude du lien entre ce facteur et la maladie.

 

• Contrôle des biais : on peut neutraliser les facteurs de confusion lors de la planification de l’étude et/ou lors de l’analyse, mais cette neutralisation n’est jamais complète.
  • A priori (lors de l’inclusion) :
    • Randomisation (tirage au sort du facteur étudié) : comparabilité initiale des groupes. (Dans les essais interventionnels)
    • Restriction de la population d’étude à certaines catégories et ne pas inclure ceux présentant un facteur de confusion (rare dans les études épidémiologiques). Ex : exclusion de patients atteints de bilharziose (facteur de risque connu de cancer de la vessie) dans une enquête étiologique sur le cancer de la vessie en Europe. Les cas de bilharziose sont rares en Europe. Leur exclusion ne met pas en péril l’extrapolation des résultats.
    • Stratification : division de la population en strates selon les facteurs de confusion.
    • Appariement sur les facteurs de confusion voire de risque de la maladie déjà connus. Pour les enquêtes étiologiques. Attention : ne pas confondre facteur de risque et facteur de confusion un sur-appariement peut masquer une liaison.
  • A posteriori (lors de l’analyse statistique):
    • Ajustement sur les facteurs de confusion : on utilise des modèles multivariés qui donnent l’effet propre du facteur étudié indépendamment des autres co-variables entrées dans le modèle. On obtient un OR, RR ou HR ajusté sur les facteurs de confusion entrés dans le modèle multivarié. Attention : ceci nécessite d’avoir prévu dans le protocole de recueillir les facteurs de confusion.
    • Analyse en sous-groupe grâce à la stratification. (dans les essais interventionnels)

d. Biais des études diagnostiques

• Lead Time biais : « temps d’avance au diagnostic »

Augmentation de la durée de vie apparente. Cela correspond au fait que l’on avance artificiellement le stade où la maladie est dépistée. On a une impression erronée d’allongement.

 

• Lengh time biais : « biais de sélection des meilleurs pronostic »

Phénomène de sélection des cas de meilleur pronostic. Le dépistage a statistiquement plus de chance de dépister des malades et ayant une forme relativement peu sévère que des individus ayant une forme latente. Il favorise la découverte des cas les moins graves.

 

• Le biais de surdiagnostic

Le dépistage peut révéler des affections qui n’auraient pas évolué et n’auraient jamais été diagnostiquées en l’absence de dépistage. La meilleure survie de telles affections ne reflète en rien l’efficacité du dépistage mais à nouveau un biais de sélection de formes de bon pronostic.

 

• L’effet du volontariat ou de sélection par le dépistage

Le dépistage est proposé à la totalité d’une population cible, mais seule une partie des personnes sollicitées va réaliser le test. Les sujets qui volontairement acceptent de se plier aux contraintes d’examens périodiques de dépistage peuvent avoir un meilleur état de santé initial et une incidence pathologique plus faible que les sujets qui le refusent, auxquels ils sont comparés.

De ce fait, les résultats observés chez les sujets volontaires ne peuvent pas être généralisés aux autres groupes.

Ce biais s’estompe si une forte proportion de la population cible participe.

 

• Biais de vérification : gold standard n’est pas le même pour tous les patients

Pour le choix du gold standard : pas toujours disponible (ex : ostéoporose) ou critères multiples (ex : dépression).

 

• Biais de prise en charge : Biais se produisant dans l’étude de la validité d’un test diagnostique lorsque le résultat du test influence la décision d’effectuer ou non le test de référence.

 

• Biais d’ordre séquentiel d’examen : si 2 tests sont effectués à des temps suffisamment éloignés, permettant à la maladie d’évoluer ou au traitement d’agir.

e. Autres types de biais

• Biais de suivi : biais intervenant lorsque les groupes ne sont pas suivi de la même manière durant l’étude. La comparabilité initiale des sujets est mise à défaut et il existe un risque de faire apparaître une différence en dehors de tout effet du traitement.
  • Le double aveugle permet de limiter ce biais

3. Signification statistique du résultat

Exercices :

Cf paragraphe spécifique

 

4. Pertinence et Quantification de l’effet clinique

• La signification clinique exprime un jugement porté sur l’importance au sens de « taille » du résultat obtenu dans l’étude. Elle justifie la décision clinique, diagnostique, pronostique ou thérapeutique.

• La taille de l’effet fait référence à l’une des quantités résumant l’étude qui quantifie un écart d’effet entre les groupes comparés ; elle est exprimée en bénéfice relatif et/ou bénéfice absolu.

• Le bénéfice relatif caractérise le facteur étudié.
  • Pour des résultats binaires (ex : décès oui/non), il est exprimé par le risque relatif, ou le rapport des cotes (odds ratio, OR) selon l’étude.
  • Pour des données censurées (ou de survie), il est exprimé par le rapport de risques instantanés (hazard ratio, HR).

• Le bénéfice absolu caractérise un facteur étudié dans un contexte.
  • Pour des résultats binaires ou les données censurées (ex : décès oui/non), il est exprimé par la réduction absolue de risque (RAR=RE-RC) et/ou par le nombre de sujets à traiter (NNT) pour éviter un accident (1/RAR). L’effet du traitement est d’autant plus grand que la RAR est élevée ou que le NNT est faible.
  • Pour des variables quantitatives (taux de cholestérol), il est exprimé par la différence des moyennes [M_A-M_B] et/ou par le d de Cohen ([M_A-M_B]/écart-type).

• Interprétation de la taille de l’effet :
  • L’estimation doit être suffisamment précise (importance de donner son intervalle de confiance) pour pouvoir éliminer le fait que l’effet puisse être petit (borne inférieure de l’intervalle) donc sans intérêt en pratique. La définition du « plus petit effet intéressant » en pratique est arbitraire et difficile.
  • Est fonction de la gravité de la pathologie. Ex : Traiter 100 malades pendant 2 ans pour éviter une hospitalisation n’a pas la même « importance » que traiter 100 malades pour éviter 1 décès.
  • Est fonction de la fréquence de la maladie : plus une maladie est fréquente plus un petit bénéfice peut correspondre à un bénéfice substantiel en termes de nombre de sujets concernés par le bénéfice dans la population. Ex : Ainsi, un risque relatif de 1.3 peut être vu comme négligeable au niveau de l’individu, mais important au niveau collectif si ce risque concerne un problème fréquent dans la population. Ex : Une augmentation relative de risque de 30% peut paraître importante. Si elle s’applique à une maladie dont la fréquence est de 1/10⁶, le risque de maladie passe de 1 à 1,3×10^-6, ce qui parait négligeable…

5. Vérification du NSN

Exercices : 

Cf QS

6. Niveau de preuve HAS

Exercice :

Cf QS

B. Validité externe

1. Applicabilité

Exercice :

Définition: généralisabilité des résultats à la population « réelle ».

synonyme: généralisabilité/représentativité

En cours de rédaction…

2. Cohérence externe

• La cohérence externe

Elle permet de s’assurer que le résultat obtenu n’est pas isolé mais s’intègre dans un contexte logique (cohérence avec les connaissances expérimentales, épidémiologiques, les études de même nature).

• Critère de Bradford-Hill pour les enquêtes épidémiologiques.

3. Critère de Bradford Hill

Cf QS

---