Comment évaluer la Qualité des Preuves (votre confiance dans l’estimation de l’effet)

________ Les 4 niveaux de certitude dans les estimations effectives / Qualité de la preuve _________

Élevé: Nous sommes très confiants dans les preuves à l’appui de la recommandation.
Il est très peu probable que d’autres recherches modifient les estimations de l’effet.

Modéré: Nous sommes modérément confiants dans les preuves à l’appui de la recommandation.
D’autres recherches pourraient avoir un impact important, ce qui pourrait modifier les estimations de l’effet.

Faible: Nous n’avons qu’une faible confiance dans les preuves à l’appui de la recommandation.
D’autres recherches sont très susceptibles d’avoir un impact important, ce qui est susceptible de modifier l’estimation de l’effet.
Très faible : Toute estimation de l’effet est très incertaine.
_______________________________________________________________________

Voir cette rubrique dans le manuel des NOTES : Qualité des preuves

Lignes directrices pour les notes : 3. Évaluation de la qualité des preuves (série officielle du groupe de travail sur les notes)

« L’application optimale de la NOTE nécessite des examens systématiques de l’impact des approches de gestion alternatives sur tous les résultats importants pour le patient. Dans le contexte d’un examen systématique, les évaluations de la qualité des preuves reflètent l’étendue de notre confiance dans le fait que les estimations de l’effet sont correctes. Dans le contexte de la formulation de recommandations, les cotes de qualité reflètent la mesure dans laquelle nous sommes convaincus que les estimations d’un effet sont suffisantes pour appuyer une décision ou une recommandation particulière. »

Allez à l’article original pour le texte intégral, ou allez à un chapitre spécifique de l’article:

Ce que nous n’entendons pas par qualité de la preuve
L’opinion n’est pas une preuve
Une qualité particulière de la preuve n’implique pas nécessairement une force particulière de recommandation
Alors qu’entendons-nous par « qualité de la preuve »?
La qualité dans la NOTE signifie plus que le risque de biais
La NOTE spécifie quatre catégories pour la qualité d’un ensemble de preuves
Pour arriver à une note de qualité
Justification de l’utilisation de la définition de qualité de la note

_______________

Du site FAQ du groupe de travail sur les notes:

Haute qualité / confiance: Il est très peu probable que d’autres recherches modifient notre confiance dans l’estimation de l’effet.
Qualité / confiance modérée: D’autres recherches auront probablement un impact important sur notre confiance dans l’estimation de l’effet et pourraient modifier l’estimation.
Faible qualité / confiance: D’autres recherches auront très probablement un impact important sur notre confiance dans l’estimation de l’effet et sont susceptibles de modifier l’estimation.
Très faible qualité / confiance: Nous sommes très incertains quant à l’estimation.

Méthodes Commentaire: Évaluation de la confiance dans les estimations de l’effet

G.Guyatt, J.Busse

Introduction

Les auteurs de la revue systématique connaissent bien l’évaluation du risque de biais dans les études individuelles. Ils sont moins familiers avec l’évaluation de l’étendue du risque de biais sur une base résultat par résultat, et beaucoup moins familiers avec l’évaluation du concept plus large de confiance dans les estimations de l’effet (autrement connu sous le nom de qualité des preuves) à travers un ensemble complet de preuves. Ce commentaire introduit ces questions dans le contexte des examens systématiques des stratégies de gestion alternatives – il ne s’applique qu’indirectement aux examens systématiques des études pronostiques.

Pourquoi vous voudrez peut-être prêter attention à ce commentaire

Les raisons les plus importantes pour assister à ce commentaire sont premièrement, vous trouvez sa logique convaincante, et deuxièmement, vous souhaitez rendre votre revue systématique la plus utile à votre public. Un troisième, cependant, est que les concepts que nous présentons (initialement développés par le groupe de travail GRADE, un groupe de méthodologistes et de développeurs de lignes directrices) ont été largement adoptés, y compris par la Collaboration Cochrane et une foule d’organisations qui élaborent des lignes directrices, notamment l’Organisation mondiale de la Santé, l’American College of Physicians, l’American Thoracic Society et UpToDate.

Pour répondre à la confiance dans les estimations de l’effet, vous devez considérer plus que le risque de biais.

Dans la littérature épidémiologique clinique, la « qualité » désigne généralement un jugement sur la validité interne (c.-à-d. le risque de biais) d’une étude individuelle. Pour obtenir une cote, les examinateurs des essais randomisés tiennent compte de caractéristiques telles que la dissimulation de l’allocation et l’aveuglement. Dans les études observationnelles, ils considèrent une mesure appropriée de l’exposition et des résultats, un contrôle approprié de la confusion; et dans les essais contrôlés et les études observationnelles, ils considèrent la perte au suivi et peuvent considérer d’autres aspects de la conception, de la conduite et de l’analyse qui influencent le risque de biais.

Les auteurs de revues systématiques doivent cependant aller au–delà de l’évaluation d’études individuelles – ils doivent porter un jugement sur un ensemble de preuves. Un ensemble de preuves (par exemple, un certain nombre d’essais bien conçus et exécutés) peut être associé à un faible risque de biais, mais notre confiance dans les estimations effectives peut être compromise par un certain nombre d’autres facteurs (imprécision, incohérence, caractère indirect et biais de publication). Il existe également des facteurs, particulièrement pertinents pour les études d’observation, qui peuvent conduire à une évaluation de la qualité, notamment l’ampleur de l’effet du traitement et la présence d’un gradient dose-réponse (voir figure).

GRADE/Cochrane spécifie quatre catégories pour la qualité d’un ensemble de preuves

Bien que la qualité des preuves représente un continuum, l’approche suggérée par GRADE et adoptée par Cochrane aboutit à une évaluation de la confiance dans un ensemble de preuves comme élevée, modérée, faible ou très faible. Le tableau ci-dessous présente une approche pour intégrer ces quatre catégories.

Importance des quatre niveaux de preuve

Élevée: Nous sommes très confiants que l’effet réel est proche de celui de l’estimation de l’effet.

Modéré: Nous sommes modérément confiants dans l’estimation de l’effet: L’effet réel sera probablement proche de l’estimation de l’effet, mais il est possible qu’il soit substantiellement différent.

Faible: Notre confiance dans l’estimation de l’effet est limitée: L’effet réel peut être sensiblement différent de l’estimation de l’effet.

Très faible: Nous avons très peu de confiance dans l’estimation de l’effet: L’effet réel est susceptible d’être sensiblement différent de l’estimation de l’effet.

Pour arriver à une cote de confiance

Lorsque nous parlons d’évaluer la confiance, nous faisons référence à une cote globale pour chaque patient – résultat important dans toutes les études. La figure ci-dessus résume notre approche suggérée pour évaluer la confiance dans les estimations, qui commence par le plan de l’étude (essais contrôlés randomisés ou études observationnelles), puis aborde cinq raisons d’évaluer éventuellement la confiance et trois d’évaluer éventuellement la confiance. Une série d’articles publiés dans le Journal of Clinical Epidemiology présente des orientations détaillées sur la façon de traiter chacune de ces questions et d’en arriver aux jugements appropriés1-6.

Comment les évaluations de confiance peuvent bénéficier aux consommateurs de revues systématiques

Pour être utiles aux décideurs, aux cliniciens et aux patients, les revues systématiques doivent non seulement fournir une estimation de l’effet pour chaque résultat, mais aussi les informations nécessaires pour juger si ces estimations sont susceptibles d’être correctes. Quelles informations sur les études dans une revue affectent notre confiance dans le fait que l’estimation d’un effet est correcte?

Pour répondre à cette question, prenons un exemple. Supposons qu’on vous dise qu’une récente revue Cochrane a rapporté que, chez les patients souffrant de douleur chronique, le nombre nécessaire pour traiter le succès clinique avec des salicylates topiques était de 6 par rapport au placebo. Quelles informations supplémentaires chercheriez-vous pour vous aider à décider de croire ou non à cette estimation et comment l’appliquer?

Les questions les plus évidentes pourraient être: combien d’études ont été regroupées pour obtenir cette estimation; combien de patients ont-elles inclus; et quelle était la largeur des intervalles de confiance autour de l’estimation de l’effet? S’agissait-il d’essais contrôlés randomisés? Les études présentaient-elles des limites importantes, telles que l’absence d’aveuglement ou une perte importante ou différentielle à suivre dans les groupes comparés? Les questions à ce jour portent sur les jugements concernant l’imprécision et le risque de partialité.

Mais il y a aussi d’autres questions importantes. Existe-t-il des preuves que d’autres études sur ce traitement ont été menées, mais que certaines étaient inaccessibles aux examinateurs? Dans l’affirmative, quelle est la probabilité que les résultats de l’examen reflètent l’expérience globale de ce traitement? Les essais ont-ils eu des résultats similaires ou très variables? Le résultat a-t-il été mesuré à un moment approprié ou les études ont-elles été de trop courte durée pour avoir une grande pertinence? Quelle partie du corps a été impliquée dans les interventions (et donc, à quelle partie du corps pouvons-nous appliquer ces résultats en toute confiance)? Ces dernières questions se réfèrent à des catégories de biais de publication, d’incohérence et de caractère indirect. En l’absence de réponses (ou du moins d’informations sur) ces questions, il n’est pas possible de déterminer le degré de confiance à attacher au NNT et aux intervalles de confiance signalés.

Le GRADE a identifié ses cinq catégories – risque de biais; imprécision; incohérence, caractère indirect et biais de publication – parce qu’ils traitent de toutes les questions qui pèsent sur la confiance dans les estimations. Pour une question donnée, en outre, des informations sur chacune de ces catégories sont susceptibles d’être essentielles pour juger si l’estimation est susceptible d’être correcte.

Les auteurs d’une revue systématique doivent évaluer la confiance sur une base résultat par résultat.

La nécessité d’évaluer la confiance sur une base résultat par résultat découle de la variabilité de la confiance qui se produit régulièrement d’un résultat à l’autre. Par exemple, un récent résumé des données probantes sur l’utilisation d’antagonistes de l’héparine de bas poids moléculaire par rapport à des antagonistes de la vitamine K en chirurgie orthopédique majeure a révélé des preuves de haute qualité provenant de multiples essais randomisés pour les résultats de l’embolie pulmonaire non mortelle et de la mortalité totale7. En raison de l’incohérence (résultats très variables selon les études) et du caractère indirect (les études ont mesuré une thrombose veineuse profonde asymptomatique plutôt que symptomatique), les preuves d’une thrombose verneuse profonde symptomatique ne justifiaient qu’une faible confiance. Une évaluation unique de la confiance dans les estimations pour l’ensemble des résultats serait donc inappropriée.

Conclusion

Chaque revue systématique devrait fournir des informations sur chacune des catégories indiquées dans la figure ci-dessus et la discussion associée. Les décideurs, qu’ils soient concepteurs de lignes directrices ou cliniciens, ont du mal à utiliser une revue systématique qui ne fournit pas cette information. De bons examens systématiques ont généralement mis l’accent sur l’évaluation du risque de biais (limites de l’étude) à l’aide de critères explicites. Cependant, l’accent a souvent été mis sur les évaluations des résultats de chaque étude plutôt que sur chaque résultat important d’une étude à l’autre, et l’évaluation de la confiance s’est limitée au risque de biais. La structure que nous proposons répond à toutes les questions clés qui sont pertinentes pour évaluer la confiance dans les estimations de l’effet pour les résultats individuels pertinents à une question particulière d’une manière cohérente et systématique.

1. Guyatt GH, Oxman AD, Vist G, Kunz R, Brozek J, Alonso-Coello P, et al. Directives de grade: 4. Évaluation de la qualité des preuves – limites de l’étude (risque de biais). J Clin Epidemiol 2011; 64 (4): 407-15.

2. Guyatt GH, Oxman AD, Montori V, Vist G, Kunz R, Brozek J, et al. Directives de grade: 5. Évaluation de la qualité des preuves – biais de publication. J Clin Epidemiol 2011.

3. Guyatt G, Oxman AD, Kunz R, Brozek J, Alonso-Coello P, Rind D, et al. Lignes directrices 6. Évaluation de la qualité des preuves – imprécision. J Clin Epidemiol 2011.

4. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. Directives de grade: 7. Évaluation de la qualité des preuves – incohérence. J Clin Epidemiol 2011.

5. Guyatt GH, Oxman AD, Kunz R, Woodcock J, Brozek J, Helfand M, et al. Directives de grade: 8. Évaluation de la qualité des preuves – caractère indirect. J Clin Epidemiol 2011.

6. Guyatt GH, Oxman AD, Sultan S, Glasziou P, Akl EA, Alonso-Coello P, et al. Lignes directrices pour les notes : 9. Évaluer la qualité des preuves.J Clin Epidemiol 2011.

7. Falck-Ytter Y, Francis CW, Johanson NA, Curley C, Dahl OE, Schulman S, et al. Prévention de la TEV chez les patients en chirurgie orthopédique: Thérapie antithrombotique et Prévention de la thrombose, 9e ed: Directives de Pratique clinique fondées sur des données probantes de l’American College of Chest Physicians. Poitrine 2012; 141 (2 Suppl): e278S-325S.

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée.