Analyser et utiliser les résultats des études cliniques dans la perspective du bon usage. Analyse critique, recherche clinique et niveaux de preuve (voir item 3)

L’analyse de la littérature dans une perspective de bon usage du médicament consiste à évaluer le niveau de preuve des études existantes (validité interne), l’applicabilité de leurs résultats à la pratique (validité externe) et la pertinence clinique des effets mis en évidence.

Évaluer un traitement consiste à déterminer si son utilisation est associée à des modifications de l’état de santé.
Le niveau de preuve d’une étude juge sa validité interne, c’est-à-dire sa capacité à estimer correctement une association et à en démontrer le caractère causal. La modification de l’état de santé pourra donc être attribuée à l’effet propre du traitement. Plus une étude est capable d’éliminer les autres explications possibles de ces changements, et à estimer correctement la taille de l’effet attribué, plus elle obtient un haut niveau de preuve (voir la classification de la Haute Autorité de santé [tableau 1]).
Les études comparatives sont classées selon leur capacité à éliminer toute source de différences autre que le traitement entre les groupes comparés.
Les sources de différences potentielles entre groupes comparés peuvent porter sur :

• les caractéristiques initiales des patients (plus malades, moins observants dans un groupe) ;
• les modalités de suivi des patients (plus de tests, tests plus performants dans un groupe) ;
• la croyance dans l’efficacité des traitements des patients, des médecins ou des évaluateurs.

De fait :

• seule une randomisation bien menée assure que les caractéristiques initiales des groupes comparés sont globalement similaires en dehors du traitement ;
• seul un suivi prospectif avec standardisation des procédures de diagnostic et de mesures assure que la prise en charge des groupes comparés est similaire en dehors du traitement ;
• seul un aveugle efficace assure que la croyance en l’efficacité du traitement est similaire pour les différents traitements comparés.

En conséquence, le suivi prospectif assurant, de plus, que le traitement a précédé l’effet, les essais comparatifs randomisés en double aveugle de forte puissance se voient attribuer le meilleur niveau de preuve (niveau I). Ceux de faible puissance sont de niveau II car leur capacité à démontrer/voir un effet est moindre.
Les études observationnelles comparatives (cohorte ou cas-témoins) ne peuvent éliminer totalement ces différences, puisque l’aveugle et la randomisation y sont impossibles. Leur niveau de preuve est donc plus faible.
Cohorte (niveau II) :

• possibilité de standardiser le suivi ;
• assurance que le début du traitement a bien précédé la différence de changement de l’état de santé entre les groupes comparés.

Cas-témoins (niveau III) :

• standardisation du suivi impossible ;
• moindre certitude concernant l’antériorité du traitement sur l’effet ;
• oubli possible de certains traitements (moindre validité de la mesure de l’exposition).

Les études non comparatives (études descriptives, séries de cas, opinions d’experts) offrent le plus faible niveau de preuve (niveau IV). Le manque de comparaison empêche en effet toute conclusion causale, les modifications observées de l’état de santé des patients traités pouvant être liées à l’évolution naturelle de la maladie, à un effet placebo, à la prise d’un autre traitement, ou à toute autre explication.

La validité interne évalue l’estimation de la taille d’un effet et son caractère causal. La validité externe évalue son applicabilité en vie réelle dans les conditions habituelles de prise et de surveillance du traitement, dans la population générale des malades. Pour cela, il faut examiner les conditions dans lesquelles l’effet du traitement a été mis en évidence, en particulier :

• les modalités du traitement auquel a été associé l’effet (conditions d’administration, de prise, de surveillance) ;
• les caractéristiques de la population dans laquelle l’effet a été estimé (représentative des patients susceptibles d’être traités, excluant des catégories à risque, individualisant des sous-groupes particuliers).

Cet examen permet de déterminer si la reproduction de l’effet dans la population semble réaliste, et quelle population il concerne.

Un effet peut être statistiquement significatif sans avoir aucune pertinence clinique.
La pertinence clinique est évaluée en déterminant si l’effet d’un traitement a été mis en évidence :

• avec un traitement de comparaison approprié (placebo dans un essai clinique en l’absence de traitement de référence existant dans l’indication ; traitement de référence dans un essai clinique dans tout autre circonstance ; exposition à une alternative thérapeutique ou, à défaut, à la non-exposition, mais chez des sujets présentant l’indication dans une étude observationnelle) ;
• sur le critère de jugement principal de l’étude (critère pertinent dans l’indication étudiée, en favorisant les critères terminaux [survie, morbi-mortalité] plutôt que les critères de substitution [paramètres paracliniques]) ;
• pour une taille d’effet cliniquement pertinente (définie a priori dans les méthodes de l’étude, justifiée sur des données de la littérature) ;

• avec une durée de suivi adaptée (prolongée dans une maladie chronique).

Ceci nécessite d’examiner la validité interne, l’applicabilité et la pertinence clinique. Cet examen est ici détaillé par type d’étude en reprenant les points vus précédemment.

Examen de la validité interne

L’effet du traitement a-t-il été correctement évalué ? La première étape de l’examen de la validité interne consiste à vérifier l’adéquation des méthodes à la question posée dans l’étude, à la maladie étudiée, au mécanisme d’action de l’intervention et à la taille d’effet espérée :

• type d’objectif : essai de supériorité (destiné à mettre en évidence une différence) ou de non-infériorité (destiné à mettre en évidence une absence de différence) ;
• schéma de comparaison : essai en groupes parallèles ou croisés (les essais croisés ne sont adaptés qu’à l’étude des maladies chroniques d’expression stable) ;
• durée de suivi : adaptée au mécanisme de l’intervention ;
• taille d’échantillon définie après le calcul du nombre de sujets nécessaires. Ce calcul dépend entre autres de la taille de l’effet espérée ;
• méthodes d’analyse : tests adaptés à la comparaison de proportions si le critère de jugement est une variable qualitative (guéri/non guéri, par exemple), à la comparaison de moyenne si le critère de jugement est une variable quantitative (mesure moyenne d’hémoglobine glyquée, de périmètre de marche, etc.), à la comparaison de survie pour un essai évaluant les proportions de guérison (oui/non) en prenant en compte le délai jusqu’à chaque guérison (temps).

La deuxième étape consiste à évaluer l’exposition de l’étude aux biais de sélection (groupes non comparables à l’origine), de mesure (suivis non comparables, mesures affectées par les convictions) et de confusion (attribuant au traitement une modification de l’état de santé liée à un autre facteur).
Les méthodes de contrôle des biais dans un essai clinique sont les suivantes :

• contrôle du biais de sélection/comparabilité des groupes. Il faut examiner la randomisation : la procédure est-elle détaillée ? La procédure a-t-elle fonctionné ? Il faut vérifier que les groupes comparés ont des caractéristiques comparables, dans le tableau décrivant les patients des différents groupes. Une analyse en intention de traiter (c’est-à-dire en respectant les groupes initiaux obtenus par la randomisation) doit être réalisée puisqu’elle permet le maintien de la comparabilité des groupes ;
• contrôle du biais de mesure/suivi et mesures identiques dans les groupes. Il faut examiner l’aveugle ou l’insu : la procédure est-elle détaillée ? Garantit-elle la présentation identique des traitements dans les groupes comparés ? Il faut ensuite examiner les procédures de suivi : est-il standardisé ? Les procédures de suivi et de mesures sont-elles détaillées ? Sont-elles identiques entre groupes ? ;
• contrôle du biais de confusion par les groupes de comparaison. Il faut évaluer l’adéquation du groupe de comparaison (cf. Section d’évaluation des essais cliniques). Il faut également vérifier qu’une analyse en intention de traiter a été réalisée. La randomisation permet la comparabilité des groupes à l’inclusion. En considérant l’ensemble des sujets inclus, l’analyse en intention de traiter permet de conserver cette comparabilité (un statut est donné aux perdus de vue, qui doit être précisé dans la section d’analyse statistique).

Examen de la validité externe

L’effet mis en évidence dans l’essai peut-il raisonnablement être reproduit dans la pratique ?
Il faut pour cette évaluation examiner les caractéristiques de la population de l’essai.
Quels sont le stade de la maladie et les comorbidités des patients inclus ?
Les comorbidités sont-elles représentatives de celles des patients traités en pratique courante ? Si elles sont trop rares, cela peut-il avoir favorisé l’effet ou la sécurité dans l’essai par rapport à la « vraie vie » ?
Quels sont les co-traitements des patients inclus ? Sont-ils représentatifs de ceux utilisés par les patients présentant l’indication ? Des interactions ont-elles été prises en compte dans l’évaluation de l’effet du traitement ?
Il faut aussi examiner les caractéristiques du traitement nécessaires à l’obtention de l’effet : les conditions de prise sont-elles acceptables ? Les conditions d’observance sont-elles réalistes ? Les conditions de surveillance sont-elles réalistes ? Il est ainsi intéressant de vérifier que les résultats issus des essais cliniques sont confirmés lors de l’utilisation du traitement en vie réelle à l’aide d’études pharmaco-épidémiologiques, par exemple.

Examen de la pertinence clinique

Le nouveau traitement apporte-t-il une amélioration intéressante en clinique par rapport à ce dont je dispose déjà ?
On répond pour cela aux questions suivantes :

• Le traitement de comparaison est-il adéquat ? La comparaison à un traitement de référence est indispensable dès lors qu’il existe déjà un traitement à l’efficacité démontrée dans l’indication.
• Le critère de jugement est-il pertinent ? Par exemple, est-il pertinent de regarder la mortalité cardiovasculaire d’un traitement sans prendre en compte la mortalité toutes causes ?
• L’effet est-il statistiquement significatif ? (Sinon, il n’est pas démontré.)
• La taille d’effet est-elle cliniquement significative ? Un effet peut être statistiquement significatif sans que le gain pour le patient ne soit pertinent. Cela peut être le cas lors d’études fondées sur des échelles d’évolution d’une maladie, par exemple.

Une méta-analyse d’essais cliniques a pour objectif de faire l’estimation globale de l’effet d’un traitement en regroupant les données issues de l’ensemble des essais cliniques au sein d’une même analyse. En regroupant les données des différents essais, la puissance est augmentée. La validité d’une méta-analyse dépend de la validité des essais qu’elle considère et de sa capacité à considérer l’ensemble des essais éligibles.
Les résultats d’une méta-analyse fondée sur des essais cliniques de mauvaise qualité n’auront donc pas une validité supérieure à celle des essais inclus.
Pour évaluer la validité interne d’une méta-analyse, il faut donc examiner :

• la validité interne des essais inclus : celle-ci est normalement effectuée dans le cadre de la méta-analyse. Il convient d’étudier quels ont été les éléments de validité étudiés pour les essais retenus, de vérifier que ces éléments permettaient d’évaluer correctement leur validité, et d’étudier comment ont été considérés les essais dont la validité interne était limitée (ont-ils été inclus ? exclus ? inclus pour des analyses de sensibilité ?) ;
• la validité de la procédure d’indentification et de sélection des essais : si tous les essais éligibles ne sont pas représentés, la synthèse obtenue par méta-analyse n’est pas valide. L’identification et la sélection sont réalisées au cours d’une étape initiale de revue systématique de la littérature, pour laquelle la stratégie de recherche et les critères de sélection des essais doivent être clairement détaillés, avec une section précisant comment ont été recherchés les essais non publiés, les méthodes employées pour rechercher un biais de publication (le plus souvent des diagrammes en entonnoir). Les essais concluants étant plus susceptibles d’être publiés que les autres, une méta-analyse utilisant uniquement les données d’essais publiés a tendance à surestimer l’effet d’un traitement. Toute méta-analyse doit rechercher la possibilité d’un tel biais.

L’examen de la validité externe des résultats et de la pertinence clinique des résultats d’une méta-analyse est similaire à celui réalisé pour un essai clinique.

L’examen de la validité interne consiste en premier lieu à vérifier l’adéquation des méthodes à la question posée, comme dans un essai clinique.

Durée de suivi

Elle est adaptée à la durée de la maladie et au mécanisme de l’effet.
Études de cohorte : le temps de suivi adapté se situe entre le début de l’exposition et la recherche de l’événement. Un suivi court ne permet pas de voir un effet à long terme, un suivi trop long peut « diluer » un effet à court terme.
Études cas-témoins : l’antériorité avec laquelle est recherchée l’exposition (ou fenêtre d’exposition) doit être adaptée (un traitement chronique débuté 15 jours avant le diagnostic d’un cancer ne peut être à risque ; un traitement ponctuel pris 9 mois avant le diagnostic d’un infarctus non plus).

Taille d’échantillon

Il doit être justifié et adapté à la taille d’effet espérée.

Méthodes d’analyse

Les tests sont adaptés à la comparaison effectuée (cf. Essais cliniques).
Il faut ensuite évaluer l’exposition de l’étude aux biais déjà cités. En fonction du schéma d’étude, on examine les points suivants.
Contrôle du biais de sélection
Cohorte : l’ensemble des sujets doit être indemne de l’affection en début de suivi, avoir le même risque théorique de présenter l’événement d’intérêt en début de suivi, et être susceptible d’être exposé au traitement d’intérêt. Il faut vérifier les critères de sélection et d’éligibilité des patients des différents groupes. Une procédure d’appariement a-t-elle été utilisée ? L’appariement vise à sélectionner, pour un sujet exposé au traitement d’intérêt, des sujets contrôles (non exposés) ayant des caractéristiques identiques (même sexe, même âge, même maladie, même sévérité de la maladie, etc.).
Cas-témoins : la problématique est inversée (l’ensemble des sujets doit, à l’inclusion, avoir la même probabilité théorique d’avoir reçu le traitement d’intérêt dans le passé, et la même probabilité d’avoir eu le diagnostic une fois malade), mais les questions sont les mêmes. Dans le cas d’une étude cas-témoins, l’appariement consiste à trouver, pour chaque cas, des témoins (non malades) qui lui « ressemblent ».
Contrôle du biais de mesure (ou biais de classement)
Cohorte : un suivi prospectif standardisé avait-il été défini ? Sinon, y a-t-il eu a posteriori une analyse des modalités du suivi des patients des différents groupes ? Ce suivi apparaît-il similaire ? La probabilité de détection de l’événement est-elle a priori similaire entre les deux groupes ?
Cas-témoins : la recherche d’une exposition passée a-t-elle été effectuée à l’identique chez les cas et les témoins ? Si cette recherche reposait sur l’interrogatoire et la mémoire des patients, les cas étaient-ils plus à même de se rappeler une exposition passée que les témoins ? (c’est le mécanisme habituel du biais de mémorisation : les mères de nouveau-né malade se rappellent mieux les traitements pris durant la grossesse que celles de nouveau-né en parfaite santé).
Contrôle du biais de confusion
Comme il n’y a pas de randomisation, des techniques de prise en compte statistique des différences entre groupes sont nécessaires :

• ajustement : y a-t-il eu ajustement (les analyses sont dites multivariées ou ajustées) ? A-t-il considéré les facteurs de confusion potentiels les plus importants (c’est-à-dire les principaux facteurs de risque de survenue ou de guérison de la maladie, ayant également pu être associés à la probabilité de recevoir le traitement d’intérêt) ? Dans toute étude observationnelle évaluant un traitement cardiovasculaire, il faut prendre en compte pour l’ajustement des analyses le sexe, l’âge, le tabagisme, l’hypercholestérolémie, etc. La non-prise en compte de ces facteurs limite la validité interne, en augmentant la possibilité que les résultats soient affectés par un biais de confusion ;
• stratification : y a-t-il eu stratification (des analyses sont faites en sous-groupes) ? La stratification sur une caractéristique permet d’éliminer la confusion liée à un facteur (tabagisme) et d’individualiser les effets par sous-groupes de patients (1. les fumeurs, 2. les non-fumeurs). Elle divise la population et a une capacité inférieure à celle de l’étude globale pour mettre en évidence un effet. Plus on considère de facteurs (tabagisme et sexe), plus les groupes où l’effet de l’exposition est recherché sont nombreux et petits (1. femmes non fumeuses, 2. femmes fumeuses, 3. hommes non fumeurs, 4. hommes fumeurs). Il y a donc un équilibre à rechercher entre stratification et puissance.

Le placebo est un traitement, quelle que soit sa forme, présenté comme efficace alors qu’il est dénué d’effet propre.
L’effet placebo est défini comme l’écart positif constaté entre le résultat thérapeutique observé et l’effet thérapeutique prévisible au regard des propriétés du traitement. Les bases physiologiques de l’effet placebo sont imparfaitement connues. Elles pourraient impliquer la sécrétion d’endorphines.
On distingue placebo « pur » (inerte et neutre) et placebo « impur » (possédant des propriétés pharmaco­dynamiques sans rapport avec la maladie à traiter).
Quand il est administré en lieu et place d’un médicament identifié, le placebo mime les effets du traitement actif ; son effet apparaît proportionnel à l’efficacité attendue du traitement actif. L’effet placebo s’épuise dans le temps. Ses caractéristiques sont présentées dans le tableau 2.

L’effet placebo est présent dans tout acte médical (figure). Il occupe une place importante dans la pratique médicale car il participe à tout effet thérapeutique.
Il est conditionné par :

• le traitement (effets de la voie d’administration, de la couleur, du goût) ;
• le médecin (notoriété, empathie, conviction) ;
• le patient (facteurs psychologiques, croyances) ;
• la relation médecin-patient.

L’effet nocebo est également un composant systématique de l’effet thérapeutique. Il constitue l’écart négatif entre le résultat thérapeutique observé et l’effet thérapeutique prévisible. Si leur nature n’est pas liée aux propriétés du traitement, les effets indésirables « nocebo » sont bien induits par sa prise. La somnolence, les céphalées et les troubles digestifs comptent parmi les plus fréquents ; des cas de dépendance physique avec syndrome de sevrage ont été décrits.

Dans un essai comparatif (de type phase III) où l’on évalue un traitement actif, la présence d’un groupe contrôle permet de disposer d’une référence pour l’évolution naturelle de la maladie. Si ce groupe contrôle est traité par placebo, on dispose d’une référence pour l’évolution de la maladie chez des patients bénéficiant d’un même effet placebo/nocebo que ceux recevant le traitement à l’étude. La différence d’évolution de l’état de santé entre les groupes est donc attribuable à l’effet propre de ce traitement.
En l’absence de traitement de référence servant de comparateur actif, le placebo est donc essentiel en recherche clinique pour permettre l’évaluation des nouveaux traitements, en particulier dans les essais de phase III.
L’utilisation de double placebo (une injection dans un groupe avec comprimé actif, un comprimé dans un groupe avec injection active, par exemple) peut permettre d’évaluer l’intérêt d’une nouvelle forme galénique, d’une nouvelle posologie, d’un nouvel horaire de prise.
L’emploi du placebo dans le groupe contrôle se justifie éthiquement lorsqu’il n’existe pas de traitement de référence dans l’indication étudiée. Il est également possible dans le cas d’affections peu graves, d’évolution bénigne, pour lesquelles la guérison spontanée est la règle, mais l’utilisation d’un traitement de référence doit toujours être favorisée. Lors de la signature du consentement éclairé, les patients doivent être informés de la possibilité d’être inclus dans le groupe placebo.

L’emploi du placebo est controversé. La présentation du placebo comme un traitement actif, nécessaire à son efficacité, est en contradiction avec le principe du consentement éclairé inscrit dans la loi, qui spécifie que « toute personne prend, avec le professionnel de santé, compte tenu des informations et préconisations qu’il lui fournit, les décisions concernant sa santé ».
Pourtant, la prescription du placebo semble justifiée médicalement lorsque le bénéfice attendu des traitements actifs utilisables apparaît inférieur au risque qu’ils font courir. Dans ces situations, le placebo peut constituer l’option thérapeutique présentant le meilleur rapport bénéfice-­risque pour le patient. Son utilisation respecterait en ce sens le contrat moral liant le médecin à son patient et semblerait éthiquement acceptable, si ce n’est légalement. De fait, l’usage du placebo est fréquent en pratique médicale. Dans des études réalisées aux États-Unis et en Suisse, respectivement 56 % et 72 % des généralistes interrogés déclaraient avoir utilisé des placebos, le plus souvent impurs, au cours de leur activité.

Pour définir ce qu’est un lien d’intérêts, il faut d’abord définir ce qu’est un expert. Dans le domaine de la santé, un expert est une personne physique à qui une agence, un organisme d’État ou une entreprise du médicament fait appel pour lui demander conseil et avis. Un expert est donc obligatoirement expert auprès : d’une instance (la Haute Autorité de santé [HAS], l’Agence nationale de sécurité du médicament [ANSM], la Direction générale de la Santé [DGS], l’Agence européenne du médicament [EMA], etc.), ce qui constitue l’expertise publique ; ou d’une entreprise (laboratoire pharmaceutique, etc.). Les conflits d’intérêts concernent en premier lieu l’expertise publique.
Dans le domaine de l’évaluation des traitements comme dans tout autre, il n’est pas possible d’être à la fois juge et partie. Il est alors important de distinguer « lien » et « conflit d’intérêts ». Selon la loi relative à la transparence de la vie publique, un conflit d’intérêts naît d’une situation dans laquelle les liens d’intérêts d’une personne sont susceptibles, par leur nature ou leur intensité, de mettre en cause son impartialité ou son indépendance dans l’exercice de la mission qui lui est confiée au regard du dossier à traiter.
Le conflit d’intérêts consistant à participer à l’évaluation publique d’un traitement qu’on a contribué à développer est évident. Ceci est vrai que le développement ait été ou non promu par un industriel, qu’il ait été ou pas l’occasion d’une rémunération. Un expert ayant participé au développement d’un traitement ne peut être considéré comme un évaluateur objectif de ce traitement. Il doit, après déclaration de son lien d’intérêts, être récusé pour l’évaluation pour laquelle ce lien constituerait un conflit.
La difficulté réside dans la définition de la durée et de l’étendue des conflits liés à un lien d’intérêts. L’expert doit-il être récusé pour l’évaluation de tous les produits d’un laboratoire ? De tous les médicaments partageant des indications du traitement qu’il a contribué à développer ? Et pour quelle durée ?
Ces aspects restent actuellement à définir. La participation au développement de nouveaux traitements est un moyen pour les professionnels de se maintenir à la pointe de l’innovation. Ces professionnels en pointe constituent théoriquement des candidats de choix pour l’expertise publique. L’absence de définition claire du périmètre des conflits d’intérêts fait actuellement courir le risque, par précaution, d’en récuser une grande partie faute de savoir évaluer leurs liens d’intérêts.
Les professionnels qui ne participent pas à l’expertise publique, quels que soient leurs liens d’intérêts, ne sont pas concernés par les problèmes de conflits d’intérêts. Ils le deviennent cependant dès qu’ils expriment leur opinion dans un cadre public, en particulier dans les médias. Ils doivent alors présenter l’intégralité de leurs liens d’intérêts, comme cela doit être fait dans une publication ou une présentation scientifique. Au moment d’évaluer une information médicale issue de la littérature, ces liens doivent être systématiquement examinés afin d’estimer en quoi ils peuvent avoir influencé les résultats présentés.