Une publication médicale est-elle fiable ? Check-list pour se faire son propre avis

Lors de la consultation d’une information médiatique ou d’une publication éditoriale dans une revue scientifique, assurez-vous de trouver le lien vers l’étude originale. Il est essentiel de savoir si la publication provient d’un journal scientifique établi ou d’un preprint, une version non validée par des pairs. Cette distinction permet de mieux évaluer la fiabilité des informations présentées.

Vérifier que la publication fait partie de la liste des revues « présumées non prédatrices » établie par la conférence des doyens de médecine. Attention toutefois à la portée limitée de cette information, due à la définition floue des revues prédatrices. De manière générale, un délai court entre réception et publication du manuscrit (< 2 - 3 mois) suggère une évaluation par les pairs (peer-review) moins rigoureuse.

En-dehors des grandes revues (NEJM, Lancet, JAMA, BMJ, Nature, Science), qui disposent de systèmes d’évaluation par les pairs très rigoureux, mieux vaut éviter de se former une première opinion a priori de la qualité d’une recherche uniquement sur la base d’indicateurs, comme le facteur d’impact de la revue ou le h-index des auteurs. Des facteurs tels que la conception de l’étude, la méthodologie et la pertinence pour la pratique clinique sont des considérations tout aussi importantes.

Vérifiez s’il y a parmi les auteurs un ou des méthodologistes et statisticiens indépendants de l’investigateur. Comme ce dernier évalue sa propre hypothèse, leur présence est un garde-fou face aux biais cognitifs. Leur expertise est importante pour garantir la rigueur méthodologique de l’étude et minimiser les biais potentiels. La section « contributions », souvent en fin d’article, détaille le rôle de chacun dans la conception, la réalisation et l’analyse de l’étude.

Examiner les déclarations de liens d’intérêt et les remerciements, notamment dans le cas d’une étude sponsorisée par un industriel pour évaluer son influence potentielle sur l’étude. Le financement de l’étude doit être clairement indiqué. Éventuellement, rechercher les auteurs sur des plateformes telles que Transparence Santé (France), OpenPaymentsData (États-Unis) ou EurosforDocs (France ou Europe) pour obtenir une vision plus complète des potentiels conflits d’intérêts.

C’est l’étude bibliographique produisant les conclusions à plus haut niveau de preuves en médecine. Il s’agit d’un recueil des connaissances qui passe par l’identification méthodique de toutes les publications sur un sujet donné, afin d’évaluer leur qualité et d’en faire une synthèse.

C’est l’analyse quantitative des résultats d’une revue systématique afin de chiffrer l’effet moyen d’une intervention, d’un traitement, etc.

Méthode de référence pour évaluer l’effet d’une intervention en santé. Il permet d’évaluer l’effet de cette intervention (souvent un traitement médicamenteux) à l’aide d’une comparaison directe avec un groupe qui ne reçoit pas l’intervention, ou bien qui reçoit une autre intervention (par exemple un placebo). La randomisation désigne l’attribution aléatoire d’un individu à un groupe.

À la différence d’un essai ouvert où les patients et les médecins connaissent l’intervention, dans ce type d’essai ni le médecin ni le patient ne savent le traitement attribué, limitant les biais de l’étude. Dans le triple aveugle, le chercheur analysant les données n’est pas au courant du traitement attribué.

Elles sont basées sur les données collectées dans des registres ou en clinique. Elles disposent d’un niveau de données probantes plus faible que les essais contrôlés randomisés, mais sont plus adaptées à l’évaluation des dispositifs médicaux ou des actes invasifs (chirurgie, radiologie interventionnelle, etc.). Les essais randomisés émulés, qui simulent a posteriori un essai contrôlé randomisé à partir de données observationnelles via des statistiques complexes, sont une troisième voie.

Il existe quatre phases. La phase I évalue la toxicité de l’intervention chez un petit groupe de volontaires. La phase II implique quelques dizaines à centaines de malades, et détermine la tolérance au traitement ainsi que sa dose idéale. La phase III, multicentrique, qui concerne plusieurs centaines à milliers de malades, détermine l’intérêt thérapeutique du traitement, en le comparant au standard ou à un placebo. Enfin, la phase IV suit son usage en vie réelle.

Commencer par les objectifs annoncés de l’étude : sont-ils respectés ? Ensuite, lire la section « matériel et méthodes » pour comprendre le protocole, puis les résultats, et enfin la conclusion et la discussion. Être attentif aux limites déclarées par les auteurs dans la partie discussion.

L’étude utilise-t-elle un contrôle ? Les patients des différents groupes ont-ils été recrutés en même temps ? En cas de comparaison entre différents « bras », les caractéristiques démographiques et l’état de santé des groupes doivent être similaires à l’inclusion. Les auteurs doivent avoir pris en compte les facteurs de confusion (âge, tabagisme, milieu socioprofessionnel, etc.) pour produire une interprétation pertinente de leurs résultats.

Star de l’analyse statistique biomédicale, la p-value quantifie la significativité statistique. Elle est remise en cause comme métrique phare de l’efficacité d’un traitement car elle prête à confusion : significativité statistique n’est pas synonyme d’efficacité thérapeutique. À la place, mieux vaut regarder l’effet du traitement.

Il peut s’exprimer comme une différence de moyenne (somme des effets individuels divisée par l’effectif total), accompagnée de l’écart-type pour évaluer la variabilité des données. Il peut également être mesuré par un risque relatif (rapport entre la probabilité d’un événement chez les individus traités et la probabilité du même événement chez les individus contrôles) ou par un hazard ratio  (probabilité de survenue d’un événement en un temps précis dans le groupe traité par rapport au groupe témoin)… Il est indissociable de l’intervalle de confiance, qui représente l’incertitude associée à l’effet estimé.

C’est le critère d’évaluation choisi par l’étude, autour duquel elle est montée. Une étude d’évaluation d’un traitement médical doit le présenter clairement, et conclure à ce sujet. On peut éventuellement comparer ce critère entre la publication et le protocole posté en début d’étude sur des registres d’essais cliniques, comme clinicaltrials.gov. Si ce critère change en cours de route, ou si la publication conclut sur une analyse de sous-groupe ou de critères secondaires, on peut suspecter une analyse partiale des données, présentant uniquement les résultats positifs de l’étude.

Même une étude bien menée qui montre d’excellents résultats pour un traitement donné peut ne pas refléter son efficacité réelle. Tout résultat doit être répliqué pour être confirmé.

La science n’est jamais figée et l’incertitude y est structurelle. Pour décider, on doit avoir accès à toutes les données factuelles. Cependant, les résultats négatifs ne sont pas toujours disponibles, et près de 40 % des études ne sont jamais publiées. Il est aussi important de suivre les rétractations d’articles (par exemple viaRetraction Watch). Une étude peut être retirée pour diverses raisons, notamment la fabrication de données, le plagiat, des violations éthiques, des erreurs importantes, des publications en double, des conflits d’auteurs ou des préoccupations éditoriales.

Des avis d’experts dissonants par rapport à la position des auteurs peuvent s’exprimer dans des réponses à l’éditeur, sur les réseaux sociaux ou encore sur des plateformes comme PubPeer.

Il faut être critique vis-à-vis de la couverture médiatique, qui peut être biaisée. Elle est souvent emphatique et passe sous silence les limites des publications, ce qui souligne l’intérêt de se faire sa propre idée !