Pharmacothérapie: ChatGPT échoue à répondre à des questions complexes

Si les systèmes basés sur l’intelligence artificielle (IA) rivalisent parfois avec les spécialistes en radiologie ou en dermatologie, la situation s’avère différente dans le domaine du conseil en pharmacothérapie.

Des chercheurs de la Haute École médicale de Hanovre (MHH) ont étudié la qualité des réponses de ChatGPT à des demandes pharmacologiques réelles, publiant leurs résultats dans le «British Journal of Clinical Pharmacology». Leur objectif: analyser des facteurs spécifiques au patient – tels que l’âge, les comorbidités ou la fonction rénale et hépatique – et de formuler des propositions thérapeutiques précises, tant sur le plan scientifique que linguistique.

Le résultat est sans appel: l’expertise humaine a nettement surclassé l’IA, tant en termes de contenu que de qualité des informations.

L’équipe a soumis 70 questions pharmacothérapeutiques issues de la pratique clinique à ChatGPT (3.5). Les chercheurs ont ensuite comparé les réponses du chatbot à celles fournies par les médecins du centre d’information sur les médicaments de la MHH entre juin et octobre 2023.

Trois évaluateurs indépendants – dont l’expérience variait du débutant au spécialiste en pharmacologie clinique – ont évalué, en aveugle, la qualité des informations, l’exactitude du contenu et la qualité linguistique des réponses.

«Nos résultats suggèrent que les professionnels restent supérieurs à l’IA dans ce domaine», explique Benjamin Krichevsky, premier auteur de l’étude, dans le «Deutsches Ärzteblatt».

Certaines erreurs se sont révélées particulièrement préoccupantes : ChatGPT a ainsi décrit l’Actrapid (insuline humaine) comme un analgésique et recommandé l’utilisation de l’INR (International Normalized Ratio) pour surveiller les anticoagulants oraux directs.

«Si les professionnels de santé avaient suivi de tels conseils sans faire preuve d’esprit critique, cela aurait pu avoir des conséquences potentiellement graves – allant d’un traitement inadapté de la douleur à un risque accru d’hypoglycémie, d’hémorragie ou de complications thromboemboliques», souligne le dernier auteur, Heck, dans le «Deutsches Ärzteblatt».

À noter toutefois: seule une version précédente du modèle (3.5) a été testée. Selon les auteurs, d’autres études permettront de déterminer si des systèmes plus récents, comme GPT-5 ou des modèles d’IA spécialisés, offriront de meilleurs résultats à l’avenir.

Cette étude démontre de manière probante que la pharmacologie clinique requiert bien plus qu’une simple compréhension de textes – elle exige de l’expérience, des connaissances contextuelles et un sens aigu des responsabilités. L’IA peut constituer un outil d’aide à la recherche d’informations, mais elle ne saurait se substituer à la prise de décision médicale.