Des chercheurs ont testé ChatGPT pour suivre les effets secondaires en radiothérapie

Les LLM pourront-ils un jour aider les médecins à diagnostiquer et évaluer les effets secondaires en cancérologie ? Le Pr Jean-Emmanuel Bibault, cancérologue à l’hôpital Pompidou et chercheur en intelligence artificielle, a travaillé sur cette question avec David JH Wu, étudiant en radiothérapie de l’University of Minnesota Medical School. Au travers d’une étude sur l’usage de ChatGPT dans le suivi des effets secondaires dans le traitement par radiothérapie du cancer de la prostate, publiée dans le journal Radiotherapy & Oncology, le Pr Jean-Emmanuel Bibault réalise une première incursion en recherche appliquée autour de l’IA générative et des LLM.

“Une radiothérapie, c’est une séance par jour pendant sept semaines, accompagnée d’un rendez-vous hebdomadaire lors duquel le médecin va interroger le patient en cours de traitement sur d’éventuels effets secondaires”, décrit le Pr Jean-Emmanuel Bibault, familier de cette organisation dans l’hôpital où il exerce près de 70% de son temps. Le processus de collecte et de documentation des symptômes est fastidieux pour un médecin et les effets secondaires sont sous-estimés dans près de 30% des cas, soutient le professionnel. Pour rétablir une meilleure prise en compte des effets secondaires, les deux chercheurs ont voulu tester le comportement d’un LLM dans un tel scénario.

Les chercheurs ont utilisé deux méthodes pour évaluer la capacité de GPT-4 à diagnostiquer les effets secondaires sur la base des standards d’évaluation internationaux. La première application mise en place est un chatbot. Il a été spécialement conçu pour interagir directement avec les patients et classer leurs symptômes selon leur gravité. “Dans ce cas de figure, c’est comme si le patient consultait librement un médecin avec très peu de guidage” précise le Pr Jean-Emmanuel Bibault.

Parce que le chatbot a très vite montré des limites, les auteurs ont dû imaginer une deuxième application, consistant à utiliser ChatGPT pour restituer une synthèse à partir des réponses rédigées par les patients à partir d’un questionnaire à choix multiples. “ChatGPT fait une synthèse en trois ou quatre phrases pour ne garder que la liste des effets secondaires avérés, en ajoutant les informations complémentaires rédigées par les patients dans champ de texte libre”. 

Le chatbot libre n’a pas convaincu

Les médecins participant au sondage ont déclaré que la méthode de synthèse issue du questionnaire écrit s’est avéré plus efficace pour décrire les effets secondaires du traitement. Cette méthode induit que le LLM est davantage guidé et que les réponses qui ressortent sont plus pertinentes. 

A contrario, le chatbot utilisé dans la première méthode est sujet aux “hallucinations” et fournit des réponses moins exactes. Les auteurs de l’étude ont observé que plus les symptômes décrits par les patients étaient graves (appartenant aux grades 2, 3 voire 4), plus le chatbot faisait d’erreurs (avec des taux de précision inférieurs à 75%). Jean-Emmanuel Bibault ne se l’explique pas, mais le rapport laisse entendre qu’un LLM a plus de mal à identifier la nuance clinique, qui tend à augmenter avec la complexité des symptômes.

Cette étude a été réalisée sur des patients virtuels, étant donné que ChatGPT est un LLM à source fermée transitant par les serveurs d’OpenAI qui ne sont pas agréés pour des données de santé. Pour poursuivre ce travail, de grands modèles de langage open source devraient prendre le relais de ChatGPT, tels que Llama (Meta) et le LLM de la start-up française Mistral, annonce le Pr Jean-Emmanuel Bibault. Les chercheurs pourraient réaliser du “Fine-Tuning” sur ces LLM, afin de les sur-entraîner à réaliser des tâches précises.

L’avenir des LLM dans les soins

Les résultats de l’étude ouvriront, in fine, peut-être la voie à des applications concrètes à l’hôpital. “Le but final serait de donner aux patients en cours de traitement une adresse web ou une tablette pour qu’ils puissent répondre à un questionnaire sur leurs symptômes une fois par semaine. Ce système permettrait aux médecins de se concentrer sur les effets secondaires les plus graves signalés”, évoque le Pr Jean-Emmanuel Bibault.

“Ce principe s’applique aujourd’hui à la cancérologie mais pourrait être appliqué dans presque tous les domaines de la médecine, par exemple dans le triage des patients aux urgences, qui pourrait être fait par l’intermédiaire d’un chatbot” ajoute-t-il. Le professeur nuance toutefois qu’à l’heure actuelle “il n’est pas possible d’utiliser ces grands modèles sans autorisation, car il faut être en mesure de les maîtriser et de les évaluer avant de les déployer”.

Plutôt que d’utiliser des LLM très énergivores, le Pr Jean-Emmanuel Bibault imagine, à l’avenir, des LLM “plus petits en taille”, qui consommeraient moins de ressources informatiques et pourraient être déployés en local au sein d’un service hospitalier, sans que les données ne transitent par un serveur.