OpenAI lance une solution d’évaluation des LLMs en santé

OpenAI a lancé le 12 mai HealthBench, un référentiel permettant d’évaluer la performance et la sécurité des LLMs (les grands modèles de langage) dans le domaine de la santé. Il regroupe 5000 conversations, qui simulent des interactions entre des modèles d’IA et des utilisateurs ou cliniciens. Chacune est accompagnée d’une grille qui permet d’évaluer les réponses des modèles. OpenAI a construit ce référentiel avec 262 médecins dans 60 pays, qui maîtrisent 49 langues et ont une formation dans 26 spécialités médicales. “Des évaluations comme HealthBench font partie de nos efforts continus pour comprendre le comportement des modèles dans des contextes à fort impact et contribuent à garantir que les progrès sont orientés vers des avantages concrets”, a déclaré la société dans un communiqué.

À noter : La firme de Sam Altman investit de plus en plus dans le secteur de la santé. Elle a lancé en fin d’année dernière un outil de recrutement des patients, en partenariat avec Sanofi et Formation Bio.