IA en pratique clinique : qui l’évalue et avec quelle efficacité ?

La revue exploratoire d’essais contrôlés randomisés (ECR) sur l’intelligence artificielle (IA) dans la pratique clinique, menée par Ryan Han et Pranav Rajpurkar, chercheurs au département d’informatique biomédicale de la Harvard Medical School, donne en premier lieu à voir les acteurs qui se sont le plus intéressés à ces évaluations.  

Qui mène ces ECR et dans quels domaines ?

Les ECR visant à évaluer l’intelligence artificielle dans la pratique clinique sont encore majoritairement menées par les États-Unis (31% des ECR étudiés) et la Chine (30%). Aussi, relève l’étude, les essais menés dans plusieurs pays impliquent principalement des pays européens (86 %). La figure ci-dessous met en lumière la répartition des essais selon les pays et les spécialités.

Sur les 86 ECR étudiés, 43 % étaient liés à la gastro-entérologie, 13 % à la radiologie, 6 % à la chirurgie et 6 % à la cardiologie. À noter que 24 (65 %) des 37 essais de gastro-entérologie ont été menés par seulement quatre groupes (8 essais de l’Université de Wuhan, 6 de Wision AI, 6 de Medtronic et 4 de Fujifilm).

Des essais aux résultats contestables…

Que valent toutes les études qui concluent à la supériorité de l’intelligence artificielle sur le clinicien ? C’est aussi à cette question qu’ont voulu répondre les chercheurs de l’étude publiée ce mois-ci dans The Lancet. Si 81% des essais analysés relèvent un apport positif de l’IA, notamment en termes de rendement et de performance du diagnostic, la prédominance des essais monocentriques, la variabilité démographique des populations étudiées et les différences notoires d’efficacité opérationnelle selon les IA étudiées, “soulèvent des inquiétudes quant à la généralisabilité et au caractère pratique de ces résultats”, note The Lancet, qui évoque également la probabilité d’un “biais de publication” (la propension plus grande qu’ont les chercheurs à publier des résultats positifs que des expériences ayant obtenu un résultat négatif). Aussi, la revue scientifique insiste sur la nécessité de mener des recherches “plus complètes, comprenant des essais multicentriques, des mesures de résultats diverses et des normes de reporting améliorées”

…voire risqués

Autre problème de fond : bon nombre des modèles d’IA ont été testés rétrospectivement, hors d’un véritable contexte clinique. “Sur près de 300 dispositifs médicaux basés sur l’IA approuvés ou autorisés par la Food and Drug Administration des États-Unis, seuls quelques-uns ont fait l’objet d’une évaluation à l’aide d’essais contrôlés randomisés (ECR) prospectifs”, relèvent les chercheurs, faisant référence à une étude sur les limites des approbations de la FDA.

À partir de paramètres de substitution, ces études tentent d’imiter ce que pourrait être une prise en charge clinique. Aussi, note l’étude, “la rareté de l’évaluation réelle des systèmes d’IA contribue à une incertitude considérable, notamment en termes de possibilité de risque significatif pour les patients et les cliniciens”. Ainsi, à titre d’exemple, une étude a révélé que l’Epic Sepsis Model (ESM), un modèle de prédiction du sepsis mis en œuvre dans des centaines d’hôpitaux américains n’a pas été correctement évalué malgré son utilisation généralisée. Ses performances, notent les auteurs de l’étude seraient “considérablement pires” que celles signalées par son développeur, entraînant un lourd fardeau de fatigue liées à des alertes non pertinentes…