Les ratés de l’IA en santé

L’IA serait-elle moins intelligente que son nom le suppose ? La pandémie actuelle a douché les espoirs des chercheurs de voir un algorithme d’IA apporter un soutien aux soignants en première ligne, en leur permettant de diagnostiquer et trier les patients plus rapidement. Plusieurs centaines d’outils ont été développés à cette fin et aucun d’entre eux n’a apporté une réelle aide dans la lutte contre le Covid 19, révèle un rapport de l’Alan Turing Institute (ou Institut national du Royaume-Uni pour la science des données et l’intelligence artificielle) publié en juin 2021. Pire, souligne Will Douglas Heaven, spécialiste de l’IA au Massachusetts Institute of Technology, certaines “intelligences” sont arrivées à des aberrations logiques potentiellement nocives si elles n’avaient pas été révélées à temps par leurs créateurs. Ainsi, des IA entraînées à reconnaître les signes d’absence de Covid-19 sur des données comportant des scanners thoraciques d’enfants, ont appris à identifier les enfants… et non l’absence de Covid-19. Une IA, dont le modèle reposait sur des données contenant un mélange d’analyses prises lorsque les patients étaient allongés et debout, a appris à tort à prédire un risque de Covid-19 grave à partir de la position d’une personne, parce que les patients scannés en position couchée étaient plus susceptibles d’être gravement malades. D’autres IA se sont focalisées sur les polices de caractère utilisées pour étiqueter les scans, et conclu que les polices utilisées par des hôpitaux avec des charges de travail plus importantes permettaient de prédire les risques de Covid-19.

Une intelligence peu adaptée à un usage clinique

Ces multiples couacs font écho aux résultats de deux études qui ont évalué des centaines d’outils prédictifs développés en 2020, lors de la première vague de la pandémie. Dans le British Medical Journal, Laure Wynants et ses collègues ont analysé 232 algorithmes pour diagnostiquer les patients ou prédire leur risque de tomber malade. Seuls 2 d’entre eux ont été jugé suffisamment prometteurs pour effectuer de futurs tests. En mars 2021, cette étude est étayée par un article paru dans Nature Machine Intelligence. L’analyse faite par Derek Driggs, chercheur en apprentissage automatique à l’Université de Cambridge, et ses collègues sur 415 modèles de deep learning destinés à diagnostiquer le Covid-19 et prédire le risque pour le patient à partir d’images médicales, parvient aux même conclusions : aucun de ces modèles n’est adapté à une utilisation clinique. L’IA ne serait-elle pas prête affronter les réalités du terrain et vouée à rester cloisonnée dans des laboratoires de recherche ?

La faute à l’IA ou à l’homme ? 

Comme le rappelle Vincent Le Cerf, docteur en Intelligence Artificielle et fondateur de la société Metagenia, l’intelligence artificielle est une machine statistique et n’est pas “magique”. Sans données pertinentes, c’est l’échec assuré. Or, dans l’utilisation qui a été faite de l’IA pour aider à la lutte contre le Covid-19, Derek Driggs a mis en évidence le problème de ce qu’il appelle les “ensembles de données de Frankenstein”. Ces données, assemblées précipitamment lors de la pandémie, souvent par les médecins eux-mêmes, provenaient de sources multiples, parfois inconnues et/ou mal étiquetées et pouvaient contenir des doublons. In fine, certains outils ont fini par être testés sur les mêmes données que celles sur lesquelles ils ont été formés, ce qui va contre le principe de la modélisation. Derek Driggs révèle également un biais d’incorporation : de nombreux scanners médicaux utilisés pour entraîner l’IA ont été étiquetés “Covid” par les médecins. Cette appréciation subjective est dommageable et il aurait été préférable, note Derek Driggs, d’étiqueter une analyse médicale avec le résultat d’un test PCR.

Les lacunes de l’intelligence artificielle trouveraient donc leur origine dans des lacunes bien humaines, mais il est intéressant de noter que même dans l’aide au diagnostic, qui est le domaine où elle a acquis sa légitimité, elle se retrouve régulièrement remise en cause. Ainsi, une étude publiée le 2 septembre 2021 dans le British Medical Journal (BMJ) constate que, pour le dépistage du cancer du sein, l’intelligence artificielle (IA) fait moins bien que les praticiens. En cause, la robustesse et la précision des algorithmes d’IA, qui font douter de l’efficacité de ces derniers en radiologie. “94 % des 36 systèmes d’IA évalués étaient moins précis qu’un seul radiologue, et tous l’étaient moins que le diagnostic conjoint de deux radiologues ou plus”, conclut l’étude du BMJ.

Comment faire mieux ?

Pour Derek Driggs, si les chercheurs partageaient leurs modèles et révélaient comment ils ont été formés, la communauté scientifique pourrait rapidement tirer les leçons des erreurs commises et la moitié des problèmes identifiés dans les 415 modèles qu’il a étudiés aurait pu être résolue. Ainsi, note également Laure Wynants, l’effort collectif des chercheurs du monde entier a produit des centaines d’outils médiocres, plutôt qu’une poignée d’outils correctement formés et testés.

Est-il trop tard pour bien faire ? La condition sine qua non de la diffusion des solutions d’intelligence artificielle dans le monde de la santé réside dans la confiance que les praticiens et patients lui accordent. D’où le concept d’IA de confiance qui doit permettre d’offrir toutes les garanties d’efficacité et de sécurité. Cette confiance, si l’on en croit une enquête réalisée par le cabinet de conseil KPMG, a déjà été mise à mal : 67 % des dirigeants du secteur de la santé estiment que l’intelligence artificielle est “au moins modérément fonctionnelle” dans leur organisation. Une autre étude, réalisée dans le cadre du rapport annuel d’AI for Health, souligne que plus l’engagement des acteurs de la santé dans des projets d’IA augmente, plus les difficultés apparaissent.  En moyenne, les freins répertoriés étaient “considérés à 67 % comme des barrières, contre 50 % en 2020.” La qualité des données et leur accessibilité restent la préoccupation principale (un obstacle pour 90 % du panel). Face à ces méfiances sur la qualité de l’IA et ses possibles mésusages, de multiples chartes, certifications et référentiels ont vu le jour ces derniers mois (cf. encadré). Une façon de rassurer les futurs utilisateurs de ces algorithmes en tentant de prouver que les conditions de leur “réussite” existent bel et bien.

Mais, plus profondément, l’intelligence artificielle vient heurter notre vision traditionnelle de la machine, que l’on pourrait réparer en mettant “les mains dans le moteur”. Il est en effet quasi impossible de comprendre les réseaux complexes de neurones et algorithmes qui tissent une IA, d’autant plus que ces algorithmes apprenants sont, par nature, en permanente évolution. Pour Guillaume Avrin, responsable du département Évaluation de l’IA au LNE, “la seule approche possible pour disposer de garanties concernant les performances de ces algorithmes est le test entrée/sortie”. En somme, il importe peu de comprendre pourquoi une IA est intelligente, elle doit avant tout en apporter la preuve. Le temps des démonstrations ne fait que commencer…