Guillaume Bernard (LNE) : “La représentativité des données est un défi majeur” 

Le LNE évalue la performance des systèmes d’IA. Quelle est votre méthodologie ?

En santé, comme ailleurs, la méthode est la même. Nous prenons un corpus de données et nous comparons avec des métriques d’évaluation les résultats attendus, tels qu’ils sont définis par l’humain, aux résultats donnés par l’intelligence artificielle. Cela nous permet d’avoir une idée de la performance du système d’IA. Le LNE a mis en place un référentiel de certification des processus d’IA. Même s’il est basé sur le volontariat et ne s’applique pas au niveau national, il permet de se faire une idée de la qualité des processus utilisés pour développer des IA. 

Votre évaluation permet-elle de mesurer la dimension éthique des IA ?

Cette dimension éthique, contrairement à la performance, ne fait pas intervenir d’évaluation chiffrée. Elle s’appuie sur la compréhension et la qualification des jeux de données. Sont-ils représentatifs ? N’y a-t-il pas de biais contenu dans la donnée ? Typiquement, des biais sur la couleur de peau et sur le genre peuvent être mis au jour dans le domaine de la santé. 

L’aspect “boîte noire” de l’IA concentre de nombreuses critiques. Comment le contourner ?

La méthodologie d’évaluation des IA a été précisément conçue pour s’adapter à cet aspect boîte noire. Nous savons les données que l’on a en entrée et celles que l’on a en sortie. Il nous faut donc nous appuyer sur ces données, car c’est l’aspect que l’on maîtrise le plus. Quant à savoir ce qu’on a au milieu, certains fournisseurs d’IA vous diront que le process est compréhensible mais dans les faits, cela reste très opaque. Nous nous focalisons donc beaucoup sur la compréhension de la donnée qui alimente l’IA en entrée. Y a-t-il des événements rares ? Est-ce que certaines classes ne sont pas représentées ? Nous faisons de l’échantillonnage. Cela consiste à aller voir, par facteur d’influence, ce qui se passe. Nous utilisons aussi la méthode statistique pour avoir la meilleure idée de la performance de l’IA. L’arrivée des LLM a cependant largement complexifié l’évaluation.

Dans quelle mesure ?

Jusqu’à présent les IA à base d’apprentissage “classique” ne traitaient généralement qu’une seule tâche, par exemple la traduction où la détection d’objets dans une image : le protocole d’évaluation était pensé selon la tâche, avec un corpus (ensemble de données) d’évaluation spécifique pour la tâche. Ce corpus est par ailleurs défini en fonction du corpus d’apprentissage. Or, les LLM sont multitâches, et leurs corpus d’apprentissage ne sont pas accessibles, rendant la définition d’un protocole et d’un corpus pertinent bien plus complexe. Et il y a encore beaucoup d’autres complexités, par exemple le fait que ces systèmes produisent de la donnée non structurée.

Dans le cadre de TEF-Health, les hôpitaux proposent une gamme de services. L’évaluation de la performance des IA en fait-elle partie ?

Ce que le LNE propose en termes d’évaluation, d’autres partenaires du consortium le proposent également, comme l’IHU Strasbourg, Fraunhofer en Allemagne ou Multitel en Belgique. Les hôpitaux du consortium TEF Health proposent surtout l’accès à des données. Un fournisseur d’IA a par exemple une solution qui détecte des pathologies selon les données d’un patient, et il a besoin de données soit pour évaluer ses algorithmes, soit pour les entraîner. Les hôpitaux ont à la fois une expertise de collecte et de qualification des données. Beaucoup de partenaires dans nos hôpitaux ont aussi des bancs d’essais physiques, des salles d’opérations simulées, etc. 

Comment est né TEF Health ?

L’appel à projet TEF (Testing & Experimentation Facilities) a été lancé courant 2022 et a démarré début 2023. Son financement (de 60 M€, ndlr) est assuré pour moitié par l’UE, l’autre moitié étant assurée par les financeurs nationaux, Bpifrance en France. Quatre TEF existent sur des secteurs que l’Union européenne a jugé stratégiques et critiques. Outre TEF Health, un TEF concerne l’agri-food et la robotique agricole, un autre la ville connectée, avec la question des véhicules autonomes, un quatrième s’intéresse enfin à l’usine du futur. Le LNE fait partie du consortium qui a gagné l’appel à projets TEF-Health. Notre consortium est mené par l’Hôpital universitaire de la Charité de Berlin, le plus gros hôpital d’Europe, et comprend 52 partenaires européens, répartis en 9 pays (Allemagne, Belgique, France, Finlande, Italie, Portugal, République tchèque, Slovaquie et Suède). Il rassemble beaucoup d’institutions publiques (des laboratoires de recherche, des universités, des centres de technologie,…) 

Quel est l’objectif de TEF Health ?

Nous avons un écosystème de fournisseurs de DM, intégrant de l’IA et de la robotique, et d’autre part nous avons des fournisseurs de services. L’ambition de l’UE est de les mettre en relation au travers de TEF Health pour permettre aux start-up et PME de répondre aux exigences réglementaires contenues dans l’IA Act. Ce dernier est entré en vigueur l’été dernier et, courant 2026, il va également s’appliquer aux DM intégrant de l’IA. 

Les start-up vont avoir besoin d’obtenir un marquage CE qui remplisse les exigences de l’IA Act mais, bien souvent, elles ne disposent pas du temps et des ressources nécessaires pour y parvenir. 

Notre objectif est d’accompagner d’ici la fin du programme environ 500 structures, dont 80 % de PME ou start-up. C’est elles qui ont le plus besoin de nos services. Les grands groupes ont souvent déjà les ressources pour s’adapter aux nouvelles réglementations. Aussi, sur ces 500 entreprises, nous aimerions qu’environ 20% aient obtenu ou soient en passe d’obtenir le marquage CE. 

Comment fonctionne ce dispositif ?

La mise en relation entre les fournisseurs d’IA et les membres du consortium se fait sous deux modalités : l’UE finance les membres du consortium pour qu’ils gagnent en maturité et qu’ils répondent, en tant que fournisseurs de services, à la fois aux exigences de l’IA Act et aux besoins des PME et start-up ; dans un deuxième temps, cela permet aux PME qui souhaitent accéder à ces services de bénéficier de remises allant de 20% à 100% pour certains services. 

À date, des entreprises ont-elles déjà fait appel à vos services ?

Une trentaine de PME et start-up européennes ont déjà eu recours à TEF-Health. Le LNE travaille par exemple avec Median Technologies. Ils sont entrés en contact avec nous courant 2023 parce qu’ils avaient besoin qu’on analyse leur process interne afin de voir s’ils sont prêts à répondre aux besoins réglementaires (bonne traçabilité des documents, l’information bien disponible, évaluation de la performance).

TEF Health vise à faciliter l’accès au marché de DM embarquant de l’IA. Ce dispositif a-t-il été pensé par rapport au MDR ou à l’IA Act ?

Les deux. Lorsque TEF Health a été lancé, l’IA Act était en fin de rédaction, il n’avait pas été voté, mais nous avions une idée du contenu. Aussi, même si nous avions un fort focus sur l’IA Act, nous pensions au MDR (le nouveau règlement européen sur les dispositifs médicaux, ndlr). Les deux réglementations sont très liées entre elles, même s’il existe des exigences spécifiques à l’un et l’autre texte. Comme la plupart des fournisseurs de DM ont obtenu le marquage CE pour être commercialisés sur le sol européen, cela signifie qu’ils répondent à beaucoup d’exigences en termes d’organisation des processus, de traçage de la documentation. 

Existe-t-il une exigence de l’IA Act qui pousse les start-up à vous contacter ?

La représentativité des données est un défi majeur pour ces start-up. Beaucoup d’entre elles vont s’appuyer sur un faible échantillon de patients, parce que cette collecte est coûteuse. Leur solution va donner de bons résultats sur ces échantillons mais dès qu’ils vont passer à l’échelle, certaines problématiques peuvent apparaître. C’est là que TEF Health peut les aider. Précisons que TEF Health cible les solutions qui ont déjà un TRL d’au moins de 6, c’est-à-dire qui commencent à passer à l’étape de démonstration et de début d’essai clinique.

TEF Health est une initiative quinquennale qui devrait donc prendre fin en 2027. Est-il prévu qu’elle soit pérennisée ?

Le programme a débuté en janvier 2023 avec un budget de 60 millions d’euros pour 5 ans. Nous allons voir s’il est possible de pérenniser ce qui va être développé dans le cadre de ce consortium, notamment les plateformes, dans le cadre d’un EDIC (consortium pour une infrastructure numérique européenne, ndlr) qui permettrait de lever des fonds facilement. 

Le dispositif TEF Health n’est pas forcément connu de tout l’écosystème français de la santé numérique. Comment communiquez-vous ?

Nous communiquons aujourd’hui par le biais des réseaux sociaux et au travers de notre site internet. Si une PME ou une institution souhaite bénéficier des services du TEF, ils peuvent aller sur le site du projet ou y accéder directement par le biais d’un partenaire. Dans quelques mois, nous allons lancer une plateforme, sur laquelle les PME et start-up pourront exprimer leur besoin. Une évaluation sera alors faite pour voir si elles sont éligibles pour bénéficier des services proposés. Une fois ces conditions remplies, un matchmaking sera fait entre les besoins exprimés et l’offre de service pour les mettre en contact. Cette plateforme fonctionnera sous la forme d’un appel à manifestation d’intérêt cyclique, lancé tous les 4 ou 5 mois jusqu’à la fin du projet en 2027.