IA Act : quelles implications pour la santé ?

Découlant d’une proposition initiale de la Commission en avril 2021, le processus d’élaboration du règlement européen sur l’intelligence artificielle est enfin arrivé en fin de course. Après un accord trouvé entre le Parlement européen et le Conseil de l’Union européenne le 8 décembre 2023, le Conseil des ministres des Etats membres a, à son tour, approuvé le règlement le 2 février dernier. Publié au Journal officiel de l’Union européenne le 12 juillet 2024, le règlement européen sur l’IA entrera en vigueur en 2026. Un tel délai, estime Nicolas Miailhe, fondateur et président de The Future Society, “laissera le temps aux acteurs de s’adapter, en commençant à faire des évaluations et des audits préliminaires à blanc”. Qui est concerné ? Qu’est-ce qui distingue le règlement IA du RGPD et en quoi se complètent-ils ?

Ce “texte tentaculaire”, comme le décrit Geoffroy Sinègre, juriste et enseignant en droit du numérique, place la régulation et l’innovation “au cœur des débats”. Ces enjeux sont aujourd’hui discutés à grande échelle, l’IA Act s’inscrivant dans un cadre juridique international en pleine évolution, avec l’executive order publié à l’automne dernier par la Maison Blanche pour sécuriser l’usage de l’IA, ou encore la première édition de l’AI Safety Summit qui s’est tenue en novembre 2023 au Royaume-Uni. Ce règlement européen inédit doit par ailleurs composer avec un corpus de textes déjà dense (RGPD, DMA, DSA, Data Act, etc), qui contribue à “enserrer la gouvernance algorithmique” analyse Nicolas Miailhe.

Le règlement européen sur l’IA a plusieurs volets. Il englobe :  

• des règles harmonisées pour la mise sur le marché, la mise en service et l’utilisation des systèmes d’IA dans l’UE ;
• une interdiction visant certaines pratiques d’IA ;
• des exigences spécifiques pour les systèmes d’IA à haut risque et des obligations pour les opérateurs de ces systèmes ;
• des règles de transparence harmonisées pour certains systèmes d’IA, des règles harmonisées pour la mise sur le marché de modèles d’IA à usage général ;
• des règles relatives à la surveillance du marché, à la gouvernance et à l’application de la surveillance du marché ; 
• des mesures visant à soutenir l’innovation (avec l’établissement de bacs à sable notamment).

En outre, ce texte vient dessiner une pyramide de risques pour venir appliquer une contrainte réglementaire croissante sur les systèmes considérés comme les plus dangereux. Au sein de cet ensemble, “le choix a été de faire une définition large des traitements algorithmiques” analyse Nicolas Miailhe, ajoutant que “les LLM [large language models, ndlr] sont devenus le cœur de la chaîne de valeur qui émerge”.

Quatre niveaux de risque

• Le risque minime, qui touche une grande majorité des systèmes d’IA ;
• Le risque faible, comme les chatbot, pour lequel les utilisateurs doivent savoir qu’ils interagissent avec une machine, et l’information aux utilisateurs est obligatoire ;
• Le risque élevé, dont fait partie le secteur de la santé ;
• Le risque inacceptable concerne, enfin, les systèmes d’IA qui manipulent le comportement humain et qui permettent la notation sociale ou bien certaines applications de police prédictive. Pour cette dernière catégorie, la plus dangereuse, la mise en conformité est établie à six mois après la publication de l’AI Act.

L’annexe II du règlement, qui liste, parmi les systèmes d’IA à haut risque, ceux qui relèvent d’un acte législatif d’harmonisation de l’Union européen, vise spécifiquement le règlement applicable en matière de DM. Les dispositifs médicaux basés sur des systèmes d’IA, classés comme des systèmes à haut risque, sont ainsi soumis à un certain nombre de contraintes.

Des obligations de diverses natures

• Systèmes adéquats d’évaluation et d’atténuation des risques : l’établissement de systèmes de gestion des risques nécessite en principe un examen et une mise à jour systématiques et réguliers, tout au long du cycle de vie du système d’IA à haut risque. Le texte précise que les systèmes d’IA à haut risque sont testés afin d’identifier les mesures de gestion des risques les plus appropriées et les plus ciblées. Ces procédures peuvent inclure des tests en conditions réelles ;
• Qualité des ensemble de données alimentant le système pour réduire les risques et les résultats discriminants ;
• Tenue des registres : les systèmes d’IA à haut risque doivent techniquement permettre l’enregistrement automatique des événements (journaux). Le fournisseur doit, pendant une période se terminant 10 ans après la mise sur le marché ou la mise en service du système d’IA, tenir à la disposition des autorités nationales compétentes la documentation technique, la documentation concernant le système de la gestion de la qualité ;
• Documentation détaillée sur le système : La documentation technique d’un système d’IA à haut risque est établie avant la mise sur le marché ou la mise en service de ce système d’IA et est tenue à jour ;
• Information à l’utilisateur ;
• Contrôle humain : les systèmes d’IA à haut risque doivent être conçus et développés de telle sorte qu’ils puissent être efficacement surveillés par des personnes physiques pendant la période pendant laquelle le système d’IA est utilisé. La surveillance humaine vise à prévenir ou à minimiser les risques pour la santé, la sécurité ou les droits fondamentaux qui peuvent survenir. Les mesures de surveillance sont proportionnées aux risques, au niveau d’autonomie et au contexte d’utilisation des systèmes d’IA ;
• Robustesse, précision et cybersécurité : la Commission encourage l’élaboration de références et de méthodologies sur mesure. Les systèmes d’IA doivent être aussi résilients que possible aux erreurs, défauts ou incohérences qui peuvent survenir au sein du système ou de l’environnement dans lequel le système fonctionne, notamment en raison de leur interaction avec des personnes physiques ou d’autres systèmes. La robustesse peut être obtenue grâce à des solutions de redondance technique, qui peuvent inclure des plans de sauvegarde ou de sécurité. Les solutions visant à garantir la cybersécurité sont adaptées aux circonstances et aux risques.

Concernant les données de santé, l’IA Act précise qu’elles ne peuvent être utilisées qu’à des fins spécifiques et légitimes. Les ensembles de données tiennent compte, dans la mesure où la finalité prévue l’exige, des caractéristiques ou des éléments propres au cadre géographique, contextuel, comportemental ou fonctionnel spécifique dans lequel le système d’IA à haut risque est destiné à être utilisé. Ces règles sont assorties de sanctions et d’amendes. Le non-respect des règles pourra entraîner des amendes comprises, en fonction de la taille de l’entreprise et de l’infraction, entre 7,5 millions d’euros ou 1,5% du chiffre d’affaires et 35 millions d’euros ou 7% du CA mondial.

À noter que le règlement fixe également des obligations spécifiques aux modèles d’IA à usage général. Les fournisseurs ont par exemple l’obligation de :

• rédiger et tenir à jour la documentation technique du modèle y compris son processus de formation et de tests et les résultats de son évaluation ;
• rédiger, tenir à jour et mettre à disposition des informations et de la documentation aux fournisseurs de systèmes d’IA qui envisagent d’intégrer le modèle d’IA à usage général dans leur système d’IA ;
• rédiger et rendre public un résumé suffisamment détaillé du contenu utilisé pour la formation du modèle d’IA à usage général.

“En avril 2021, dans le draft initial de la CE, il n’y a rien sur les modèles fondation. En décembre 2022, le Conseil a abordé la question des IA générales. Les enjeux d’évaluation des LLM sont énormes, la taille des modèles fondateurs explose. Comment comprendre le fonctionnement de ces modèles immenses de façon granulaire ? Même les concepteurs de ces modèles ont du mal” considère Nicolas Miailhe.

Les dispositifs médicaux et l’IA

Les DM embarquant de l’IA sont encadrés par le MDR qui garantit leur sécurité et leur performance clinique. Applicable depuis 2021, la réglementation européenne sur les dispositifs médicaux (MDR) a induit une augmentation significative des exigences attendues du fabricant en vue de l’obtention du marquage CE. 

Si les applications de l’IA en santé sont déjà une réalité, Laurence Comte-Arassus, présidente du Snitem, estime que “bientôt, il n’y aura plus un seul DM sans IA”. Le syndicat professionnel entend “faire de cette IA un élément de construction du DM et de la santé en général, pour ne pas en faire un élément de peur” ajoute la présidente.

S’agissant de l’articulation entre le MDR et l’IA Act, Sonia Desmoulin, juriste et chargée de recherche au CNRS, s’interroge : “S’agit-il d’une concurrence véritable avec une alternative, ou d’un cumul, avec la notion de complémentarité ? Ici, les régimes apparaissent cumulatifs, dans la mesure où le règlement DM n’a pas anticipé l’adoption du règlement IA et il n’y a pas non plus d’exclusion ou de réserve dans le futur règlement IA, tel que j’ai pu le constater dans ses versions précédentes.” Sonia Desmoulin note des points communs entre les deux réglementations. D’abord, chacune se saisit de produits, “même si l’expression produit n’est pas toujours explicitement utilisée”, dit-elle. Les deux textes sont aussi construits autour “de mesures s’appuyant sur la normalisation et la certification, qui concernent en réalité beaucoup de procédures d’auto-évaluation mais feront intervenir des organismes notifiés” estime Sonia Desmoulin. Elle souligne au passage le vocabulaire “très technique” de ces textes, sollicitant beaucoup les services des affaires réglementaires et du contentieux. 

Si les deux réglementations sont toutes deux “organisées dans un souci de contrôle des risques”, Sonia Desmoulin constate en revanche que “la conception des catégories diffère”. Le règlement des DM prévoit en effet quatre niveaux (I, IIa, IIb et III), tandis que l’AI Act classe les DM dans la catégorie à haut risque et prévoit des interdictions pour certains IA et certains usages (mais qui intéressent peu le domaine de la santé). Par exemple, si “les logiciels d’aide à la décision médicale dans la réglementation DM relèvent d’une catégorie de classe de risque plutôt modérée en principe, la classification de l’AI Act place un niveau de risque élevé”. Sonia Desmoulin analyse que “dans le règlement DM, ce qui est important c’est essentiellement la sécurité physique du corps humain du patient. Le règlement sur l’IA a une conception du risque plus large et aborde des risques éthiques et pour les droits fondamentaux.”

Marguerite Brac de la Perrière, avocate chargée du département Numérique du bureau parisien de Fieldfisher, observe que le considérant 63 du règlement IA laisse entendre que les deux textes sont bien censés s’articuler et “ne pas peser comme deux certifications distinctes”. Le règlement introduit ainsi l’idée que cette articulation doit se faire dans l’optique de minimiser la charge pesant sur les opérateurs et éviter toute éventuelle duplication.

IA Act et RGPD

Dans le paysage juridique de l’IA, le RGPD occupe aussi une place importante. Charlotte Barot, analyste au sein du service de l’intelligence artificielle de la CNIL, soutient que l’IA et les données personnelles sont des “sujets indissociables”. Elle fait observer que “les nouvelles technologies, notamment l’IA générative et les modèles de fondation, peuvent être interprétés dans le cadre du RGPD”. Dans les faits, la CNIL a d’ailleurs déjà autorisé 25 projets de recherche impliquant le recours à l’IA ou la construction des EDS qui impliquent l’usage de l’IA dans leur fonctionnement. La Commission, qui a lancé un service dédié à l’IA l’an passé, s’attèle dans la pratique à faire l’articulation entre les textes du RGPD, entré en application en 2018, et de l’IA Act. Ce dernier règlement “vient compléter des notions du RGPD, en particulier la notion de décision automatisée et de garantie humaine” précise Charlotte Barot.

Bien que le RGPD comme l’AI Act définissent des régimes de responsabilité, de gouvernance et de surveillance, cette articulation entre les deux textes “ne va pas de soi”, notamment en matière de suivi post-commercialisation et de gouvernance des données, souligne Marguerite Brac de la Perrière. “Il manque des éclairages. Les organismes qui pilotent les deux sujets, comme la Cnil mais aussi et surtout le Comité européen de la protection des données, vont devoir proposer des solutions d’articulation” dit-elle. Elle explique notamment que “si les systèmes d’IA doivent être développés sur des jeux de données qualitatifs, alors les fabricants doivent être en capacité de justifier ces exigences et donc de garder les données. Or, cela ne correspond pas aux impératifs en matière de limitation de la conversation des données. Les industriels dans le domaine de l’imagerie et de la biologie notamment, parmi les spécialités les plus avancées en matière d’IA, sont bien en peine à ce niveau là.”

Consécration du contrôle humain 

Reconnu par le Comité consultatif national d’éthique dès 2018, intégré de façon pionnière à l’article 17 de la loi de bioéthique française de 2021, le principe de supervision humaine constitue l’un des autres socles clés du règlement européen sur l’IA.

Il ne fait aucun doute pour Corinne Collignon, cheffe de service de la Mission numérique en santé de la HAS, que “ce cadre de confiance qui est visé pour développer les cas d’usage est essentiel.” S’interrogeant sur la manière dont “la garantie humaine participe à la diffusion de l’innovation dans l’offre de soin”, Yann-Maël Le Douarin, adjoint au chef de bureau “Coopérations et contractualisations” de la DGOS, estime aussi que “des prérequis et des conditions comme la garantie humaine doivent être fixés dès le départ”.

En France, le projet Ethik IA, porté par David Gruson, accompagne depuis plusieurs années les acteurs de la santé dans la régulation de l’IA, autour d’une méthodologie de garantie humaine. Ce travail se poursuit aujourd’hui avec l’Afnor, qui publiera prochainement une Spec intitulée “Garantie Humaine des systèmes fondés sur l’IA en santé”. Ce projet de document de référence sur la garantie humaine s’appuie sur les méthodologies développées, notamment avec l’UFSBD (Union Française pour la Santé Bucco-Dentaire), qui a participé à la rédaction de ce document, aux côtés du Leem et du Snitem. “Comme nous sommes sur une innovation de rupture, nous ne voulions pas nous diriger d’emblée vers une norme, qui a vocation à être plus pérenne qu’une Spec, même si ce document a vocation à évoluer en norme par la suite” indique Kunal Lollchand, responsable Développement et Innovation Santé et Action Sociale au sein de l’Afnor.

Normes et certifications

Les guidelines détaillées dans cette Spec de l’Afnor vont dans le sens de la réglementation européenne, qui s’inscrit ainsi comme une orientation générale, à laquelle les différentes normes et certifications existantes tendent pour accompagner les acteurs vers une conformité harmonisée. Luc Chausson, responsable du département certification sécurité de l’information au LNE, rappelle que “l’IA Act va introduire la normalisation comme l’un des éléments de conformité. Aujourd’hui, tout un travail est fait sur les normes à harmoniser, elles ne sont pas rendues publiques.”

En matière d’IA, Luc Chausson juge que “la certification permet de reconnaître un certain niveau d’expertise et de valoriser des bonnes pratiques”. Selon cet expert, “dans un contexte dynamique, cela permet de structurer et d’encadrer des processus, d’améliorer la robustesse des organisations ou des produits/services certifiés”.

En ce qui concerne la mise en place d’un système de management de l’IA, soutenue par l’IA Act, la norme ISO/IEC 42001 est un appui possible et une référence sur le sujet. “La norme 42001 porte sur le système de management de l’IA et propose un cadre général. C’est une norme de système de management de l’IA qui fixe des exigences pour établir, implémenter, maintenir et améliorer un système de management de l’IA au sein d’une organisation. L’objectif est de donner un cadre pour atteindre les objectifs et de rassurer les parties prenantes sur cette gestion de l’IA au sein de la structure” précise Luc Chausson. Les principales catégories intéressées par cette norme d’IA sont les fournisseurs, les fabricants, les partenaires (intégrateurs, fournisseurs de données) et les autorités compétentes.

La certification ISO 42001 est complémentaire du référentiel LNE sur l’IA, plus détaillé dans sa forme car il traite de quatre phases du processus (conception, développement, évaluation et maintien en conditions opérationnelles). Ce référentiel, publié à la mi-2021, sera actualisé cette année. “Même si un grand nombre des exigences de l’IA Act sont déjà dans le référentiel LNE, il y aura une actualisation pour coller encore plus au règlement. Il y aura aussi des mises à jour sectorielles, en particulier sur les DM” assure Luc Chausson.