Dispositif médical et IA : que recommande la Cnil ?

Le 14 juin 2023, les députés européens ont adopté le projet de réglementation sur l’intelligence artificielle (AI Act). Les pourparlers sont désormais en cours entre les différents pays du Conseil pour aboutir à la forme finale de la loi. L’objectif est de parvenir à un accord d’ici la fin de l’année. Selon l’AI Act, les dispositifs médicaux font partie des systèmes d’IA à haut risque, cette classification a des conséquences sur leur mise sur le marché. “L’AI Act donne des règles d’harmonisation dans l’Union européenne, notamment pour l’obtention de la certification européenne. Les fournisseurs de dispositifs médicaux utilisant de l’IA, devront respecter les obligations du règlement pour se la voir accorder”, indique Alexis Léautier, ingénieur expert au service de l’Expertise Technologique de la Commission nationale de l’informatique et des libertés (Cnil). Le projet de réglementation prévoit également que les systèmes à haut risque soient évalués tout au long de leur cycle de vie, une documentation technique et de gestion des risques détaillée doit donc être tenue par les entreprises.

Si les exigences de l’AI Act doivent tenir compte des législations sectorielles déjà existantes, comme le règlement européen 2017/745 sur les dispositifs médicaux et le règlement européen 2017/746 relatif aux dispositifs de diagnostic in vitro, des contraintes supplémentaires sont également prévues. “Pour les systèmes à haut risque, un certain nombre d’obligations sont toujours en débat et certaines sont assez exigeantes, notamment en matière de documentation des données et de sélection des données d’entraînement. La version originelle du règlement proposait que les données soient dénuées de biais et d’erreurs, c’est une exigence très forte car le volume de données nécessaires pour entraîner l’IA est extrêmement important. Vérifier une absence complète d’erreur ou de biais exige un travail très conséquent et on peut s’interroger sur la possibilité d’obtenir un jeu de données qui respecte ces conditions”, analyse Alexis Léautier.

Données personnelles, des obligations qui se superposent

Mais l’AI Act n’est pas la seule législation à s’appliquer en matière de données pour les fabricants de dispositifs médicaux intégrant de l’IA . “Dès que l’utilisation du dispositif médical ou son développement suppose le traitement de données à caractère personnel, pseudonymisées ou directement identifiantes, le règlement général sur la protection des données (RGPD) et la loi Informatique et Libertés sont pleinement applicables au traitement des données de santé liées. Des règlementations sectorielles sont également applicables et vont avoir un impact direct sur la manière de réaliser ce traitement. Je pense notamment au Code de la Santé publique et au fait que les données collectées par des dispositifs médicaux, intégrant ou non de l’intelligence artificielle, dès lors qu’ils sont utilisés dans le cadre de la prise en charge par un professionnel de santé sont des données couvertes par le secret médical. Ce sont donc des règles à prendre en compte, notamment, concernant les personne pouvant accéder à ces données”, précise Aurore Gaignon, juriste au service Santé de la Direction de l’accompagnement juridique de la Cnil.

Les fabricants d’un dispositif médical intégrant de l’IA se doivent donc de respecter les grands principes du RGPD. “Dans un premier temps, il faudra déterminer la finalité du traitement des données, cela ne posera pas trop de difficulté puisque ce sera pour aider la prise en charge ou pour apporter un traitement en lien avec la définition de dispositif médical. Il y a également l’obligation de trouver un fondement juridique permettant cette collecte de données, car les données traitées sont des données sensibles, or dans le RGPD, elles connaissent un principe d’interdiction de traitement. D’autres obligations sont classiquement applicables, notamment, la minimisation. Typiquement, dans le cadre de la recherche et du développement d’un dispositif médical, a-t-on vraiment besoin des noms et prénoms des personnes pour développer ce DM et faire les investigations cliniques ? Il existe également des obligations en matière de sécurité, imposées par l’article 32 du RGPD, afin que le traitement de données soit conçu de telle manière qu’il permette de garantir la confidentialité, l’intégrité, la disponibilité”, détaille Aurore Gaignon.

S’ajoute également des obligations de transparence et d’information des personnes concernées. “Elles doivent être informées sur le traitement qui va intervenir, sur l’existence d’un traitement d’intelligence artificielle mais aussi sur leurs droits : le droit de consulter leurs données, de pouvoir les modifier, de pouvoir demander l’effacement, de s’opposer, d’obtenir la portabilité”, complète Aurore Gaignon. À cette réglementation européenne s’additionne désormais des référentiels français. “La feuille de route du numérique en santé a mis l’accent sur le fait de ne pas mettre à disposition des outils ne garantissant pas la sécurité des personnes : leur sécurité physique aussi bien que leur vie privée. Un certain nombre de  référentiels ont été adoptés par l’Agence du numérique en santé, notamment, le référentiel de sécurité et d’interopérabilité des dispositifs médicaux dont le respect est aujourd’hui une obligation”, conclut Aurore Gaignon.

Faire évoluer la doctrine avec l’IA

Pour se préparer à l’application du règlement européen sur l’IA, la Cnil a créé un service de l’intelligence artificielle en janvier 2023. “Il travaille justement sur les bonnes pratiques à recommander pour l’IA aux industriels de tous secteurs. Cette année, nous allons publier certaines recommandations pour la constitution d’une base de données pour l’apprentissage de modèles d’IA”, indique Alexis Léautier. Outre cette publication future, certaines bonnes pratiques sont déjà encouragées par la Cnil en matière d’IA. “ La certification ISO est un élément que l’on peut recommander, notamment, la norme 27001 portant sur la sécurité et largement appliquée en santé ainsi que dans d’autres secteurs. Nous avons publié des contenus pour promouvoir certaines bonnes pratiques, notamment, un guide d’autoévaluation à destination des responsables de traitement qui souhaitent mettre en œuvre un traitement utilisant de l’IA. Il se présente sous la forme de différentes fiches portant sur toutes les étapes du déploiement de l’IA, de la conception à l’utilisation en phase opérationnelle et aide les responsables de traitement à s’interroger sur les risques principaux liés à l’utilisation de l’IA”, annonce Alexis Léautier. 

Pour Aurore Gaignon, l’explicabilité du fonctionnement du système d’IA est un point essentiel:  “ La loi du 2 août 2021 relative à la bioéthique a intégré dans le Code de la Santé publique l’article L4001-3, il reprend cette idée d’informer les personnes sur le traitement de données algorithmique et met également l’accent sur la nécessité de rendre l’algorithme explicable pour les professionnels de santé. Nous sommes encore en attente des textes d’application qui nous en diront sûrement plus sur la manière dont doivent se dérouler opérationnellement ces exigences. Aujourd’hui, une bonne pratique serait de s’assurer de la transparence vis-à-vis des patients mais aussi des professionnels de santé. Expliquer pour ne pas créer une boîte noire pour les professionnels et les garder dans le processus de décision médicale. La plupart des applications des dispositifs médicaux intégrant de l’IA que l’on voit aujourd’hui concerne un usage professionnel d’aide à la décision, d’aide à la prescription pour faciliter le travail du personnel de santé et éviter les effets indésirables liés à une mauvaise prise en compte de certains paramètres de santé.” En 2021, la Cnil a conduit un “bac à sable” pour accompagner les projets et acteurs innovants en santé numérique, ce qui lui a permis de fournir des conseils adaptés à des acteurs basant leurs solutions sur l’IA. “La publication des livrables de restitution des apports de ces accompagnements est prévue pour le 17 juillet 2023. Ils contiennent un ensemble de bonnes pratiques et de positionnements de la Cnil”, indique Aurore Gaignon. 

Un “bac à sable” riche d’enseignements

Ce “bac à sable” a permis à la Cnil d’adapter sa doctrine en matière d’IA et de données sensibles car deux projets y étaient directement liés : le CHU de Lille a été accompagné sur la mise en oeuvre d’un procédé d’apprentissage fédéré entre plusieurs entrepôts de données de santé et la société Resilience dans la constitution d’un entrepôt de données de santé lui permettant de développer et de faire fonctionner un outil d’aide à la décision médicale à destination des oncologues. L’entrepôt de données de santé de Resilience a été autorisé par la Cnil le 21 avril 2022, l’accompagnement du CHU de Lille n’a pas donné lieu à une autorisation de la Cnil.

L’accompagnement de la société Resilience a conduit la Cnil à faire évoluer sa doctrine concernant les formalités préalables. ”Le traitement de données sensibles dans le domaine de la santé, notamment en recherche, est soumis à un régime d’autorisation préalable ou de déclaration si une norme de référence est applicable. Si le traitement de données que l’entreprise envisage de réaliser est conforme à une méthodologie de référence, cela lui permet de ne pas passer devant la Cnil et de faire simplement une déclaration de conformité. L’entreprise peut ensuite mettre en œuvre directement le traitement et donc la recherche. Cela permet d’accélérer le processus car dans le cadre d’une demande d’autorisation, la Cnil dispose d’un délai renouvelable de deux mois pour se prononcer”, explique Aurore Gaignon. La question des formalités s’est posée avec d’autant plus d’acuité dans le cadre de recherche faisant intervenir des logiciels intégrant des algorithmes d’IA. “Les interrogations étaient les suivantes :  quelles formalités appliquer ? Quelles formalités appliquer quand le logiciel est utilisé en vie courante c’est-à-dire lorsqu’il est utilisé par les professionnels de santé dans le cadre de leur pratique quotidienne ? Nous avons distingué deux moments phare dans la vie d’un dispositif médical numérique. Tout d’abord, la phase de développement avant l’accès au marché, nous avons considéré que l’entreprise entrait dans le cas d’une recherche en santé et que toutes les règles en matière de recherche s’appliquaient. Pour l’utilisation en vie courante, nous avons estimé que le traitement de données caractère personnel n’était pas forcément soumis à formalité auprès de la Cnil lorsque deux conditions étaient réunies : le traitement de données doit intervenir dans une finalité de prise en charge, de traitement, de diagnostic et le traitement doit être mis en œuvre par un professionnel de santé. Dès lors que ces conditions sont remplies, le traitement de données n’est pas soumis à formalités. Par contre, dès lors que l’industriel, le fabricant ou l’exploitant souhaite développer une nouvelle fonctionnalité du dispositif médical numérique, permettre un nouveau paramétrage de son outil, nous retombons dans l’aspect recherche et développement et nous retournons sur les premiers enseignements tirés”, décrypte Aurore Gaignon. 

Apprentissage fédéré, données synthétiques : vers une meilleure protection des données ? 

Le projet d’accompagnement du CHU de Lille a, lui, permis à la Cnil d’affiner ses positions sur l’apprentissage fédéré. Cette technique permet de sécuriser le traitement de données de santé car le modèle d’IA est entraîné sur des données décentralisées, les données sont conservées dans chacun des centres hospitaliers concernés sans être centralisées dans une base qui serait plus sujette aux attaques. “Nous nous sommes posés trois questions principales. La première : est-ce que l’on pouvait considérer que lors de l’apprentissage fédéré les informations échangées entre les centres étaient des données à caractère personnel ? La question a son importance car si ces informations sont des sortes d’agrégats de données à caractère personnel, elles peuvent, dans certains cas, permettre de réidentifier les personnes dont les données étaient présentes dans le dataset d’entraînement. Alors comment vérifier et faire en sorte que ces agrégats ne permettent pas de réidentifier les personnes et quelles démarches adopter ? Nous avons recommandé de conduire, dans la mesure du possible, de conduire cet apprentissage fédéré sur des données qui auraient été anonymisées en amont. L’alternative est vérifier que toute réidentification est impossible ou que les agrégats sont des données anonymes selon les lignes directrices du G29 sur les techniques d’anonymisation. Elles consistent à vérifier trois critères : l’impossibilité de corréler deux données entre elles, d’individualiser une personne et d’inférer des informations à propos d’une personne”, expose Alexis Léautier. 

La deuxième interrogation portait sur les modalités à respecter pour la mise en conformité de ces traitements d’apprentissage fédéré. “Notre réponse a été de retomber sur le cadre général du traitement des données en santé. Il s’agissait ici d’une recherche n’impliquant pas la personne humaine, donc il suffisait simplement de remplir les formalités données par une méthodologie de référence”, résume Alexis Léautier. La Cnil s’est également interrogée sur les solutions technologiques qui pouvaient être utilisées pour sécuriser l’apprentissage fédéré. “Nous avons pu recommander certaines techniques, comme la confidentialité différentielle, le chiffrement, éventuellement le chiffrement homomorphe, donc différentes techniques relativement poussées permettant de sécuriser ces traitements”, énumère Alexis Léautier. Si l’apprentissage fédéré est une piste pour garantir la protection des données, les données synthétiques en sont une autre. Ces données générées artificiellement permettent d’entraîner des algorithmes d’intelligence artificielle. “La synthèse de données est une technique que l’on pourrait recommander. Mais il convient de distinguer plusieurs procédés de synthèse des données. Certains sont dénués de risque de manière quasiment certaine puisqu’il s’agit plutôt de simulation, on va utiliser un système de règles permettant de générer des données et qui n’utilise pas d’apprentissage automatique. Dans un autre cas, on aura des procédés un petit peu plus complexes reposant sur de l’IA et des données à caractère personnel ou non, qui ont servi à l’entraînement des modèles. Il en découle plusieurs risques dont la possibilité de retrouver des données à caractère personnel parmi les données de synthèse générées par l’IA. C’est un risque relativement important, car si l’on suppose que les données de santé sont anonymes, on s’en servira quasiment librement. Par exemple, les jeux de données de synthèse pourraient être publiés en open data. D’où l’importance de vérifier que les données générées sont anonymes”, souligne Alexis Léautier.

Une autre catégorie de risques est liée à la minoration de l’utilité des données. “Pour générer des données vraiment anonymes, un gros travail est nécessaire en amont et cela passe par des procédés exigeants, comme la confidentialité différentielle, qui réduisent l’utilité des données. Les données de synthèse vont être moins représentatives que les données utilisées pour l’entraînement de l’IA et on ne va pas nécessairement retrouver les mêmes informations dans les données de synthèse que dans le jeu de données initial. Or, si ces données de synthèse ne sont plus représentatives de la réalité, ce jeu de données peut comporter des erreurs ou mener à des erreurs lorsqu’il est utilisé. De nombreux exemples dans la littérature montrent que pour les catégories de personnes sous-représentées dans les jeux de données, les taux d’erreur sont plus forts. Ce qui peut entraîner des biais algorithmiques et des discriminations”, affirme l’ingénieur expert. Si ces deux techniques sont aujourd’hui les plus mûres, la recherche est porteuse de promesses en matière de protection des données. “On voit de plus en plus émerger de techniques mais il est encore top tôt pour les proposer recommandation. Par exemple, l’utilisation des trusted execution environment (TEE), des  environnements sécurisés, permet de mener des calculs de manière vraiment isolée du reste du système et de s’assurer qu’il n’y aura pas de perte de confidentialité. D’autres techniques sont actuellement au stade de la recherche comme le désapprentissage machine. Cette dernière permet de réduire la quantité d’informations apprises par un modèle d’IA, qui aurait trop appris à propos des données d’entraînement et qui permettrait de réidentifier certaines personnes, pour faire en sorte que toute réidentification soit par la suite impossible”, indique Alexis Léautier.