Guillaume Avrin (LNE) : “Le besoin de supervision permanente des systèmes d’IA critiques suppose de nouvelles méthodes”

Quel est le rôle du LNE en France ?

Guillaume Avrin : C’est un établissement public à caractère industriel et commercial (EPIC) rattaché au ministère de l’Industrie, aujourd’hui à l’Économie. Notre tutelle ministérielle est la DGE, la Direction générale des entreprises. Il est l’organisme central et fédérateur des travaux d’essai, d’évaluation et de métrologie visant à structurer et accompagner l’offre de nouveaux produits, en cherchant à la fois à protéger et répondre aux besoins des consommateurs et à rationaliser, développer et favoriser la compétitivité de l’industrie nationale. Dans ce cadre, il mène des projets de recherche sur l’évaluation, la qualification et la certification des produits et des technologies pour accompagner les innovations de rupture (intelligence artificielle, nanotechnologies, fabrication additive, mesure de radioactivité, stockage de l’hydrogène, etc.), au bénéfice de la communauté scientifique, normative, réglementaire et industrielle.

Quelle est votre mission spécifique ?

G. A. : Je suis en charge du département dédié à l’évaluation de l’IA. Nous avons une activité amont qui vise à concevoir des protocoles, métriques et référentiels de mesure pour l’IA. Nous avons également une activité d’essais qui met en œuvre ces référentiels d’évaluation pour caractériser les performances, la robustesse, l’éthique et l’explicabilité des systèmes intelligents. Enfin, en collaboration avec Clément et son service, nous avons développé une activité de certification dans le domaine de l’IA, dont résulte ce premier référentiel.

Clément Henry : Je fais partie de l’équipe spécialisée en certification du LNE. Les instruments de mesure intègrent de plus en plus de software, avec des enjeux de cybersécurité croissants et des lois qui ont poussé à la création de certifications en cybersécurité. Nous sommes accrédités pour délivrer les certifications HDS (hébergement de données de santé) et également organisme d’évaluation des prestataires de Cloud (SecNumCloud) pour le compte de l’ANSSI (Agence Nationale de Sécurité des Systèmes d’Information). Avec nos deux équipes, nous disposions de compétences et d’expertises en évaluation et certification des systèmes d’IA. Or, il existait un besoin de créer de la confiance dans ce domaine. Il nous est apparu évident qu’il fallait créer une certification, ce que nous avons fait au printemps 2020.

Peu importe le domaine auquel s’appliquent les solutions d’IA ?

G. A. : On se spécialise mais pas par verticalité métier. La spécialisation se fait sur la thématique d’évaluation de l’IA. On ne développe pas de technologie d’IA de manière à rester tiers de confiance. On se concentre sur l’évaluation, domaine scientifique à part entière puisqu’il y a toujours des métriques à inventer. Il y a toute une approche métrologique à développer pour l’IA. C’est très transverse.

Faites-vous appel à des experts en santé ?

G. A. : Oui, par exemple pour la Haute Autorité de Santé (HAS), j’animais le groupe de travail portant sur la grille d’évaluation des dispositifs médicaux (DM) intégrant de l’IA. On a constitué ce groupe avec une quinzaine de membres venant du domaine de la santé, avec des profils différents : institutionnels, académiques et structures ayant vocation à évaluer la conformité des dispositifs médicaux comme le GMED. Nous avons également consulté des fabricants de DM.

Clément Henry : Nous disposons d’une filiale spécialisée pour les DM : le GMED, organisme notifié au titre du règlement européen pour le marquage CE des DM et DM de diagnostic in vitro. Cette filiale était membre du groupe de travail œuvrant pour la HAS.

Quelle approche permet de gérer la problématique de la boîte noire ?

G. A. : L’effet black box est une réalité. A ce jour, la plupart des systèmes d’IA que nous évaluons reposent sur des réseaux de neurones, des algorithmes de deep learning. Cela comprend des millions de paramètres réglés de manière automatique. Même si on ouvrait cette boîte pour observer les valeurs prises par les paramètres, on n’y comprendrait rien. Aujourd’hui, la seule approche possible pour disposer de garanties concernant les performances des ces algorithmes est le test entrée – sortie. Même la preuve formelle ne permet souvent que de procéder à des analyses de stabilité locale et ne permet pas d’établir que l’ensemble de fonctionnement du système d’IA sera conforme et performant.

Les textes officiels ne devant pas voir le jour avant plusieurs années, faudra-t-il rétrocertifier tout algorithme conçu aujourd’hui ?

G. A. : On peut constater dans la proposition faite par la commission européenne fin 2021 sur l’IA qu’une grande partie des exigences réglementaires portent davantage sur les processus mis en place que sur les produits. C’est tout à fait cohérent avec notre référentiel et cela faisait partie de notre objectif. Second constat, il existe huit nouveaux domaines d’application de système critique de l’IA. Pour le moment, il est proposé que seule la biométrie fasse l’objet d’une certification. Pour les 7 autres nouveaux domaines de IA jugés critiques, il est proposé de recourir à l’auto-déclaration. La mise sur le marché et le devoir de tout re-certifier n’est pas la direction prise dans cette proposition.

C. H. : Il est important de souligner qu’il s’agit d’une proposition de règlement. Il ne s’agit pas d’une version finale et il y a de fortes chances que cela évolue d’ici le vote [prévu en 2022 pour application 2025, ndlr]. Notamment en ce qui concerne les différents niveaux de vérification des exigences (par un tiers ou auto-déclaratif) qu’il y aura entre les niveaux de criticité des systèmes et les catégories incluses dans ces différents niveaux. Les exigences actuelles proposées reposent surtout sur l’auto-déclaratif, ce qui ne va pas forcément dans le sens de la création de confiance. Cela a beaucoup fait réagir donc il y a des chances que cela évolue et que les exigences soient précisées. Rien n’est figé dans le marbre.

G. A. : Même sur les autres types d’exigences, l’explicabilité n’est pas imposée. Ce qui est nouveau en termes d’exigence imposée est le besoin de supervision permanente pour ces systèmes d’IA critiques. Cela suppose que de nouvelles méthodes de supervision soient mises en place. Il ne s’agit pas du système d’IA qu’il va falloir redévelopper depuis le début pour se mettre en conformité par rapport aux exigences mais plutôt de mettre en place d’autres méthodes ou processus de supervision autour pour s’assurer qu’il n’y a pas de dérive ou de modification de performances du système.

Comment avez-vous construit cette certification ?

C. H. : On a convié des acteurs variés -développeurs et utilisateurs d’IA, cabinets de conseil, petites et moyennes entreprises- au rythme d’une réunion de travail mensuelle. Ces différents regards ont permis d’aboutir à des exigences d’un bon niveau et applicables. Dès le départ, nous avons fait le choix de ne pas proposer une certification de produit, qui risquait d’être très complexe et très sectorielle. Notre objectif était au contraire de proposer une certification qui soit la “première pierre de construction de confiance” applicable dans tous les secteurs, quels que soient les systèmes utilisés. La certification de processus que nous proposons vise à donner des garanties sur la façon dont l’IA a été conçue, développée, évaluée, et une fois qu’elle est déployée chez un client, la façon dont elle est surveillée et monitorée, notamment en termes de dérive des performances et de régression. La finalité est de donner confiance dans le produit final par la maîtrise des processus qui ont permis d’y aboutir. C’est une première brique, on peut imaginer par la suite des annexes plus spécifiques à des secteurs d’activités ou des technologies. Pour l’instant, cette base commune peut servir à tous les domaines d’application allant de la start-up ou au grand groupe qui voudrait des garanties sur l’IA qu’il développe ou utilise.

Quelle démarche doit adopter une start-up souhaitant faire certifier son IA ?

G. A. : Notre objectif a été d’assurer la cohérence entre les exigences de processus du référentiel de certification et la proposition de réglementation européenne sur l’IA, mais aussi avec la grille d’évaluation de la HAS. L’enjeu est que le fabricant de DM puisse construire son dossier technique et qu’une partie de la garantie à démontrer à un organisme notifié pour obtenir le marquage CE puisse être couverte par l’obtention de la certification du LNE. Le fabricant pourra compléter avec ses propres essais produits. Très souvent dans le médical, le développeur du DM est le seul à posséder la donnée de santé, très rare. Il est donc le mieux placé pour réaliser des essais orientés produits sur des bases de données. S’il ne souhaite pas les réaliser lui-même, il pourra confier ses données de test à un centre d’essais spécialisés dans l’IA, comme le LNE. Quant à l’ASMR délivrée par la HAS, notre objectif est que cette certification du LNE soit reconnue par la HAS afin que l’expert soit assuré de la qualité des processus et puisse se concentrer sur les aspects médicaux.

Comment prenez-vous en compte l’apprentissage continu ?

G. A. : Une partie de notre processus porte sur le maintien en conditions opérationnelles. Cela permet de s’assurer que si le système d’IA est un système de lifelong learning, qui continue d’apprendre tout au long de son cycle de vie, les processus mis en place assurent qu’il n’y ait ni dérive ni régression. Lors de la construction de ce référentiel, l’essentiel était d’apporter des garanties pour les IA figées ou qui disposaient d’un apprentissage par batch (par renforcement hors ligne, ndlr), lorsque l’algorithme apprend à partir de données centralisées avant d’être déployer sur les DM. On pourra s’orienter vers l’apprentissage continu par la suite.

C. H. : L’apprentissage continu est incrémental avec une fréquence d’apprentissage très courte. Au lieu de rassembler des données pendant six mois puis de les mettre à jour, on le fait au fur et à mesure. L’idée des exigences est que les outils et les méthodes d’évaluation des performances soient les mêmes afin de garantir le même niveau de confiance.

Votre certification couvre l’ensemble du cycle de vie de l’IA mais cette dernière pouvant être évolutive, faudra-t-il la re-certifier ?

G. A. : Non car avec la certification de processus, à partir du moment où l’on a vérifié qu’ils permettent de s’assurer qu’il n’y avait ni dérive ni régression des performances des systèmes d’IA, la certification est valable pour toute la durée prévue contractuellement.

C. H. : Ce sont des cycles de trois ans. La première année, l’audit permet de regarder en détail comment sont conçus les processus et quels contrôles sont réalisés. Les années suivantes, les audits de suivi visent à s’assurer que les processus continuent à être bien appliqués, notamment sur la partie MCO (maintien en conditions opérationnelles). Pour le déploiement, cela comprend les preuves que toutes les exigences de monitoring ont bien été suivies et que s’il y a eu des dérives, elles ont été détectées, des actions ont été mises en place pour les corriger et le client a été informé.

Quels seront concrètement les bénéfices d’une entreprise dont les processus auront été certifiés ? Aura-t-elle un label, un logo, un marquage qu’elle pourra valoriser ?

C. H. : L’entreprise pourra utiliser la marque “LNE – intelligence artificielle” sur ses supports de communication. Elle pourra ainsi mettre en valeur le sérieux et la maturité de ses processus certifiés et ainsi donner confiance dans sa capacité à fournir des solutions d’IA répondant aux besoins de ses clients, en termes de performance, de sureté, de confidentialité, etc. Elle pourra également intégrer les rapports d’audit à ses dossiers techniques de marquage CE ou encore dans ses dossiers de due diligence pour des levées de fonds auprès d’investisseurs.

Le référentiel comprend-il une liste de bonnes pratiques de développement de l’IA visant à être certifiée ?

G. A. : C’est un guide de bonnes pratiques en termes d’exigences, et non de solutions. Les exigences du référentiel de certification portent sur une obligation de résultat, mais pas de moyen. Cette certification ne bride pas l’innovation car différentes approches peuvent convenir. Ce qu’on appréciera lors de l’audit, c’est la conformité entre ce qui a été réalisé par l’entreprise et les exigences du référentiel.

C. H. : Les exigences ne sont pas formulées en termes de moyens. La façon dont les biais sont détectés par exemple dépendra du cas d’usage, des données, de l’entreprise, il n’y a pas une unique façon de faire mais différentes bonnes manières de faire, adaptées au contexte.

A date, combien d’audits ont été réalisés ?

C. H. : Nous réalisons le premier certificat qui devrait pouvoir être délivré d’ici la fin de l’année. Nous avons d’autres demandes en cours, notamment une entreprise qui utilise une solution d’IA pour faire de l’aide à l’analyse de résultats médicaux. L’appel à commentaires est paru en mai dernier, la version définitive mi-juillet, les entreprises prennent connaissance du référentiel dans le détail et adaptent leur organisation pour y répondre. L’entreprise que nous sommes en train d’auditer faisait partie du groupe de travail et a donc pu commencer à travailler sur le sujet avant la parution du texte définitif.

G. A. : Il est prévu que pour les domaines déjà couverts par des réglementations et directives existantes, les organismes notifiés en place intègrent ces exigences sur l’IA pour procéder à l’examen de conformité. Il n’y en aura pas d’autres pour s’occuper exclusivement des exigences portant sur l’IA, mais cela peut évoluer.

Quel est le coût de cette certification ?

C. H. : Le coût dépend du périmètre de certification et du nombre de personnes intervenant dans le périmètre.

Combien de personnes travaillent spécifiquement au département de l’évaluation de l’IA ?

C. H. : Les audits seront faits en binôme : un responsable d’audit qualifié sur des certifications en systèmes de management. À date, nous avons 4 responsables d’audit formés au référentiel de certification de processus pour l’IA : 2 auditeurs 9001, 1 auditeur 27001 et 1 auditeur 13485. Nous pouvons d’ailleurs proposer des certifications conjointes selon ces normes. D’autres personnes pourront être qualifiées (en fonction des demandes) et 1 expert en évaluation de l’IA (aujourd’hui le département IA compte une vingtaine d’experts dont 5 sont formés au référentiel).

Cette certification a-t-elle valeur uniquement en France ou aussi au niveau Européen ?

C. H. : Cette certification peut être utilisée dans le monde entier, le référentiel est publié en anglais et est disponible gratuitement sur le site du LNE . Les entreprises étrangères qui souhaiteraient faire certifier leurs processus ou celles qui souhaiteraient savoir à quelles exigences répond cette certification peuvent donc le consulter.