Face à l’AI Act, les banques et les assureurs se mettent en ordre de marche

L’AI Act, malgré les réserves françaises, italiennes et allemandes, a fait l’objet d’un accord (provisoire) au sein du trilogue en décembre 2023. Le vote final par les 27 Etats membres est intervenu le 2 février 2024, validant quelques concessions portées par la France et l’Allemagne. 

Pour le commissaire européen au marché intérieur, Thierry Breton, la ratification unanime du texte est cependant une reconnaissance de “l’équilibre parfait trouvé par les négociateurs entre l’innovation et la sécurité.” Avant même sa ratification, le texte faisait déjà l’objet de l’attention des secteurs de la finance et de l’assurance, dont certains modèles d’intelligence artificielle, notamment ceux d’IA générative, seront assujettis à la réglementation, qu’ils en soient les concepteurs ou les utilisateurs. 

Des garde-fous sur l’IA générative

“Nous assureurs, nous sommes soumis aux mêmes exigences qu’un fabricant d’ascenseur ou que l’éditeur du logiciel d’un véhicule autonome. Nous devons atteindre le même niveau de conformité qu’un équipement susceptible d’aboutir à un décès”, soulignait en décembre 2023 François-Xavier Enderle, le directeur de la transformation digitale de Groupama. Cet enjeu de conformité, l’entreprise en a donc largement tenu compte dans le cadre de la mise en œuvre de sa stratégie sur l’IA générative. 

Chez AXA France, malgré la complexité en termes de conformité introduite par l’IAGen, la CDO Chafika Chettaoui se veut optimiste, comme elle l’expliquait à l’occasion de l’AI Act Day en décembre dernier. “C’est en embarquant tout le monde dans l’entreprise sur ce sujet et en acculturant que nous y parviendrons.”

Maxime Havez, CDO du Crédit Mutuel Arkéa, défend à ce titre la valeur des démarches de certification. La banque envisage d’ailleurs de décrocher la certification LNE (Laboratoire national de métrologie et d’essais) sur les processus de conception de l’IA. Le CDO promeut une approche permettant “de se préparer au mieux. Et l’exercice de la certification favorise des évolutions concrètes”, notamment au niveau de l’outillage du data scientist, acteur central de la conception des IA.

Sur l’IA générative, Maxime Havez signale par ailleurs que des gardes-fous existent pour prévenir les dérives et les erreurs, comme les mécanismes de “retrieval augmented generation” (un processus consistant à optimiser le résultat d’un LLM) et les “guardrails” (des limites configurées dans lesquelles le LLM est tenu d’opérer).

Des data leaders pour la gouvernance de l’IA

Pour Chafika Chettaoui, l’organisation interne apporte également des réponses sur la conformité. “C’est une condition nécessaire, mais pas suffisante”, précise-t-elle toutefois. Au niveau organisationnel, AXA a donc mis en place des data leaders, proches du métier et des cas d’usage. Ces profils portent deux missions : la data gouvernance et l’IA gouvernance.

“Ces mêmes personnes sont responsables du data by design, du RGPD, et de l’application demain de l’AI Act, mais aussi, dans le même temps, de l’accompagnement du delivery. Il est important de ne pas avoir que des contrôleurs et que cette responsabilité soit incarnée par des collaborateurs impliqués dans la réalisation des projets”, justifie la chief data officer.

Au Crédit Mutuel Arkéa, l’IA générative a été présentée en comité innovation, “une émanation de notre comité exécutif”, précise Maxime Havez. Ces échanges ont été l’occasion de ratifier la création d’une “taskforce” pilotée par le data office et associant les métiers risques, conformité et juridique. L’opportunité de les impliquer dans les projets très en amont, mais aussi de sensibiliser les lignes business intéressées par ces modèles.

Assureur mutualiste, Groupama revendique une approche par l’éthique. “Nous disposons historiquement d’un comité d’éthique”, témoigne François-Xavier Enderle. Intégré à l’IA Factory du groupe, ce comité examine les cas d’usage. L’éthique constitue ainsi “un point pivot” avec pour objectifs de déterminer les impacts sur les clients, les collaborateurs et le business. “Le travail de certains collaborateurs consiste à chercher dans des bases documentaires pour répondre aux clients. Ces collaborateurs, nous allons les accompagner à se déplacer dans la chaîne de valeur.”

En matière d’éthique client, le directeur de la transformation digitale déclare que l’assureur a pris la décision d’informer systématiquement les clients lorsqu’ils interagissent avec des robots. “Ce n’est pas le cas de toute la place et de tous les assureurs”, insiste-t-il.

Des risques et des obligations associées, y compris pour les LLM

La conformité à l’AI Act nécessitera des mesures bien spécifiques, applicables aux systèmes d’IA et à leur réalisation. Matthieu Capron, responsable design authority IA pour le groupe Crédit Agricole, rappelle que la réglementation repose sur une approche par les risques (pour les personnes) : inacceptables, élevés (dont l’octroi de crédit et la solvabilité), spécifiques (chatbot conversationnel et contenu généré par IA), faibles.

Les obligations sont définies en fonction du niveau de risque du système d’IA. Elles concernent notamment la gouvernance (dont la qualité des données) et le traitement des biais discriminatoires. Elles fixent aussi un niveau à atteindre en termes de robustesse, d’exactitude et de sécurité.

Traçabilité, contrôle humain et monitoring figurent également parmi les obligations prévues et adaptées aux risques, comme l’explicabilité  (de chaque décision ou globale du modèle), l’évaluation et l’atténuation des risques. L’impact sociétal et environnemental a été intégré au texte européen. Enfin, les systèmes à haut risque devront être déclarés et enregistrés auprès de l’UE.

“La mise en conformité peut être assez longue en fonction du type de système d’IA et l’UE pousse donc pour que les entreprises anticipent l’entrée en application. Les autorités proposent à ce titre un Pacte IA, qui s’applique aussi aux organisations souhaitant ajouter des exigences complémentaires sur certains domaines”, détaille Matthieu Capron.

Sur “le gros sujet de l’IA générative”, deux niveaux d’obligations distincts sont prévus à ce stade. Ils encadrent les IA à finalités générales (les LLM) en imposant, entre autres, la transparence de l’intégralité des modèles, la fourniture d’une documentation technique, la conformité avec la législation sur les droits d’auteur et un résumé des contenus d’entraînement. La France a obtenu le 2 février une exception à cette contrainte de transparence au nom du secret des affaires. 

Les IA à risque systémique sont soumises à des obligations renforcées. Les systèmes concernés restent à définir. Ils devraient s’agir des plus grands modèles d’IA générative comme ceux d’OpenAI. Ils seront contraints à une évaluation, notamment des risques systémiques (et leur atténuation) et à des tests contradictoires.

Leurs concepteurs se verront appliquer des obligations en termes de sécurité et d’efficacité énergétique. Enfin, tous les systèmes d’IA basés sur ces LLM héritent des mêmes obligations. “C’est l’usage qui prévaudra et en fonction du niveau de risques, les obligations seront plus ou moins importantes”, retient Matthieu Capron.

Le Crédit Agricole se prépare depuis 2021

Le texte final vient préciser les grands principes de l’AI Act et les détails de son application. Six mois après la publication au Journal Officiel, les IA inacceptables seront bannies. Un délai de 12 mois est prévu pour les IA à finalité générale et 24 mois pour l’entrée en vigueur complète. 

Pour être prêt vis-à-vis de l’AI Act, proposé par la Commission européenne en avril 2021, le Crédit Agricole a engagé des actions dès fin 2021, comme le rapporte le CDO Aldrick Zappellini. L’entreprise s’est engagée dans une démarche de certification LNE en 2022. Un travail conséquent puisque le référentiel LNE compte environ 80 exigences.

Mais pourquoi cette certification (obtenue en février 2023) ? “Le recoupement de la certification LNE avec l’AI Act, dans sa version stabilisée, est de l’ordre de 95 %”, justifie le chief data officer et directeur du DataLab du groupe Crédit Agricole.

“La certification est un moyen plutôt qu’une fin en soi”, ajoute le responsable. Un moyen donc de préparer l’application effective du texte européen. La certification LNE est le fruit d’un an de travail et de préparation. Pour le mener à terme, l’entreprise a choisi d’y aller seule, “sans aide extérieure”.

Le “choix fort de l’autonomie” est présenté comme essentiel pour monter en compétences en interne, afin notamment de mutualiser l’expérience acquise avec les différentes entités du groupe. Avant d’initier le processus de certification, le DataLab a réalisé en 2022 une première évaluation.  Cette étape a permis d’identifier des besoins en termes de remédiation.

“Les remédiations initiales étaient de deux ordres : l’amélioration de la méthode et la rétro-documentation des projets existants (…) Nous avons choisi d’en redocumenter trois parmi les produits en production et fournis aux entités du groupe. L’essentiel des efforts sur un an a porté sur ces aspects”, détaille Aldrick Zappellini.       

Certification LNE et labellisation IA responsable

L’audit de certification est intervenu en janvier 2023. La certification décrochée le mois suivant a confirmé “l’amélioration des méthodes et pratiques au niveau des projets et de la production”. Pour obtenir ces résultats, le DataLab a notamment mis en place une équipe cœur et installé des rituels pour coordonner l’avancement des développements.

Le Crédit Agricole a par ailleurs finalisé le déploiement d’une plateforme de monitoring des IA, un “élément important sur la confiance comme sur les responsabilités“. Le monitoring s’applique aux trois produits d’IA utilisés dans le cadre de la certification, qui sont ainsi “monitorés avec le plus haut degré d’exigence”.

Le groupe tend par cette approche vers une conformité avec l’AI Act, y compris en cas d’évolution des usages initiaux. A noter qu’elle s’applique à trois systèmes, mais aussi à tous les projets à compter de la date de certification. Pour les produits antérieurs, la remédiation est étudiée au cas par cas.

Le Crédit Agricole a souhaité en outre aller plus loin en complétant la certification LNE au travers d’une labellisation IA responsable intégrant la dimension RSE. En juin dernier, il était ainsi labellisé au niveau Avancé de Labelia, un des labels actuels en France sur l’IA responsable. 

Du Model Risk Management adapté à l’IA

Pour Aldrick Zappellini, certification et labellisation sont absolument complémentaires et “démontrent qu’on peut faire de l’innovation, être industriel nativement (…) et responsable”. La complémentarité est aussi valable avec la démarche d’AI model Assessment (AIDA) mise progressivement en place au Crédit Agricole CIB.

Le Model Risk Management (MRM) n’est pas nouveau dans la finance. L’IA nécessite cependant une “adaptation”, comme l’explique Arnaud Gallardo, responsable MRM. Crédit Agricole CIB a réalisé une première évaluation (assessment) en janvier 2021 sur un nouvel algorithme.

“Avec des mises en production significatives et vouées à croître, s’est posée la question du moyen de contrôler les IA. Il s’agit d’outils extrêmement puissants, mais potentiellement aussi instables ou dont la robustesse peut être moindre que pour des modèles traditionnels”, souligne-t-il.

Le contrôle des modèles évalue ainsi la robustesse de l’IA, sa stabilité, son explicabilité, sa performance, les mesures de mitigation, mais aussi le dispositif de contrôle déployé au niveau de l’utilisateur, par exemple via la fourniture d’un tableau de bord métier. L’analyse procède également à une classification des IA par niveau de risque.

L’adoption de ces démarches de contrôle s’inscrit dans le cadre de la préparation à l’entrée en vigueur de la réglementation européenne sur l’intelligence artificielle. “L’AI Act va cadrer l’approche d’assessment que nous avons lancée en amont. Nous l’adaptons au fur et à mesure. Et cette adaptation se poursuivra”, témoigne Arnaud Gallardo.

Le “model assessment” mis en place au sein du Crédit Agricole CIB – bâti sur une méthode fusionnant processus MRM et NSU – a pour but de concilier accélération du delivery des IA et maîtrise des risques. “Notre objectif est d’être conforme by design”, conclut le responsable MRM de la BFI.