Le Crédit Agricole vante une approche équilibrée de l’IA générative

“Le tsunami a déferlé à une vitesse inédite pour une technologie qui est rapidement devenue l’une des priorités des directions data”, constate le cabinet Quantmetry dans son baromètre 2024. Cette déferlante, c’est bien sûr l’intelligence artificielle générative.

Ses usages intéressent particulièrement des secteurs comme le retail, et naturellement la banque et l’assurance, riches en données non structurées et en bases documentaires. A l’image de ses concurrents directs, le groupe Crédit Agricole s’est emparé du sujet début 2023.

Stratégie d’adoption “maîtrisée” et “équilibrée”

Un “groupe de travail cross-entités” a été mis sur pied en février, associant experts techniques et métiers. Son action s’est rapidement concrétisée par une feuille de route pour le premier semestre, suivie d’une seconde pour la deuxième partie de l’année.

En l’espace d’un an, Crédit Agricole a enclenché de nombreux projets, mais dans le cadre d’une stratégie d’adoption qualifiée, dans le cadre des rencontres privées de l’IMA, de “maîtrisée” par le chief data officer et directeur du DataLab, Aldrick Zappellini. “Ce ne doit pas être une remise en cause de tout ce que nous avons construit en matière de maîtrise, de sécurité et de souveraineté”, affirme le CDO.

Cette “démarche équilibrée” repose sur 6 piliers “qui ont comme caractéristique commune de devoir être mis en oeuvre simultanément, malgré des différences de dynamique” : acculturation (évoluant progressivement vers la formation), protection des données, expérimentation (avec une évolution de l’offre IT), cadre normatif de l’IA, souveraineté (au travers de la diversification des solutions et du recours à l’open source) et étude d’impacts.

“L’étude des impacts a démarré en décalé au niveau du groupe. C’est normal puisqu’elle va se nourrir de l’ensemble de nos constats lors des expérimentations. Il est essentiel de bénéficier de retours terrain sur l’impact de ces technologies”, explique Aldrick Zappellini.

Amélioration de l’efficacité opérationnelle

Crédit Agricole se montre notamment attentif aux bénéfices générés. Pour Romaric Rollet, responsable de l’innovation et de la transformation digitale chez Crédit Agricole CIB (CACIB), la banque de financement et d’investissement (BFI) du groupe, ils sont particulièrement attendus dans les domaines de la relation client et de l’amélioration du produit net bancaire (PNB). 

“L’IA générative ne vient pas directement améliorer la relation client ou accroître les ventes. Les bénéfices sont plutôt du registre de l’amélioration de l’efficacité opérationnelle, très significative à l’échelle d’une BFI [banque de financement et d’investissement, Ndlr] comme la nôtre”, témoigne-t-il.

Une BFI traite en particulier un volume important de documents, ce qui  motive les premiers cas d’usage. Les cabinets promettent des gains d’efficacité de 20 %. Romaric Rollet nuance : “c’est assez colossal, mais ces 20 % ne sont pas uniformes sur toute la banque”.

Tous les métiers et fonctions ne peuvent pas prétendre aux mêmes bénéfices, voire à des bénéfices. En outre, des enjeux (maîtrise technologique, formation, choix de modèle…) sont à intégrer pour atteindre ces promesses en matière d’efficacité opérationnelle. Du côté du Crédit Agricole Assurances (CAA), le pragmatisme prévaut aussi.

Pour Jérôme Burnod, responsable de l’IA Factory de Crédit Agricole Assurances, l’ambition est bien néanmoins “d’aller chercher le plein potentiel des IA génératives”, en passant “du buzz des derniers mois à la réalité.” L’expert estime que la GenAI “trouve un potentiel sur l’ensemble de la chaîne de valeur du métier de l’assurance”.

Il cite notamment l’avant-vente (grâce à des campagnes de marketing ciblées), les opérations commerciales (en fournissant de la connaissance sur les produits aux conseillers via des interfaces conversationnelles) et les activités de gestion (efficacité opérationnelle).

Des promesses à concrétiser “dans la vraie vie”

Ces promesses sont à concrétiser “dans la vraie vie”. Crédit Agricole Assurances est à ce stade en phase d’expérimentation, pour laquelle il maintient sa stratégie de “make or buy” et qu’il applique à deux cas d’usage prioritaires.

En “make” (via des modèles open source), il s’agit d’exploiter (recherche, extraction et synthèse) les informations contenues dans les documents d’informations clés (DIC) permettant de décrire les supports en unités de compte. Mais CAA étudie aussi les capacités des solutions commerciales existantes.

En “buy”, l’assureur met en place une plateforme juridique, à destination d’abord des gestionnaires, puis en cible des clients. De ses travaux, l’entreprise tire de premiers enseignements. Le choix de modèle constitue un “véritable sujet” avec plus de 400 LLM sur Hugging Face, sans compter leurs dérivés. 

L’offre est pléthorique, mais le choix s’apprécie en fonction de divers paramètres, à commencer par le cas d’usage, la transparence apportée (sur les bases d’apprentissage et les principes de modélisation) et la sécurité juridique fournie par les éditeurs.

La seconde problématique soulignée par Jérôme Burnod porte sur la consommation conséquente des modèles en on-premise, notamment au niveau des processeurs graphiques (GPU). “Cela a ouvert au sein de Crédit Agricole Assurances des réflexions en matière de stratégie cloud sur l’IA”, note le responsable.

Market Colors, l’outil IAGen au service des traders

Enfin, l’adoption de l’IAGen pose la question de l’acculturation des collaborateurs, et à l’avenir, de la prise en main de ces technologies par les clients eux-mêmes. Chez CACIB, des cas d’usage et des enseignements ont aussi été identifiés.

Parmi les applications priorisées de l’IA générative figure Market Colors, à destination des traders et sales. L’IA, fonctionnant à la manière d’un Discord, permet à l’utilisateur d’accéder aux informations clés et en fin de journée d’obtenir une synthèse des événements de marché.

Au quotidien, les traders consacrent 30 à 40 minutes à la rédaction de commentaires de marché destinés à la force de vente et aux clients. CACIB a donc conçu un système d’automatisation de ces commentaires via un modèle d’IA générative.

Les commentaires se composent principalement de résumés des articles de presse pertinents de la journée, et d’insights sur le comportement du marché Repo, ainsi que les mouvements notables sur le marché obligataire, détaille Oumaima Hammami, data scientist chez Crédit Agricole CIB.

Un outil a été développé, intégré au SI et à la chatroom utilisée quotidiennement par les traders. Pour les articles, les utilisateurs sélectionnent eux-mêmes les contenus qui seront ensuite résumés via ChatGPT et un prompt pré-paramétré pour synthétiser des contenus financiers. Les insights correspondent à des données, transformées en texte, des “observations pré-paramétrées avec les traders”, puis injectées dans ChatGPT.

Les deux parties sont ensuite réunies pour former le commentaire de marché. Dans le cadre de son expérimentation (août 2023), une mesure d’évaluation a été développée et appliquée afin de comparer au quotidien la convergence entre commentaires manuels et automatisés. Résultat : une similarité de 85 %. 

Aujourd’hui, la solution est “largement utilisée” au terme d’un PoC de trois mois. La rédaction quotidienne des commentaires de marché nécessite désormais 10 minutes contre 40 minutes auparavant, se félicite Patrick Sarfati, responsable de l’innovation au sein de la division des marchés mondiaux chez Crédit Agricole CIB.

Alfred, l’assistant au potentiel énorme pour CACIB

Avec Alfred (un clin d’oeil au majordome de Batman), CACIB “aide chaque professionnel de la banque, dans son contexte documentaire propre, à répondre très rapidement à ses questions sous la forme d’une synthèse, d’une préparation de réponse à un mail ou d’une analyse stratégique liée à un client”, présente Romaric Rollet. La conception de ce cas d’usage se poursuit en raison de “sujets complexes de confidentialité de l’information.” Son potentiel, à l’échelle de la banque, est jugé “assez énorme.”

Au niveau du groupe, Crédit Agricole se positionne dans une phase de “forte accélération” visant à “se doter de capacités d’IA générative industrielle et communautaire” selon les mots d’Aldrick Zappellini.

Au terme d’un récent recensement, le data office groupe a identifié 70 cas d’usage, à des stades de maturité divers. “C’est probablement une vue très partielle. Nous sommes un groupe fortement décentralisé. La réalité, c’est sans doute trois ou quatre fois plus de cas d’usage”, commente le CDO.  

Au sein du DataLab groupe, différents cas d’usage ont été expérimentés. Parmi ceux-ci, Chat Lab, “un assistant d’expérimentation du LLM GPT-4 sur Azure permettant de répondre à un besoin de Q&A”, tel que décrit par Achraf Saghe, lead data scientist. 

CA Generative Search est quant à lui un moteur de recherche en langage naturel sur les corpus documentaires volumineux. Le moteur fournit des “réponses pertinentes bien rédigées avec des sources vérifiables grâce à la technique du RAG [Retrieval Augmented Generation, Ndlr] et en faisant appel à GPT-4 sur Azure.”  

Chat Docs, enfin, est un système de Q&A dont le but est d’interroger des documents métiers en s’appuyant sur un LLM maison “frugal, à base d’open source.”

Une méthodologie pour mesurer l’apport de Github Copilot

Bruno Jaquemin, responsable innovation opérationnelle de Crédit Agricole Technologies et Services (CATS) et Aymen Shabou, CTO du Datalab, ont de leur côté creusé l’usage de l’IA générative pour le développement logiciel par les métiers de la data et de l’IA via l’outil du marché GitHub Copilot de Microsoft.

Dans ce domaine, et afin d’évaluer le plus précisément possible le ROI, une population de 10 testeurs (data scientists, data engineer, ML engineer, architectes…) a été constituée. Un benchmark spécialisé et automatisé a également été mis au point, et le groupe a procédé à des tests quantitatifs et qualitatifs.

L’évaluation quantitative est en cours. Sur le qualitatif, les recommandations de Copilot sont jugées pertinentes sur des tâches simples, avec des limitations sur d’autres. Aymen Shabou se veut prudent sur les résultats.

Le CTO du DataLab groupe du Crédit Agricole rappelle que les tests qualitatifs sont sujets à des biais et à de la subjectivité. Pour confirmer les conclusions issues du qualitatif, il renvoie donc à la finalisation des tests quantitatifs.    

Plus globalement, avec l’IA générative, poursuit Aldrick Zappellini, il importe de ne pas se cantonner à “mettre quelques rustines sur des processus (…) qui, grâce à la technologie, pourraient être revus de fond en comble, même si au début il faudra probablement démarrer par de l’incrémental.”

Une réflexion collective est donc engagée au sein du groupe bancaire. Une étude interne a été lancée dans ce cadre afin de définir, “tous métiers confondus, où nous devons investir massivement” pour que soit franchi, à terme, le cap de l’intégration d’une dose d’IA générative dans un processus ou un parcours client.