Pour la mesure de la satisfaction client, Groupama dégaine l’IA et l’IA générative

La satisfaction client est une problématique commune à toutes les entreprises. C’est aussi un terrain potentiellement fertile pour l’usage de l’intelligence artificielle générative. Parmi les premiers cas d’usage mis en œuvre chez AG2R La Mondiale figure ainsi l’analyse des retours clients recueillis par le biais d’enquêtes de satisfaction.

Le thème est véritablement transverse puisque dans d’autres secteurs, comme le transport aérien avec Air France ou l’énergie avec Engie, l’IA générative ouvre des perspectives nouvelles dans l’exploitation de ce patrimoine de données.

Répondre aux limites des questionnaires de satisfaction

Les assureurs sont donc eux aussi en pointe sur les usages de l’IAGen dans le domaine de la satisfaction client. Covéa dispose d’ailleurs d’un outil primé : Vox.IA. Pas de trophée à ce jour pour Groupama Loire Bretagne, qui n’en travaille pas moins depuis 2023 sur ses propres applications de l’intelligence artificielle pour les centres d’appels téléphoniques.

Emmanuelle Guyot, responsable automatisation intelligente chez Groupama Loire Bretagne, et Alice Gallais, Data Scientist pour Valoway, en témoignaient le 16 mai 2024 lors des rencontres entre entreprises du DIMS 2024. Les enquêtes de satisfaction sont un dispositif bien rodé pour détecter les préoccupations des clients et les axes d’amélioration en termes de processus.

“Nous connaissons tous les limites de ces enquêtes, comme la sur-sollicitation des clients et le faible taux de réponse. En outre, les clients disposent d’autres canaux pour remonter leur insatisfaction, en particulier les appels”, souligne Emmanuelle Guyot.

L’équipe IA de Groupama Loire Bretagne a donc choisi de se concentrer sur “ces sources d’information existantes” et l’analyse des appels sur ses centres téléphoniques. L’enregistrement des appels et leur transcription grâce au speech-to-text sont à la base du processus. Plusieurs modèles d’intelligence artificielle sont ensuite mobilisés. Ils sont au nombre de trois.

Trois modèles d’IA pour traiter les appels et quatre usages métiers

Le premier a pour objectif de détecter l’insatisfaction. Le second procède à un résumé de l’appel. Le troisième, enfin, est chargé d’identifier le motif d’appel ou le motif d’insatisfaction. Et le traitement des appels téléphoniques permet de couvrir quatre finalités pour les métiers dans une optique d’amélioration de la satisfaction client.

Ainsi, via ces trois modèles d’IA, Groupama est en mesure de tracer dans son CRM les appels insatisfaits. Les fiches clients sont enrichies puisqu’elles mentionnent les motifs d’appels et un résumé du mécontentement exprimé. Le gestionnaire d’un appel accède ainsi à un historique complet des conversations antérieures.

Pour Emmanuelle Guyot, ce suivi n’est cependant qu’une première étape. “Il faut aller plus loin, être plus proactif”, justifie-t-elle. Comment ? En notifiant les commerciaux dès qu’un motif d’insatisfaction est détecté par le centre d’appels. C’est ensuite au conseiller de prendre des actions appropriées pour y répondre. 

La base de données constituée par l’assureur est aussi exploitée pour une troisième finalité qui est la formation des gestionnaires. Celle-ci se base généralement sur une sélection d’appels faisant ressortir les situations les plus enrichissantes pour former les collaborateurs.

“Ce qu’ont permis nos modèles, c’est de fournir directement un fichier Excel des appels de clients insatisfaits et mentionnant le sujet de l’appel. L’information est ainsi à leur disposition pour les actions de formation”, explique Alice Gallais.

Quatrième cas d’usage enfin : le pilotage des motifs d’insatisfaction grâce à leur mesure chiffrée et à leur représentation graphique. La répartition des motifs est exploitée par les managers pour suivre les tendances et évaluer l’impact des mesures prises pour les résorber. 

La voix des conseillers n’est pas conservée pour nourrir les IA

Voilà pour les applications concrètes permises par l’IA. Un travail technique préalable s’impose, dont la préparation des données. Les appels enregistrés sont soumis à des prétraitements avec l’extraction de la piste client. La voix collaborateur n’est pas conservée – et l’aval du CSE pour le projet n’est donc pas requis.

Les silences sont exclus également. Enfin, seulement trois minutes de parole du client sont stockées, un temps jugé suffisant pour capter les motifs d’appel et de mécontentement. La donnée vocale finale peut ensuite être transcrite au format texte via le logiciel open source Whisper. A ce stade, les transcriptions peuvent être fournies aux modèles.

Le premier modèle, classique, procède à une classification binaire des appels (satisfait ou insatisfait). Pour cette classification, Groupama Loire Bretagne a recours à un modèle de NLP français bien connu : CamenBERT. Celui-ci a cependant été affiné sur une base labellisée manuellement d’appels satisfaits et insatisfaits. Les performances ont été jugées satisfaisantes avec un taux de précision d’environ 90 %.

En ce qui concerne le second modèle, dont la fonction est de résumer les appels, les équipes IA de l’entreprise ont procédé à un comparatif de performances en introduisant des solutions d’intelligence artificielle générative.

“Avant la démocratisation des LLM fin 2022, nous utilisions le modèle T5 de Google. Il ne procède pas à une synthèse mais sélectionne des morceaux de phrases qu’il considère les plus représentatifs de l’ensemble”, détaille Emmanuelle Guyot. C’était une très bonne solution à l’époque”. Mais l’émergence des LLM était l’occasion de challenger le système existant. “Nous en avons testé beaucoup, notamment Vigogne et Mistral”, ajoute la responsable AI de Groupama Loire Bretagne. Les modèles de base n’ont pas livré les résultats attendus.

L’émergence des LLM génératifs source d’opportunités nouvelles

“Il a fallu procéder à un fine-tuning. On ne peut pas utiliser un modèle open source tel quel”. Pour cette phase de spécialisation ou de renforcement de l’entraînement, l’entreprise a eu recours à une base de transcriptions labellisées. Résultat : “des résumés très complets” grâce à Mistral 7B.

Pourquoi ce choix de modèle et pas de GPT ou d’une autre solution propriétaire ? “Notre conviction chez Groupama est de favoriser les modèles open source, notamment afin de ne pas dépendre de technologies externes. C’est aussi une question de coût. Sur l’inférence, c’est-à-dire l’utilisation, c’est gratuit, si on fait abstraction des dépenses liées à l’infrastructure sous-jacente.”

Mistral 7B, un modèle de petite taille, est exécuté directement on-premise, soit grâce aux ressources informatiques internes. “Nous étions limités en termes d’infrastructure. Nous n’avions pas 80 Go de GPU. Un petit LLM s’imposait”, précise encore la Head of AI.

En ce qui concerne le troisième modèle déployé, exploité pour la classification multi-classe des motifs d’appel, plusieurs alternatives ont été testées, par exemple en fournissant soit une transcription soit un résumé de l’appel. Mais deux différentes typologies de modèles ont aussi été comparées : CamenBERT et un LLM génératif (tous deux affinés).

A chacun de ces modèles correspondent des avantages et des inconvénients. CamenBERT, par exemple, nécessite peu de GPU. En revanche, un jeu de données labellisées est requis. Or, la tâche de labellisation est chronophage.

NLP ou LLM ? A chacun ses avantages et inconvénients

En comparaison, le LLM peut opérer sans un tel dataset, tout en requérant plus de ressources de calcul pour son fonctionnement. L’IA générative a été privilégiée et des expérimentations menées avec différents modèles open source de 7 milliards de paramètres (Falcon, Vigogne2, Mistral 7B) et sur la base des résumés des appels.

Une option du résumé justifiée par plusieurs raisons : “les transcriptions étaient très longues, ce qui pouvait alourdir le prompt. De plus, l’usage de résumés nous a permis de faire du few shots, c’est-à-dire de renseigner un exemple pour chaque motif”, déclare Emmanuelle Guyot.

Sans fine-tuning, le taux de précision avoisine les 60 %, un niveau trop bas. L’entreprise a décidé par conséquent de “changer de stratégie”. Elle a construit une base labellisée en s’appuyant sur l’API GPT d’OpenAI (sur une instance privée Azure), “mais seulement ponctuellement pour accélérer la labellisation.”

En parallèle, Groupama a ajusté un modèle open source (Mistral 7B) grâce à la base de données labellisées créée. La performance du modèle de classification des motifs a bénéficié de ce virage en grimpant à 80 %.

Les équipes IA ont encore amélioré ce résultat via un travail sur les labels eux-mêmes en collaboration avec les métiers. Deux catégories de labels ont été définies : les sujets (demande de document, déclaration de sinistre, etc) et les problèmes rencontrés (injoignable, désaccord…).

Des hallucinations maîtrisée grâce au prompt engineering

Pour cette distinction entre les deux classes, Groupama Loire Bretagne a exploité “toute la force d’un LLM”. En un prompt unique, le modèle identifie sujet et problème rencontré par appel. Mais pour une liste de labels simples, un modèle CamenBERT (avec du fine-tuning) peut s’avérer suffisant, prévient l’experte IA de l’assureur.

La complexité du projet de Groupama ne permettait en revanche pas cette alternative à base de deux modèles CamenBERT (ou équivalents). L’entreprise tire d’autres enseignements de son projet. Les défis ne manquent pas.

Ils sont, entre autres, de nature réglementaires en raison de l’utilisation de données soumises au RGPD. Le choix de modèles exécutés uniquement en interne permet en partie d’y répondre, avec une absence de transferts de données vers l’extérieur. 

Biais et hallucinations, propres à l’IA générative, sont aussi à prendre en compte. “En travaillant sur les prompts, il est possible de contraindre le modèle et d’éliminer à 99 % les hallucinations.” Reste la question de l’impact RSE des LLM, très gourmands en effet en ressources.

A cet enjeu, Groupama Loire Bretagne répond en “promouvant le plus petit modèle possible permettant d’atteindre le seuil de performance voulu par les métiers. A la tech, nous avons parfois comme travers de rechercher absolument la nouveauté et la meilleure performance. Ce n’est pas toujours nécessaire. Il convient de revenir au besoin de nos métiers”, conclut Emmanuelle Guyot.