Comment la MAIF a développé sa propre brique open source pour la gestion des e-mails

Chaque jour, la MAIF doit traiter environ 15 000 e-mails. Certains de ces messages, notamment lorsqu’ils concernent des sinistres, nécessitent un traitement rapide. C’est la raison pour laquelle l’assureur mutualiste a décidé de développer un outil de gestion automatique des e-mails. Ce dernier, appelé Mélusine, a ensuite été publié en open source sur le GitHub de la MAIF, conformément à sa volonté de rendre ses outils transparents et utiles à la communauté. Christelle Luguet, chargée d’actions de développement des réseaux à la MAIF, Frédéric de Javel, en charge de projets data science pour l’assureur, et Antoine Simoulin, data scientist chez Quantmetry, ont profité du salon AI Paris 2019 pour revenir sur le projet.

Test & Learn : l’apprentissage par étapes

L’objectif fixé était clair : rendre la gestion d’un volume important d’e-mails plus efficace. Pour y répondre, “nous avions beaucoup de données à disposition : un an d’historique, soit près de 2 millions d’e-mails”, explique Frédéric de Javel. Avec l’aide de Quantmetry, la MAIF met en place un processus de test & learn. “Nous détenions des données de qualité, détaille Antoine Simoulin, avec une moyenne de 100 mots par mail. Nous les avons classifiées en un nombre relativement restreint de catégories (une trentaine) pour faciliter le tri.” Des techniques de traitement automatique du langage naturel (NLP) ont ensuite été exploitées de manière à ce que l’algorithme puisse reconnaître dans le contenu des échanges des indices (ton, mots…) qui permettent de classer le message entrant.

“L’un des problèmes possibles concernait un mauvais routage des e-mails”, raconte Christelle Luget. En travaillant avec les experts métiers, les data scientists de la MAIF et de son partenaire leur font comprendre que le fonctionnement de ce type de technique de machine learning ne se résume pas à un “vrai ou faux”. “C’est au cours de nos échanges qu’ils ont réalisé la possibilité de voir la machine faire des erreurs”, explique Antoine Simoulin. Après les premiers tests, la phase de recette consiste donc à rencontrer de nouveau les conseillers de la MAIF pour vérifier avec eux la validité des réponses données par l’algorithme. 

Au fil des essais, data scientists et experts métiers s’accordent sur un seuil de validité, un pourcentage au-delà duquel on considère le résultat fourni par l’IA comme valide. Christelle Luguet reconnaît que l’opération a été un succès, non seulement d’un point de vue technique, mais aussi parce qu’elle a poussé deux types d’expertise à adopter un langage simple pour pouvoir exprimer leurs besoins respectifs. “Beaucoup de choix technologiques ont d’ailleurs été challengés par des enjeux métiers, pas tellement par des considérations techniques”, renchérit Antoine Simoulin.   

Industrialisation et amélioration du temps de réponse

Après le succès de l’expérimentation est venue la phase d’industrialisation, toujours en concertation. Quantmetry, par exemple, a élaboré une interface avec le CRM de la MAIF pour assurer des livraisons techniques rapides. Ce développement permet de répondre à la nécessité de réentraîner régulièrement l’algorithme, afin qu’il reste pertinent lorsque les données viennent à évoluer. “Les équipes ont donc déployé un modèle stable, mais de telle manière qu’il soit simple à redéployer en fonction de ces nouvelles données”, souligne Frédéric de Javel. 

Une fois en place, le système ainsi mis au point a appelé conversations et métadonnées pour reconstruire l’historique nécessaire. “Il est désormais capable de reconnaître les signatures, de repérer que le reste constitue le corps du mail, et à partir de là, de prédire la catégorisation du texte tout en l’accompagnant d’un score de confiance”, résume Antoine Simoulin. L’algorithme permet aussi d’identifier le métier concerné par le mail, tout en précisant le degré de confiance dans sa réponse.

Résultat : les métiers de la MAIF accèdent à une interface simple où les contrats et documents concernés par l’e-mail sont directement répertoriés. “Ça rend le travail beaucoup plus rapide. On repère très vite si c’est à nous de nous en occuper, et si ce n’est pas le cas, de voir à qui transférer le dossier”, détaille Christelle Luget. “C’est un exemple d’intelligence artificielle facilitatrice au quotidien”. 

Le projet tourne depuis janvier 2019, et au moment de sa présentation au salon AI Paris 2019 le 12 juin dernier, 84,4% des mails avaient été catégorisés avec un score de confiance supérieur au seuil fixé. Le délai de réponse global a par ailleurs été réduit de 20%. 

Open sourcing du projet

“La MAIF avait déjà sorti deux premières API en Open Source : Otoroshi, pour de l’API management, et Izanami, service de configuration partagée et d’A/B testing”, raconte Frédéric de Javel. Elle a donc rendu la librairie Python de l’outil de gestion des e-mails disponible sur son espace GitHub. “Il ne s’agit pas d’un modèle entraîné, les données de la MAIF restent la propriété de l’entreprise, mais tout le pipeline de construction de cet outil de classification est publié”, précise le data scientist. 

La démarche répond à la volonté de transparence de la MAIF. La mutuelle niortaise estime que le passage en open source “pousse à écrire un code très propre dès le départ” et permet à ceux qui le souhaitent de vérifier la neutralité de l’algorithme. C’est aussi, plus ou moins, une manière de “rendre” à l’écosystème open source, sur lequel les deux partenaires se sont appuyés dans leur travail. La communauté est “très vivante en matière de deep learning, avec beaucoup de librairies et d’outils robustes à disposition”, souligne Frédéric de Javel. Enfin, si développer ce type d’outil a un coût (non divulgué), le bénéfice sur le long terme est visible car le code est “beaucoup plus stable, dans la mesure où il a été testé par la communauté”.