Systèmes d’IA : les bons réflexes à acquérir pour anticiper et réduire les menaces

Les solutions alimentées à l’intelligence artificielle sont déjà une réalité dans bien des domaines en finance, comme dans la gestion d’actifs, le scoring ou la lutte contre la fraude à l’assurance. 

La CNIL, témoin de l’intérêt grandissant des acteurs de l’industrie financière pour ces innovations, sensibilise les professionnels aux nouveaux risques engendrés par les technologies de rupture qui sollicitent d’importantes quantités de données.

Dans un effort d’accompagnement des professionnels concernés par les enjeux de protection des données, le régulateur dispense des conseils pratiques liés à la sécurité des systèmes, à appliquer d’un bout à l’autre de la chaîne, de la conception à la mise en production.

Nouvelles menaces

En plus des risques les plus connus, comme les pertes de confidentialité, d’intégrité ou de disponibilités des données, la CNIL identifie trois types d’attaques qui visent les systèmes d’intelligence artificielle en particulier, à savoir les attaques par manipulation, par infection et par exfiltration. 

Selon le régulateur, connaître ces trois modèles d’attaque s’avère capitale, d’autant qu’il existe plusieurs sous-domaines dans chacune de ces catégories, qui peuvent toucher aussi bien les données d’entraînements que le comportement du modèle.

Le travail d’analyse consiste ensuite à identifier les types de menaces les plus susceptibles d’exploiter les vulnérabilités d’un système donné. La CNIL apprend également aux professionnels à caractériser les risques potentiels, selon leur gravité et leur vraisemblance.

Un plan de déploiement bien ficelé

Une fois les risques analysés, le premier réflexe, pour les concepteurs de systèmes d’IA, est de bâtir un plan de déploiement suffisamment détaillé, dans lequel il serait par exemple intéressant d’introduire un raisonnement “privacy by design”, conseillent les experts de la CNIL.

La surveillance des ressources utilisées s’avère être aussi une étape indispensable dans le processus. Tout ce qui touche par exemple à la qualité, au volume, à la cohérence et à la traçabilité des données sont autant d’aspects sur lesquels les professionnels sont invités à concentrer leurs efforts.

Au niveau des données d’entraînement, la CNIL recommande de surveiller l’impact des données et de consolider les jeux de données pour permettre “une meilleure généralisation du modèle”. Ce niveau de vigilance s’applique également sur la méthode d’apprentissage elle-même.

Maîtriser les entrées et les sorties

A l’étape de la mise en production, la CNIL souligne l’importance de bien contrôler les entrées et les sorties, en veillant, par exemple, à limiter le nombre de requêtes API et à contrôler le degré d’informations transmises à l’utilisateur.

En fin de compte, la CNIL insiste sur la nécessité de construire une “stratégie organisationnelle” autour des systèmes d’IA. Cela prend en compte la documentation liée aux choix de conception, la supervision du fonctionnement du système, l’identification des personnes clés, sans oublier l’encadrement du recours à des sous-traitants.

La CNIL estime que le concepteur d’un système d’IA doit informer autant que possible l’utilisateur du fonctionnement de son système, en précisant les cas d’usage où le système est performant, ainsi que ses limites.

Pour les responsables de traitement sans connaissance spécifique en matière d’IA, la CNIL les invite à s’intéresser aux produits qui leur sont proposés et de bien s’assurer qu’ils ont déjà été éprouvés pour d’autres cas d’usage. Sans retour d’expérience, la CNIL encourage les professionnels à se renseigner en amont sur le code et à tester le système dans des conditions proches de la réalité avant la mise en production finale. 

Ce contenu a été réalisé par la rédaction de mind Health (une publication du groupe mind), service d’information professionnelle consacré à la transformation numérique du secteur de la santé, et édité par la rédaction de mind Fintech.