Accueil > Parcours de soins > IA et cyber : attaquants et défenseurs à armes égales IA et cyber : attaquants et défenseurs à armes égales Les innovations en santé sont traversées depuis plusieurs années par l’intelligence artificielle (IA), et en particulier l’IA générative qui affole l’écosystème. Dans cette frénésie, les nouveaux facteurs de risque passent sous les radars des déployeurs et des utilisateurs. Les experts en sécurité ont témoigné au Congrès de l’Apssis avoir quelques sueurs froides. Par Clarisse Treilles. Publié le 25 juin 2024 à 22h00 - Mis à jour le 25 juin 2024 à 15h03 Ressources L’IA a fait son apparition dans beaucoup de services des établissements de santé. Chez les radiologues, les anatomopathologistes, les infirmières, les équipes de ressources humaines ou encore les informaticiens, le déploiement de ces solutions est justifié par une recherche de rentabilité et de gain de temps, adossée à une meilleure fluidité dans les workflows. La sécurité n’apparaît pas en haut de la liste des priorités, au grand dam des RSSI et des DSI. Si le déploiement prime sur la sécurité, cela révèle d’abord une méconnaissance technique, admet Thomas Jan, directeur général adjoint en charge de la stratégie numérique d’UniHA : “L’IA est souvent incrémentale dans beaucoup de solutions, ce qui la rend difficilement saisissable”. A cette frontière floue de l’IA s’ajoute un autre comportement bloquant que dénoncent les RSSI : le “shadow AI”, qui consiste à intégrer dans les pratiques professionnelles des solutions technologiques qui n’ont pas reçu leur autorisation. Haro sur les données L’intégration d’outils d’IA, sans être en soi malveillante, pose des questions de sécurité. Une part importante des risques identifiés par les chercheurs en IA vient du fait que les systèmes d’IA se nourrissent d’énormes quantité de données pour fonctionner. L’empoisonnement de ces données est un scénario d’attaque plausible. L’envoi massif de données en phase d’entraînement de nature à fausser les résultats et modifier le comportement du système d’IA pourrait avoir des conséquences désastreuses sur la vie des patients si le scénario du pire est poussé à son paroxysme. Aussi, avec l’IA générative, le risque d’exfiltration de données est décuplé. “Quand on interroge les LLMs (large language models, ndlr) par exemple, on peut se demander où part la requête : dans un réseau fermé et sécurisé ou à l’étranger ?” s’interroge Thomas Jan. IA générative : quels usages en santé ? Pour Joséphine Delas, ingénieure en intelligence artificielle chez HarfangLab, le risque majeur concerne la confidentialité des données. Avec l’essor des solutions “AI-as-as-Service”, notamment, qui permettent de faciliter l’hébergement de pipelines d’IA dans le cloud, des attaques “AI-powered” apparaissent. “L’IA, classique comme générative, peut être manipulée par des groupes malveillants pour plusieurs types de tâches, allant du social engineering (deepfakes, phishing, etc.) à l’écriture automatisée de code simple et le traitement de données volées” explique Joséphine Delas. Olivier Kassian, System Engeineer Public Sector Healthcare chez Palo Alto Networks, fait remarquer qu’avec l’IA générative, “les mails de phishing cessent d’être mal rédigés”. Plus ciblées et plus crédibles, les campagnes de rançongiciel pourraient ainsi avoir plus de chance d’aboutir. L’avantage est à la défense Ces projections sont toutefois à tempérer : “les usages malveillants de l’IA sont limités à date, commente Joséphine Delas. Les attaques se multiplient mais ne s’intensifient pas. L’avantage stratégique de l’AI se situe aujourd’hui encore du côté de la défense”. “Aujourd’hui, quasiment tous les éditeurs réfléchissent à améliorer leurs solutions à l’aide d’IA” constate Olivier Kassian. Palo Alto Networks, entreprise spécialisée en sécurité des réseaux, intègre l’apprentissage automatique et le deep learning dans ses modèles de détection depuis une dizaine d’années. Les résultats de son modèle d’analyse en temps réel “Precision AI” a fait l’objet d’une présentation au Congrès de l’Apssis. Palo Alto revendique un “temps de remédiation moyen de 30 minutes”. Les attaques alimentées par l’IA suivent des schémas inédits. C’est l’une des conclusions majeures de Palo Alto, qui découvre chaque jour plus de 2,3 millions d’attaques qui n’existaient pas la veille via ses plateformes. Ces découvertes sont ensuite versées aux modèles d’entraînement. “Quand nous identifions une nouvelle attaque, nous pouvons détecter aussi les variantes. Cela crée un effet réseau. Ce modèle d’apprentissage devient important pour gagner une longueur d’avance sur les attaquants” déclare Olivier Kassian. Chez HarfangLab aussi, l’IA permet de détecter les logiciels malveillants, grâce à une méthode combinée basée sur le machine learning et le deep learning. Avec l’apport du deep learning et des réseaux neuronaux, les fichiers binaires sont interprétés comme des images (cf. schéma 1). Schéma 1 – HarfangLab Les modèles de machine learning plus classiques reposent, quant à eux, sur l’extraction des caractéristiques des logiciels (taille du fichier, date de création, provenance, permission, etc.) pour en tirer des prédictions (cf. schéma 2). “Si l’IA constitue une méthode de détection, elle ne remplace pas tout”, précise cependant Joséphine Delas. Le mélange de plusieurs méthodologies d’analyse reste à ce jour une solution prudente. Schéma 2 – HarfangLab Comment anticiper les menaces sur les systèmes d’IA selon la Cnil ? La Cnil avait détaillé, l’an passé, les bons réflexes que les responsables de traitement doivent acquérir pour anticiper et réduire les menaces sur les systèmes d’IA. En plus des risques les plus connus, comme les pertes de confidentialité, d’intégrité ou de disponibilités des données, la Cnil identifie trois types d’attaques qui visent les systèmes d’intelligence artificielle en particulier, à savoir les attaques par manipulation, par infection et par exfiltration. Il existe plusieurs sous-domaines dans chacune de ces catégories pouvant toucher aussi bien les données d’entraînements que le comportement du modèle. Au niveau des données d’entraînement, la Cnil recommande de surveiller l’impact des données et de consolider les jeux de données pour permettre “une meilleure généralisation du modèle”. Ce niveau de vigilance s’applique également sur la méthode d’apprentissage elle-même. A l’étape de la mise en production, la Cnil souligne l’importance de bien contrôler les entrées et les sorties, en veillant, par exemple, à limiter le nombre de requêtes API et à contrôler le degré d’informations transmises à l’utilisateur. Pour les responsables de traitement sans connaissance spécifique en matière d’IA, la Cnil les invite à s’intéresser aux produits qui leur sont proposés et à bien s’assurer qu’ils ont déjà été éprouvés pour d’autres cas d’usage. Sans retour d’expérience, la Cnil encourage les professionnels à se renseigner en amont sur le code et à tester le système dans des conditions proches de la réalité avant la mise en production finale. Clarisse Treilles CybermalveillanceCybersécuritéDonnées de santéHôpitalIntelligence Artificielle Besoin d’informations complémentaires ? Contactez le service d’études à la demande de mind