Explicabilité et interprétabilité, critères indispensables de l’IA de confiance

Pour être appliquée en toute confiance, l’intelligence artificielle (IA) -du simple arbre décisionnel au réseau de neurones complexe- doit pouvoir rendre des comptes à celui qui l’utilise. Ses définition, périmètre, explicabilité et interprétabilité s’avèrent donc indispensables à son application en santé mais demeurent encore évolutives comme l’expliquait mind Health dans son précédent dossier. Plusieurs outils permettent toutefois d’encadrer l’élaboration d’algorithmes et la traçabilité d’un raisonnement lors d’aide à la décision par exemple.

La valeur ajoutée de l’IA de confiance

En pratique, l’exercice consiste à traduire la médecine en mathématique, et vice-versa. En passant du langage médical au langage informatique, on construit l’interprétabilité de l’IA, en rempart de la boîte noire, tout en traduisant en requête informatique une cible d’intérêt médical. D’après Alexandre Templier, président exécutif de Quinten, “Combiner les hypothèses générées par un algorithme avec l’expertise d’un médecin sur les patients à risque de développer une pathologie ou à forte probabilité de répondre à un traitement permet de générer de nouvelles connaissances.
La valeur ajoutée des algorithmes réside notamment dans leur capacité de tester massivement toutes les combinaisons d’hypothèses possibles et à sélectionner les meilleures”. Notamment en filtrant dans les résultats obtenus ce qui est de l’ordre de l’aléa ou du signal pour sélectionner celles qui ont le plus de chances d’être validées, de se reproduire sur d’autres jeux de données, explique-t-il. “Un signal est un résultat de test statistique concluant, ayant une très faible probabilité d’être observé par hasard”. Selon lui, les notions théoriques mathématiques complexes sur lesquelles repose l’algorithme ne sont pas immédiatement accessibles, d’où l’impression de “boîte noire”.

“La médecine a recours aux statistiques depuis plus de 70 ans avec l’evidence-based medicine. En revanche, les résultats des prédictions générées par l’IA sont rarement explicites. La question des variables influençant ces prédictions, et leur validité, est tout à fait légitime”, poursuit Alexandre Templier. Il rappelle que l’IA est une évolution du data mining -la fouille de données- générant de nouvelles connaissances, permettant d’atteindre une certaine exhaustivité en “épuisant les données” pour en extraire tous les signaux potentiellement utiles. L’enjeu consiste à en décrire l’exploration multidimensionnelle. ”Il faut prouver que l’IA a un effet, fournir ses chiffres de fiabilité, c’est une question d’acceptabilité par le marché”, prévient Christine Balagué, titulaire de la Chaire Good In Tech. ”Avant d’envisager d’intégrer dans le calcul de remboursement d’un DM (dispositif médical) la valeur ajoutée par l’IA, il faut la démontrer. Que les effets soient positifs ou négatifs il faut les quantifier. Par exemple, un système peut améliorer le diagnostic tout en générant beaucoup de discriminations, la valeur ajoutée n’en serait pas correcte”.

L’interprétabilité, gage de confiance à l’usage

Selon Alexandre Templier, “Avec certains algorithmes, qui permettent d’extraire des règles métiers à partir des données, le processus d’aide à la décision est parfaitement traçable, et compréhensible par tout un chacun”. Pourtant, souvent, le principe de rétro ingénierie, consistant à partir du résultat pour revenir à la donnée, n’est pas applicable. D’où la nuance de Xosé Fernandez, directeur des data à l’Institut Curie selon qui les réseaux de neurones peuvent être tellement profonds que le cheminement de l’information, un véritable labyrinthe, n’est pas traçable jusqu’à l’origine. “En clinique on évite d’utiliser les réseaux de neurones profonds qu’on garde pour l’analyse d’images. On utilise plutôt des arbres de classification facilement explicables”. “L’arbre décisionnel n’est pas ringard, c’est l’outil d’IA le plus simple et le seul à être 100 % explicable”, abonde Manuel Gea, CEO de Bio-Modeling Systems.

Algorithme, mode d’emploi & SAV, condition sine qua non de construction d’une IA de confiance

Pour construire une IA de confiance, Arnault Ioualalen, CEO de Numalis, préconise de définir préalablement la finalité de l’outil et du cadre pour parvenir à des scores et des référentiels permettant d’évaluer chaque critère dans un contexte déterminé. Rappelant que “plus elle apprend, plus une IA est performante”, il distingue trois cas d’évaluation périodique de l’IA. 

Premièrement, un dispositif embarquant de l’IA n’apprenant plus une fois mise en production. “L’immense majorité des IA aujourd’hui apprennent ‘sur la paillasse’ puis sont intégrées dans la vraie vie et y demeurent ‘figées’. Le système et son usage sont validés dans des conditions définies qui ne seront plus modifiées.”

Deuxièmement, un système figé mis en production, auquel des capteurs récupérant de l’information peuvent être ajoutés. Ce qui implique de ré effectuer l’apprentissage en tenant compte des nouvelles données collectées. Cette mise à jour nécessite de re valider le système, “ce qui est problématique pour les DM : doivent-ils systématiquement obtenir un nouveau marquage (CE et/ou FDA) très coûteux via des essais cliniques ? En santé, nombre d’enrichissements peuvent être issus des données de vie réelle, hétérogènes”, note Arnault Ioualalen. Selon lui, partir d’une validation déjà effectuée pour analyser uniquement si l’incrément d’amélioration est validable s’avère possible seulement dans certains domaines émergents de la recherche. Xosé Fernandez précise d’ailleurs qu’”À Curie, on utilise l’IA uniquement en recherche, sur la prédictibilité de la réponse d’un patient à un traitement néo adjuvant par exemple, dans le cancer du sein, pour en éviter l’inutilité. Il n’y a pas d’usage sur les patients”.

Quant au cas de l’IA apprenant en continu, comme “l’apprentissage par renforcement pour lequel il n’existe pas de contrôle hormis la mise en place d’une boucle de rétroaction externe, valider en temps réel ou quasi réel est très compliqué”, illustre le P-DG de Numalis. Christine Balagué estime qu’”un audit régulier est nécessaire, notamment post-développement puisque les paramètres de l’algorithme évoluent quasiment constamment en fonction des données, mais actuellement on ne peut auditer qu’à un instant t. A minima, les évolutions du système doivent être documentées. La position de la Chaire est de penser l’IA de confiance au moment où on la développe. Intégrer cela dès la création limite nombre d’effets négatifs”. Le premier DM intégrant de l’IA apprenante évalué par la HAS a été celui de Diabeloop en février 2020.

L’évolutivité de l’IA

Selon Arnault Ioualalen, pour auditer un système on dispose habituellement de procédures automatisées, d’essais cliniques ou en vie réelle. “Ces méthodes permettent de vérifier qu’une intention a bien été implémentée. La difficulté concernant l’IA réside dans la réussite d’un audit d’un système dont l’intention existe mais est antérieure à sa réalisation. On ne voit pas les datas ni l’intention”. D’autant qu’il faut évaluer des versions successives et implémentées. Pour Alexandre Templier, ce sont les preuves de concept qui règnent en santé pour la démonstration de valeur. Alors que le gold standard demeure la validation de l’intérêt des algorithmes sur des bases de données indépendantes de celles sur lesquelles il a été entraîné. De la conception à l’utilisation voire en post production. La mise sur le marché, réglementée via des preuves de traçabilité, de transparence et de performance à apporter, permet d’évaluer la maturité de l’IA. La certification d’un logiciel conformément au règlement 2017/745 relatif aux DM est basée sur le principe selon lequel un dispositif conçu à des fins médicales puisse être testé techniquement et cliniquement à un instant t et commercialisé sous cette forme immuable. Pour un logiciel d’apprentissage continu, les critères de sécurité et de performance évoluent constamment puisque les données de sortie ne permettent pas d’attester du même niveau que lorsqu’il a été validé. Chaque modification rendrait caduque la certification et obligerait à procéder à un nouveau marquage CE.

Lucas Davy, COO de Quinten, souligne qu’il faut différencier les cas d’usages : “Dans l’exemple de la détection automatique de cellules cancéreuses via l’imagerie médicale, recourir à une IA évolutive n’est pas nécessaire. On peut entraîner un modèle sur des données historiques puis le figer et l’utiliser sur les futurs cas rencontrés car la nature du phénomène évolue faiblement dans le temps. À l’inverse, si la nature du phénomène étudié évolue dans le temps ou si l’algorithme modifie la nature du phénomène (par exemple modification du comportement de prescription du médecin, évolution de la réglementation, apparition de nouveaux traitements), une IA évolutive permet au modèle de s’adapter à ces évolutions de contexte. Une IA figée représenterait un risque pour le patient, a contrario”.   

La grille d’évaluation proposée par la HAS

La HAS a déployé le 18 novembre un nouvel outil pour l’évaluation des DM embarquant de l’IA : un guide constitué d’une check-list de description de la technologie. Huit catégories de critères clés permettant de répertorier les informations visant à comprendre le dispositif y figurent : finalité d’usage, apprentissage, données d’entrée d’apprentissage initial ou de réapprentissage, données d’entrée impliquées dans la décision, performance, validation, résilience du système et explicabilité. Les industriels évitent ainsi les itérations avec la HAS pour aboutir à une évaluation plus rapide. Les fonctionnalités concernées s’appuient sur des procédés d’apprentissage automatique pour lesquels un modèle a été conçu à partir d’un entraînement impliquant des données (pour un dépôt d’inscription sur la LPPR (liste des produits et prestations remboursables) ou forfait innovation. La grille questionne aussi la robustesse du modèle, sa résilience (en cas de situation critique lors de la délivrance d’un médicament, si un capteur dysfonctionne, le DM continue-t-il à fonctionner en mode dégradé ? Un autre système expert prend-il le relais ?). L’objectif est de déterminer le lien entre l’incidence (technique) et les conséquences cliniques. “L’explicabilité et l’interprétabilité, grâce à un procédé de fonctionnement, avec l’exemple d’un système expert reproduisant un arbre décisionnel expliquant la manière dont le résultat est obtenu, sont les éléments déterminants pour la confiance accordée dont doit disposer l’utilisateur”, justifie Isabelle Adenot, présidente de la Cnedimts (Commission nationale d’évaluation des dispositifs médicaux et des technologies de santé de la HAS).   

Les outils disponibles

“La Chaire Good In Tech a mis au point une interface technique éthique accessible en open source pour les datascientists souhaitant tenir compte des critères d’IA de confiance dans le développement des algorithmes”, indique Christine Balagué. La start-up Numalis a édité deux documents (ISO 24029-1 et 24029-2) analysant le comportement des IA selon deux aspects. La robustesse pour déterminer jusqu’où dans la variabilité des données le système reste cohérent : “le système doit toujours classifier correctement les tumeurs même en présence d’un bruit dû aux capteurs”, illustre Arnault Ioualalen. Et l’explicabilité qui permet sur une analyse exécutée par une IA de retrouver dans les données d’entrée ce qui a le plus influé sur les sorties, pour mieux comprendre et interpréter la pertinence de la proposition faite par l’IA. Selon lui, “le cadre certificateur n’est pas défini, il faut d’abord élaborer des standards”. En 2016, Jérôme Béranger a fondé le label ADEL (Algorithm Data Ethics Label) qu’il décrit comme une échelle de référence permettant d’établir un score éthique du numérique en médecine. Initialement porté par une vision “éthique by design”, cet outil se veut désormais “éthique by évolution” afin de s’inscrire dans la temporalité des IA. Il intègre les notions d’éthique des données, des algorithmes, des systèmes, des pratiques et des décisions. “ADEL permet un audit systémique complet, un contrôle technique en quelque sorte !”, souligne Jérôme Béranger.

L’intérêt des biais…équilibrés !

Conçu par un humain, l’algorithme ne peut qu’être emprunt de biais cognitifs. Les contraintes semblent plus d’ordre humain que technique. Cynthia Fleury-Perkins estime que l’”on est sorti d’une neutralité des algorithmes qui reproduisent des biais émotionnels créés par l’homme. Il faut biaiser l’IA, l’orienter, au bénéfice des individus”, rejoignant l’idée d’une supervision, du moins d’une “interprétation humaine et non par la machine”. Mais une IA peut-elle être neutre, ciblée, mais non discriminatoire envers l’infini nombre de patients et les critères qui les définissent ? Les biais sont utiles pour établir des diagnostics puisqu’ils permettent de classer des patients selon leurs facteurs de risque. “C’est parfois ce que l’on demande à un algorithme : d’identifier ces biais pour prédire ou promouvoir des phénomènes, il ne s’agit pas de supprimer tous les biais. Les algorithmes se nourrissent du contraste et de l’hétérogénéité. Tout est dans l’interprétation et l’utilisation des résultats”, prévient Alexandre Templier.

Comme les opinions encapsulées, ces biais doivent être tracés au sein du code. La représentativité de la diversité des patients est un exemple de biais technique des données. Plus on est représentatif de l’ensemble des patients, plus on peut les catégoriser. Pour Xosé Fernandez, “le contexte de traitement des données est décisif. Avant et après un traitement par exemple. Leur qualité est essentielle à l’amélioration d’un modèle d’IA. Voire critique car elle contribue à la confiance que l’on peut lui accorder. À l’Institut Curie, nous utilisons la blockchain pour assurer la traçabilité des données. Cela nourrit l’explicabilité de l’algorithme. Celle du raisonnement de l’algorithme dans un contexte, doit être extrapolable à une population”.

Différents types de biais

Les biais peuvent être perçus comme des “effets indésirables” ou comme indispensables aux algorithmes. Lucas Davy note qu’il en existe deux sortes : “Technique, comme une erreur de classification et/ou de prédiction, pouvant être due à un manque de performance du modèle construit ou dérivé du domaine d’applicabilité lorsqu’il est question d’un phénomène évoluant dans le temps. Et éthique lorsqu’il y a rupture d’égalité versus identification/exploitation de facteurs de risque”. Selon lui, différentes démarches contribuent à lutter contre : “l’identification de ces derniers en contrôlant les résultats de l’algorithme sur différentes sous-populations ou en analysant son fonctionnement via des techniques d’IA explicable. Et leur anticipation via l’adaptation de l’apprentissage de l’algorithme pour les éliminer ou les réduire : création d’un modèle spécifique pour les hommes et un second spécifique pour les femmes et traitement différentiel des résultats de ces deux algorithmes pour rétablir l’équité”.

L’IA peut-elle être un tiers de confiance ? Pour Cynthia Fleury-Perkins, “plus on va aller vers une IA omniprésente, plus il y aura un enjeu de résistance et de confiance démocratique, or la médecine fait partie des tiers de confiance”. Le contexte n’est pas figé, les outils se mettent en place.