Guillaume Bernard (LNE) : “La représentativité des données est un défi majeur” 

Le LNE évalue la performance des systèmes d’IA. Quelle est votre méthodologie ?

En santé, comme ailleurs, la méthode est la même. Nous prenons un corpus de données et nous comparons avec des métriques d’évaluation les résultats attendus, tels qu’ils sont définis par l’humain, aux résultats donnés par l’intelligence artificielle. Cela nous permet d’avoir une idée de la performance du système d’IA. Le LNE a mis en place un référentiel de certification des processus d’IA. Même s’il est basé sur le volontariat et ne s’applique pas au niveau national, il permet de se faire une idée de la qualité des processus utilisés pour développer des IA. 

Votre évaluation permet-elle de mesurer la dimension éthique des IA ?

Cette dimension éthique, contrairement à la performance, ne fait pas intervenir d’évaluation chiffrée. Elle s’appuie sur la compréhension et la qualification des jeux de données. Sont-ils représentatifs ? N’y a-t-il pas de biais contenu dans la donnée ? Typiquement, des biais sur la couleur de peau et sur le genre peuvent être mis au jour dans le domaine de la santé. 

L’aspect “boîte noire” de l’IA concentre de nombreuses critiques. Comment le contourner ?

La méthodologie d’évaluation des IA a été précisément conçue pour s’adapter à cet aspect boîte noire. Nous savons les données que l’on a en entrée et celles que l’on a en sortie. Il nous faut donc nous appuyer sur ces données, car c’est l’aspect que l’on maîtrise le plus. Quant à savoir ce qu’on a au milieu, certains fournisseurs d’IA vous diront que le process est compréhensible mais dans les faits, cela reste très opaque.