La HAS soumet à consultation publique une grille d’analyse des algorithmes auto-apprenants dans les DM

“Des dispositifs médicaux (DM) connectés, nous en avons tellement à évaluer à chaque séance que c’est devenu commun”, témoigne Isabelle Adenot, présidente de la commission nationale d’évaluation des dispositifs médicaux et des technologies de santé (CNEDiMTS) de la Haute Autorité de santé (HAS). Elle ajoute : “nous sommes aujourd’hui confrontés à certains DM connectés qui disent contenir de l’intelligence artificielle (IA). Pour le moment, il s’agit souvent d’algorithmes parfaitement déterministes. Mais pour des dossiers en cours d’instruction, nous confirmons que c’est de l’IA”. Alors que ces dossiers se comptent sur les doigts de la main, la présidente de la CNEDiMTS s’attend à en recevoir de plus en plus. La commission a donc travaillé sur une grille d’analyse pour contribuer à leur évaluation. Si cette dernière est destinée à être utilisée par la CNEDiMTS, l’organisme a décidé de la soumettre à consultation publique pendant les deux prochains mois. Ouverte jusqu’au 15 janvier 2020, elle sera également proposée en anglais afin de “recevoir des contributions nationales et internationales”, indique Isabelle Adenot qui attend des retours “d’autres institutions comme nous, d’experts auprès de la FDA, de la Commission européenne…” mais aussi “des industriels, des mathématiciens, des instituts 3IA…”. La HAS prévoit l’adoption définitive de la grille et son application en avril 2020.

Trois objectifs

Isabelle Adenot remarque par ailleurs : “la HAS mène des consultations publiques mais pas sur son coeur de métier qui est l’évaluation. Cela prouve bien que nous sommes dans un total changement de paradigme”. L’objectif de cette consultation est de recevoir des suggestions d’ajout ou de retrait de critères, de hiérarchisation des différents points et de tester la bonne compréhension des items par les acteurs, détaille la dirigeante. Dans son appel à contributions, la HAS pose ainsi les questions suivantes : “ces catégories de critères sont-elles appropriées dans le cadre de l’évaluation par la CNEDiMTS dans la partie décrivant l’(les) algorithme(s) sur le(s)quel(s) s’appuie le DM ? Peut-on/doit-on suggérer d’autres catégories et/ou critères ? Quels critères permettent d’améliorer l’évaluation de l’intelligibilité de l’IA ? Ou l’anticipation de l’usage en vie réelle ? Existe-t-il des scores de confiance adaptés pour les différents jeux de données ?”

Huit catégories pour 36 critères 

Pour constituer sa grille d’évaluation, la CNEDiMTS a identifié huit catégories de critères, se déclinant en 36 requêtes. “Une innovation technologique n’est pas forcément une innovation clinique. Nous ne sommes pas là pour évaluer l’algorithme mais pour une évaluation clinique de l’ensemble du DM”, souligne Isabelle Adenot qui intègre également les difficultés liées à la temporalité de l’évaluation : “aujourd’hui, pour un DM, les données sont figées. Nous l’évaluons à un instant T. Un algorithme évolue tout le temps. Nous n’allons pas accélérer la fréquence d’évaluation. Notre évaluation doit pouvoir garantir que le DM aura une robustesse du résultat clinique dans le temps”.

Les huit catégories couvrent la finalité, l’apprentissage, les données d’entrées d’apprentissage initial ou de réapprentissage, les données d’entrée impliquées dans la décision, la performance, la validation, la résilience du système et l’explicabilité/interprétabilité. Parmi les 36 critères, la CNEDiMTS liste par exemple la description des caractéristiques de la population visée pour l’indication du DM, le type d’apprentissage et d’algorithme utilisé, la description des échantillons de population utilisée pour les données, les méthodes de validation…

La HAS précise que “ce projet de grille ne comporte aucun critère sur le respect de la protection des données de santé à caractère personnel (ce champ n’entrant pas dans le cadre des missions de la CNEDiMTS), et intègre comme acquis (s’agissant d’un prérequis) le respect des exigences générales en matière de sécurité et de performances du marquage CE”.