« À la Haute Autorité de Santé, soutenir l’innovation est une conviction partagée de tous : le numérique rend possible une nouvelle façon de travailler, de soigner, d’être soigné et de s’occuper de sa santé. Mais pour que ces innovations puissent se déployer et se développer à hauteur de leur potentiel, nos agences de régulation doivent être en mesure de les traiter aussi vite qu’elles évoluent – au risque, sinon, de freiner leur accès par les patients. Il nous faut donc fluidifier l’instruction des dossiers pour les dispositifs médicaux embarquant des systèmes décisionnels s’appuyant eux-mêmes sur des procédés d’apprentissage automatiques, et souhaitant un financement individualisé par l’Assurance Maladie. C’est tout l’enjeu de ce projet de grille d’analyse », explique le Docteur Isabelle Adenot, présidente de la CNEDiMTS.
Un changement de paradigme dans l’évaluation des DM
Ce document ne porte ainsi que sur une infime partie des dispositifs médicaux s’appuyant sur l’intelligence artificielle (IA) : ceux relevant d’une évaluation scientifique par la CNEDiMTS, donc pour lesquels le marquage CE a déjà été obtenu, qui embarquent des systèmes décisionnels destinés aux patients, et qui cherchent à être inscrits sur la liste des produits et prestations remboursables (LPPR). Comme pour tout autre dispositif médical, la CNEDiMTS doit se prononcer sur le bénéfice que ces technologies apportent au patient ou à la santé publique (service attendu), ainsi que sur leur place dans l’arsenal national (amélioration du service attendu). L’évaluation se base dès lors sur l’analyse des données cliniques disponibles selon les critères de la médecine fondée sur les preuves (“evidence-based medicine“).
Mais elle comporte également des spécificités du fait du caractère connecté de ces DM, de leur très forte rapidité d’évolution technologique, de leur interaction avec d’autres dispositifs et plateformes, de l’importance de l’organisation des soins dans laquelle ils s’insèrent, et des algorithmes décisionnels sur lesquels repose leur fonctionnement. « Ce sont autant d’enjeux qui changement notre paradigme d’évaluation pour ces technologies. Aussi est-il nécessaire de disposer d’un pan descriptif complémentaire, matérialisé par cette grille d’analyse qui devrait être définitivement adoptée et appliquée en avril 2020 », souligne Isabelle Adenot. Le document viendra ainsi enrichir le guide de dépôt des dossiers, mis à disposition des industriels pour faciliter la constitution de leur demande et accélérer son instruction.
Mais elle comporte également des spécificités du fait du caractère connecté de ces DM, de leur très forte rapidité d’évolution technologique, de leur interaction avec d’autres dispositifs et plateformes, de l’importance de l’organisation des soins dans laquelle ils s’insèrent, et des algorithmes décisionnels sur lesquels repose leur fonctionnement. « Ce sont autant d’enjeux qui changement notre paradigme d’évaluation pour ces technologies. Aussi est-il nécessaire de disposer d’un pan descriptif complémentaire, matérialisé par cette grille d’analyse qui devrait être définitivement adoptée et appliquée en avril 2020 », souligne Isabelle Adenot. Le document viendra ainsi enrichir le guide de dépôt des dossiers, mis à disposition des industriels pour faciliter la constitution de leur demande et accélérer son instruction.
De gauche à droite : Corinne Collignon, Isabelle Adenot et Cyril Olivier
36 items pour faciliter la compréhension des outils et de leurs apports
« Les industriels qui développent aujourd’hui des DM intégrant de l’IA ne sont pas forcément ceux avec lesquels nous avons l’habitude de travailler. Eux-mêmes ne connaissent pas toujours le monde de la santé, et peuvent avoir du mal à bien appréhender les champs sur lesquels porte l’évaluation de la CNEDiMTS. Nous sommes bien face à un choc des cultures et devons apprendre à parler le même langage. Cette grille d’analyse leur permettra justement de mieux identifier les informations-clés à fournir pour faciliter la compréhension de leurs outils et de leurs apports », note Corine Collignon, adjointe au chef du service Évaluation des DM pour la HAS.
Le projet de grille balaie ainsi 36 items, couvrant 8 domaines clés :
• la finalité d’usage (intérêt des informations fournies par le système, population visée),
• la description de l’apprentissage (continu/initial/incrémental, modèle retenu et processus de sélection, phases d’apprentissage et de contrôle, etc.),
• les données d’entrée impliquées dans l’apprentissage initial ou le réapprentissage (échantillons de population, caractéristiques et représentativité, variables, modalités de traitement des données et gestion des valeurs les moins probantes, …),
• les données d’entrée impliquées dans la décision (origine et modes d’acquisition des variables, caractéristiques),
• la performance (métrique, caractérisation du sur et du sous apprentissage),
• la validation (méthodologie, performance des différents jeux de données),
• la résilience du système (mécanismes de mesure des dérives, choix des seuils, détection des anomalies, etc.)
• l’explicabilité/interprétabilité (mécanismes à l’œuvre, paramètres influents, cohérence avec les recommandations professionnelles, …).
« À noter toutefois, aucun des items ne porte sur le respect des exigences générales en matière de sécurité et de performances du marquage CE – prérequis à l'évaluation par la CNEDiMTS –, ni sur le respect des exigences en matière de protection des données de santé à caractère personnel, obligation qui ne relève pas de la CNEDiMTS », précise Cyril Olivier, chef de projet Évaluation des DM à la HAS. L’utilisation de cette grille lors des évolutions n’en représente pas moins une opportunité nouvelle pour tous, y compris les patients : tous rendus publics, les avis de la commission comporteront les réponses techniques aux items évalués, ce qui contribuera à développer la confiance des usagers dans l’IA.
Le projet de grille balaie ainsi 36 items, couvrant 8 domaines clés :
• la finalité d’usage (intérêt des informations fournies par le système, population visée),
• la description de l’apprentissage (continu/initial/incrémental, modèle retenu et processus de sélection, phases d’apprentissage et de contrôle, etc.),
• les données d’entrée impliquées dans l’apprentissage initial ou le réapprentissage (échantillons de population, caractéristiques et représentativité, variables, modalités de traitement des données et gestion des valeurs les moins probantes, …),
• les données d’entrée impliquées dans la décision (origine et modes d’acquisition des variables, caractéristiques),
• la performance (métrique, caractérisation du sur et du sous apprentissage),
• la validation (méthodologie, performance des différents jeux de données),
• la résilience du système (mécanismes de mesure des dérives, choix des seuils, détection des anomalies, etc.)
• l’explicabilité/interprétabilité (mécanismes à l’œuvre, paramètres influents, cohérence avec les recommandations professionnelles, …).
« À noter toutefois, aucun des items ne porte sur le respect des exigences générales en matière de sécurité et de performances du marquage CE – prérequis à l'évaluation par la CNEDiMTS –, ni sur le respect des exigences en matière de protection des données de santé à caractère personnel, obligation qui ne relève pas de la CNEDiMTS », précise Cyril Olivier, chef de projet Évaluation des DM à la HAS. L’utilisation de cette grille lors des évolutions n’en représente pas moins une opportunité nouvelle pour tous, y compris les patients : tous rendus publics, les avis de la commission comporteront les réponses techniques aux items évalués, ce qui contribuera à développer la confiance des usagers dans l’IA.
Une consultation publique placée sous le signe de l’intelligence collective
Toujours est-il qu’il s’agit d’un nouveau champ à cerner pour la Haute Autorité de Santé. Aussi estime-t-elle qu’une approche collective est nécessaire, afin de recueillir les avis et suggestions de tous les acteurs impliqués dans le développement ou l'utilisation de dispositifs médicaux intégrant des algorithmes apprenants : industriels, associations de patients, collèges nationaux professionnels, mais également développeurs de solutions informatiques, chercheurs, Instituts Interdisciplinaires d'Intelligence Artificielle (3IA) …
« Nous pourrons alors mieux apprécier la lisibilité de ce projet de grille et la pertinence de chacun des items identifiés. L’approche développée par la HAS est d’ailleurs suivie de près par nos voisins européens : il s’agit en effet d’une première mondiale ! C’est pourquoi la consultation publique, qui se tient du 20 novembre 2019 au 15 janvier 2020, est également disponible en anglais : ces innovations étant internationales, un appel à l’intelligence collective nous semble faire sens », conclut Isabelle Adenot.
Pour participer à la consultation : https://www.has-sante.fr/jcms/p_3118247/fr/projet-de-grille-d-analyse-pour-l-evaluation-de-dispositifs-medicaux-avec-intelligence-artificielle
« Nous pourrons alors mieux apprécier la lisibilité de ce projet de grille et la pertinence de chacun des items identifiés. L’approche développée par la HAS est d’ailleurs suivie de près par nos voisins européens : il s’agit en effet d’une première mondiale ! C’est pourquoi la consultation publique, qui se tient du 20 novembre 2019 au 15 janvier 2020, est également disponible en anglais : ces innovations étant internationales, un appel à l’intelligence collective nous semble faire sens », conclut Isabelle Adenot.
Pour participer à la consultation : https://www.has-sante.fr/jcms/p_3118247/fr/projet-de-grille-d-analyse-pour-l-evaluation-de-dispositifs-medicaux-avec-intelligence-artificielle
Envoyer à un ami
Version imprimable
Partager