Le retard relatif de la France dans la transformation digitale de son système de santé doit être pris en compte au moment d’aborder les enjeux juridiques et éthiques afférents à l’intelligence artificielle en santé. En effet, alors que notre pays dispose déjà d’un cadre juridique très structuré, ajouter des nouvelles normes opposables dans le domaine de l’intelligence artificielle dans le domaine de la santé induit un risque de renforcement des blocages de l’innovation.

Avis du Comité consultatif national d’éthique

De ce point de vue, l’avis émis par le Comité consultatif national d’éthique (CCNE) préalablement à la révision de la loi de bioéthique marque un tournant en portant une approche claire et ouverte à l’innovation des enjeux éthiques associés à la diffusion de l’intelligence artificielle dans le domaine de la santé (v. encadré).

Initiative Ethik-IA

Engagée voici plus d’un an, l’initiative Ethik-IA avait précisément fédéré une équipe de chercheurs et de professionnels du secteur sanitaire et médico-social opérationnels pour porter et diffuser cette idée d’une régulation positive de l’intelligence artificielle et de la robotisation en santé. L’objectif opérationnel était de faire en sorte que la France et l’Union européenne se positionnent au premier rang mondial dans l’élaboration d’un dispositif d’acclimatation de l’intelligence artificielle en santé conforme aux exigences d’une société démocratique avancée. L’idée générale était de montrer concrètement que cette régulation peut être obtenue pour l’essentiel pour le développement de recommandations de bonnes pratiques plutôt que par du « droit dur ». En effet, avec l’entrée en vigueur du Règlement général sur la protection des données (RGPD) de l’Union européenne qui vient s’ajouter à une série d’autres normes nationales, la France possède déjà l’un des environnements juridiques les plus sophistiqués au niveau international en matière de protection des données personnelles.*
Cette initiative s’appuie notamment sur les travaux déjà engagés dans le cadre de la chaire santé de Sciences-Po Paris et de l’institut Droit-Santé de Paris-Descartes. Elle vise à faire partager largement la conviction de la nécessité d’un engagement fort des pouvoirs publics et de la société civile pour soutenir les efforts de recherche et de structuration du débat public en la matière.

Des clés de régulation positive

Dans le contexte du processus de révision des lois de bioéthique, des principes de régulation positive du déploiement de l’intelligence artificielle en santé peuvent être dégagés. Ces recommandations de bonnes pratiques n’ont bien entendu pas vocation à se substituer au régime de mise sur le marché applicable au dispositif médical ou au produit de santé dans lequel est embarquée la solution d’intelligence artificielle. Un contrôle technique sur l’algorithme lui-même aura à être mis en œuvre dans le cadre de ce régime de mise sur le marché et, comme c’est le cas pour les autres innovations technologiques, à être réitéré au cours de la vie du produit. Ce contrôle portera notamment sur la fiabilité technique mais aussi sur l’explicabilité des résultats de l’algorithme.
Ce contrôle technique ne représentant pas, cependant, un pilotage par la qualité du service médical rendu et par le caractère éthique de l’approvisionnement en données de l’algorithme. D’autres recommandations de bonnes pratiques doivent être développées à cette fin. C’est le sens des « 5 clés de régulation de l’intelligence artificielle et de la robotisation en santé » présentées par Ethik-IA au mois de février dernier (v. encadré).
Pour l’essentiel, ces clés de régulation peuvent être mises en œuvre à droit constant. Comme l’avait relevé Ethik-IA dès la diffusion de ce prototype de norme en février dernier, seul le principe de garantie humaine aurait à être introduit dans la loi – de préférence en termes généraux afin de ne pas trop restreindre les marges de mise en œuvre des acteurs de terrain – à l’occasion de la prochaine révision bioéthique.
Depuis l’engagement, en février 2018, de l’appel à commentaires sur ce prototype de norme générale de régulation de l’intelligence artificielle en santé, de très nombreux soutiens se sont exprimés en appui de ces propositions.** Certaines idées se sont largement diffusées dans le débat public autour d’applications pratiques de l’idée de garantie humaine de l’intelligence artificielle. Par exemple, Ethik-IA a proposé d’instituer, dans les établissements de santé, un « collège de garantie humaine ». Cette instance associerait des médecins, des professionnels paramédicaux et des représentants des usagers. Sa vocation serait d’assurer a posteriori une révision de dossiers médicaux pour porter un regard humain sur les options thérapeutiques conseillées ou prises par l’algorithme. L’objectif opérationnel consiste à s’assurer « au fil de l’eau » que l’algorithme reste sur un développement de « machine learning » à la fois efficace médicalement et responsable éthiquement.

L’exemple de l’institut Imagine

Dans un domaine plus spécifique, les équipes de l’institut hospitalo-universitaire Imagine*** ont présenté, le 2 juillet dernier, un prototype de norme de bon usage de l’intelligence artificielle appliqué aux données génomiques, élaboré avec Ethik-IA. Les équipes d’Imagine disposent d’une expérience déjà avérée en matière de recours aux algorithmes en soutien à la recherche. Dans ce cadre, sont en particulier développé l’outil de stockage et traitement de données Dr Warehouse# et conduit le projet C’IL-LICO labellisé RHU (projet de recherche hospitalo-universitaire) mobilisant une expérimentation d’intelligence artificielle et de machine learning dans le domaine des ciliopathies rénales pédiatriques.
Le raisonnement est simple : il s’agit d’essayer d’établir un « périmètre de sensibilité » plus sécurisé au sein duquel les traitements de données (et en particulier les croisements entre données génomiques et données phénotypiques) pourront être significativement facilités. Ce prototype de norme constitue une première étape de définition des segments de données et traitements de données sensibles au regard de l’application de l’intelligence artificielle devant faire l’objet d’une protection renforcée. L’objectif de normalisation à terme est de constituer un cadre de référence du type de l’échelle P1 à P4 mis en œuvre pour les laboratoires.## Le champ des données génétiques peut être considéré, dans cette perspective, comme un possible domaine de protection plus souple à mettre en œuvre au regard du risque de captation et de traitement non maîtrisé de données de santé par une intelligence artificielle généraliste, le cas échéant techniquement conçue dans un cadre non régulé en France. En outre, cette protection renforcée se justifie par les effets de mutation algorithmique susceptibles d’être provoqués par le branchement de bases de données génétiques sur des intelligences artificielles initialement conçues à partir de données cliniques ou de littérature scientifique.
Mais cette protection relativement plus forte vise aussi à donner plus de souplesse pour faire avancer la recherche en levant certaines rigidités juridiques excessives. En l’état, des non-cliniciens ne peuvent participer au traitement de données cliniques, ce qui constitue un obstacle très fort au développement de la recherche translationnelle (« from bed to bench to bed »). La création de ce « périmètre de sensibilité » plus sécurisé viserait également à permettre la levée de ce verrou pour donner plus de potentialité au recours à l’intelligence artificielle dans le domaine de la recherche en génétique. Dans le cas précité des ciliopathies rénales pédiatriques, la levée de ces obstacles pratiques permettra une exploration profonde des bases de données par l’intelligence artificielle afin de tenter d’identifier les possibles déterminants génétiques de la pathologie.

Pour un dispositif de « garantie humaine »

Prenons un exemple précis. Un dispositif de « garantie humaine » de l’intelligence artificielle peut ainsi permettre au patient et au médecin traitant de faire appel à un « deuxième regard » humain en cas de doute sur les solutions proposées par l’algorithme. C’est le sens de la notion « télémédecine de garantie humaine » proposée en articulation avec la Société française de télémédecine. Ce dispositif concourt à la régulation du déploiement de l’intelligence artificielle et s’inscrit aussi dans une logique de développement à l’export de l’expertise médicale française.
À mesure que la robotisation et l’intelligence artificielle se diffuseront au niveau mondial au sein des systèmes de santé, la médecine deviendra de moins en moins requérante en diagnostic humain. La proposition diagnostique par algorithme a vocation à devenir le principe, à plus ou moins brève échéance.
Cette évolution n’emporte pas, pour autant, une suppression pure et simple de l’intervention humaine. Au contraire, il a été déjà montré qu’une piste d’évolution possible est celle d’une libération de temps pour un accompagnement « plus humain » des professionnels médicaux et paramédicaux auprès des patients. En outre, et ce champ de réflexion est plus nouveau, il est permis de penser que la généralisation du diagnostic algorithmique induira, au titre du respect du principe de garantie humaine, un besoin de deuxième regard humain.
Ces deuxièmes avis pourront être sollicités par les patients ou les professionnels en cas de doute face à la pertinence du diagnostic algorithmique. Cette sollicitation sera, en outre, très probablement nécessaire pour les cas de diagnostics rares pour lesquels les bases de données seront insuffisantes pour générer des probabilités suffisamment sécurisées à l’appui d’un diagnostic algorithmique. La médecine numérique de demain renforcera très probablement le besoin d’un diagnostic humain hyperspécialisé et capable de « déroger » à l’algorithme pour conserver une place à l’intuition humaine, source de progrès dans le raisonnement médical. C’est ce que l’on pourrait appeler une forme de « Dr Housisation » de la médecine en mode numérique.
Cette télé-expertise de garantie humaine pourra, par ailleurs, être incitée par des normes nationales, européennes et/ou internationales à titre de clause de vérification humaine régulière de l’adéquation médicale, éthique et juridique de l’algorithme. Cette déclinaison de l’idée de garantie humaine pourrait tout à fait être posée dans le cadre d’un dispositif de normalisation.

Conclusion

Pour créer une véritable synergie positive, il manque sans doute, à ce stade, un choix d’investissement fort dans une infrastructure de niveau mondial susceptible de porter technologiquement un centre de référence mondial de télémédecine de garantie humaine. Cet investissement n’induit pas d’innovation technologique véritable : nécessité de ponts numériques sécurisés pour des transferts d’imagerie et de données biologiques longue distance, besoin d’espaces sécurisés de stockage des données, capacité de dispatching et de prise de rendez-vous en ligne pour rechercher l’expert médical pertinent sur le dossier concerné… Toutes ces solutions techniques sont aujourd’hui d’ores et déjà déployées sur des échelles plus ou moins larges. La création prochaine d’un Health Data Hub donne sans doute l’opportunité d’engager une initiative forte pour les fédérer.
Julia Petrelluzzi est doctorante en droit de l’intelligence artificielle de l’université Paris-Saclay, auteur avec M. Miliotis de L’Intelligence artificielle : ses enjeux en droit civil européen. Riga : Éditions universitaires européennes, 2017.* Les États-Unis ont une conception très différente de la protection des données personnelles. Cette différence tient tout d’abord à l’organisation même du système de droit américain. En effet, le 4e amendement de la Constitution américaine garantit un droit de protection de la vie privée, mais uniquement à l’égard du gouvernement. Cet amendement donne naissance à une première loi en 1973, le Privacy Act. Ce texte établit des règles sur le traitement des données à caractère personnel collectées par les différentes branches du gouvernement. Donc seules les atteintes portées par le gouvernement à la vie privée des citoyens sont visées. Les autres atteintes à la vie privée et à la protection des données personnelles relèvent de la compétence propre de chaque État et de ses tribunaux, comme l’avait jugé la Cour suprême dès 1965.** Un colloque organisé par Ethik-IA a, en particulier, réuni un panel d’une trentaine d’intervenants de haut niveau et 300 participants au Sénat le 2 juillet dernier « Pour une régulation positive de l’intelligence artificielle et de la robotisation en santé : le temps est compté ! », colloque organisé sous le patronage d’Alain Milon, président de la commission des Affaires sociales du Sénat.*** L’institut des maladies génétiques Imagine est un centre d’excellence sur les maladies génétiques, au sein de l’hôpital universitaire Necker-Enfants malades. Rassemblant équipes mixtes de recherche Inserm/université Paris-Descartes, soignants et patients, c’est un lieu unique d’interaction étroite entre la recherche et les soins visant à accélérer les solutions diagnostiques et thérapeutiques dans le domaine des maladies génétiques et la valorisation des résultats, favoriser les synergies et le transfert de connaissances. Il a été créé en 2007 sous la forme d’une fondation de coopération scientifique par l’AP-HP, l’Inserm, l’université Paris-Descartes, le département de Paris, l’Association française contre les myopathies et la Fondation Hôpitaux de Paris-Hôpitaux de France. Il a été labellisé en 2011 « institut hospitalo-universitaire » dans le cadre du programme investissements d’avenir lancé en 2010.# Dr Warehouse est un entrepôt de données hospitalier de l’hôpital Necker-Enfants malades (AP-HP) permettant de réutiliser les données cliniques des patients pour la recherche, l’aide au diagnostic et l’enseignement. Il a été développé par l’institut Imagine et est distribué sous licence open source GNU GPL.## Échelle définie réglementairement en France par l’arrêté du 16 juillet 2007 fixant les mesures techniques de prévention, notamment de confinement, à mettre en œuvre dans les laboratoires de recherche, d’enseignement, d’analyses, d’anatomie et cytologie pathologiques, les salles d’autopsie et les établissements industriels et agricoles où les travailleurs sont susceptibles d’être exposés à des agents biologiques pathogènes.
Encadre

Les propositions du CCNE en matière de numérique et d’intelligence artificielle pour la prochaine révision bioéthique

D’après l’avis n° 129 de contribution du Comité consultatif national d’éthique à la révision de la loi de bioéthique.

Le CCNE considère comme prioritaire la diffusion du numérique dans le domaine de la santé, et souhaite qu’en l’état des recherches et du développement de ces technologies le recours au droit opposable soit circonscrit au maximum. Compte tenu des marges de gains de qualité et d’efficience permises par un recours élargi au numérique dans notre système de santé, mettre en œuvre une logique bloquante de réglementation ne serait pas éthique. Il propose par ailleurs que soit engagée au cours des prochains mois une réflexion sur la création d’instruments de régulation de type “droit souple”, applicables à la diffusion du numérique au sein de notre système de santé, avec un rôle de supervision générale qui pourrait être dévolu à la Haute Autorité de santé. Un tel cadre permettrait de renforcer l’efficacité et l’efficience de notre système de santé, tout en conservant la souplesse opérationnelle nécessaire à l’accompagnement de l’innovation.

Le CCNE propose que soit inscrit au niveau législatif le principe fondamental d’une garantie humaine du numérique en santé, c’est-à-dire la garantie d’une supervision humaine de toute utilisation du numérique en santé, et l’obligation d’instaurer pour toute personne le souhaitant et à tout moment la possibilité d’un contact humain en mesure de lui transmettre l’ensemble des informations la concernant dans le cadre de son parcours de soins.

Le CCNE juge nécessaire que toute personne ayant recours à l’intelligence artificielle dans le cadre de son parcours de soins en soit préalablement informée afin qu’elle puisse donner son consentement libre et éclairé.

Le CCNE souhaite que cette révolution numérique ne pénalise pas les citoyens du non-numérique qui sont souvent en situation de grande fragilité, particulièrement dans le domaine de la santé.

Le CCNE propose que soit créée une plate-forme nationale sécurisée de collecte et de traitement des données de santé pour articuler, entre eux, les différents enjeux éthiques afférents aux données de santé.

Le CCNE va s’engager pleinement dans les réflexions éthiques relatives au domaine du numérique et de la santé, et d’autre part se propose d’aider à la préconfiguration d’un comité d’éthique spécialisé dans les enjeux du numérique. 

Encadre

Les 5 clés de régulation de l’initiative Ethik-IA pour le déploiement de l’intelligence artificielle et de la robotisation

Clé 1. Information et consentement du patient

Le patient doit être informé préalablement du recours à un dispositif d’intelligence artificielle dans son parcours de prise en charge. Ce dispositif ne doit pas se substituer au recueil du consentement du patient. Des modalités particulières – comme le recours à une personne de confiance, à des dispositifs de recueil a priori pour un ensemble d’options de solutions de prise en charge ou à des dispositions de protection renforcée pour les personnes vulnérables – doivent, le cas échéant, être aménagées pour garantir l’effectivité du recueil de ce consentement.

Clé 2. Garantie humaine de l’intelligence artificielle

Le principe de garantie humaine du dispositif d’intelligence artificielle en santé doit être respecté. Cette garantie doit être assurée par, d’une part, des procédés de vérification régulière – ciblée et aléatoire – des options de prise en charge proposées par le dispositif d’intelligence artificielle et, d’autre part, l’aménagement d’une capacité d’exercice d’un deuxième regard médical humain à la demande d’un patient ou d’un professionnel de santé. Ce deuxième regard peut, le cas échéant, être mis en œuvre par l’intermédiaire de dispositifs de télémédecine.

Clé 3. Graduation de la régulation en fonction du niveau de sensibilité des données de santé

La régulation du déploiement d’un dispositif d’intelligence artificielle pour le traitement de données de santé en grand nombre doit être graduée en fonction du niveau de sensibilité de ces données au regard des principes du droit bioéthique. Des normes de bonnes pratiques peuvent être élaborées pour la mise en œuvre de ce principe dans des domaines spécifiques de prise en charge.

Clé 4. Accompagnement de l’adaptation des métiers

La mise en œuvre d’un dispositif d’intelligence artificielle ou de robotisation ne doit pas conduire à écarter l’application des principes et règles déontologiques dans l’exercice des professions de santé utilisant ces dispositifs. Les effets du recours à un dispositif d’intelligence artificielle ou de robotisation sur les conditions de cet exercice doivent, dans toute la mesure du possible, faire l’objet de modalités d’anticipation et d’accompagnement. Une partie des gains d’efficience obtenus par le déploiement de l’intelligence artificielle et de la robotisation en santé doit être mobilisée pour le financement de cet accompagnement, la formation – initiale et continue – des professionnels aux enjeux de l’intelligence artificielle et de la robotisation et pour le soutien à l’émergence de nouveaux métiers dans le champ sanitaire et médico-social.

Clé 5. Intervention d’une supervision externe indépendante

Une supervision externe indépendante est mise en œuvre pour examiner les dispositions prises en vue de veiller au respect de ces principes. L’autorité chargée d’assurer le respect de la mise en œuvre de cette supervision externe diligente des études d’évaluation régulière pour apprécier les effets du déploiement de l’intelligence artificielle et de la robotisation dans le domaine de la santé. Elle soutient la recherche sur la régulation du déploiement de l’intelligence artificielle et de la robotisation. 

Dans cet article

Ce contenu est exclusivement réservé aux abonnés
Encadrés

Résumé

Maîtriser les enjeux éthiques associés à l’intelligence artificielle dans le domaine de la santé sans freiner sa diffusion, source d’innovations et d’avancées pour notre système de santé : tel est le sens de l’idée de « régulation positive » de l’intelligence artificielle. Cet article présente les questionnements éthiques, juridiques et opérationnels associés à cette démarche au cœur de l’initiative Ethik-IA. Il montre que les réponses à apporter relèvent avant tout des recommandations de bonnes pratiques comme dans le cas du prototype de norme de bon usage de l’intelligence artificielle appliqué aux données génomiques élaboré avec les équipes de l’institut hospitalo-universitaire Imagine.