Une nouvelle étude de l'Université Brown révèle que les chatbots IA, comme ChatGPT, enfreignent fréquemment les normes éthiques dans le contexte de la santé mentale. Cette recherche appelle à de nouvelles réglementations pour garantir la sécurité des utilisateurs et l'efficacité des soins.
Alors que les chatbots IA deviennent de plus en plus populaires pour les conseils en matière de santé mentale, une nouvelle étude de l'Université Brown révèle comment ces assistants numériques violent systématiquement les normes éthiques établies par des organisations telles que l'American Psychological Association.
L'étude, menée par des informaticiens et des praticiens de la santé mentale à Brown, a identifié une variété de violations éthiques commises par les chatbots, notamment la mauvaise gestion des situations de crise, l'offre de réponses trompeuses et la création d'une fausse empathie.
Ces résultats sont basés sur des conversations simulées utilisant de véritables réponses de chatbot.
« Dans cette étude, nous présentons un cadre de 15 risques éthiques, fondé sur l'expérience des praticiens, afin de démontrer comment les conseillers titulaires d'un LLM enfreignent les normes éthiques en matière de santé mentale, en associant le comportement du modèle à des violations éthiques spécifiques », écrivent les chercheurs dans leur étude. « Nous appelons à des travaux futurs visant à créer des normes éthiques, pédagogiques et juridiques pour les conseillers titulaires d'un LLM, normes qui reflètent la qualité et la rigueur des soins requises pour une psychothérapie assistée par un humain. »
étude Ce travail sera présenté le 22 octobre 2025 lors de la conférence AAAI/ACM sur l'intelligence artificielle, l'éthique et la société. Les chercheurs impliqués dans ce travail sont issus du Centre pour la responsabilité technologique, la réimagination et la reconception de l'Université Brown.
Dévoiler les risques éthiques
Dirigée par Zainab Iftikhar, doctorante en informatique à Brown, l'équipe a étudié l'impact de différentes invites sur les résultats de l'IA dans le contexte de la santé mentale. L'objectif était de déterminer si les stratégies d'invite pouvaient aider les modèles à respecter les principes éthiques.
« Les invites sont des instructions données au modèle pour guider son comportement et accomplir une tâche spécifique », explique Iftikhar. « On ne modifie pas le modèle sous-jacent ni ne fournit de nouvelles données, mais l'invite permet de guider les résultats du modèle en fonction de ses connaissances préexistantes et des schémas appris. »
Malgré ces recommandations, l'étude a révélé de nombreux pièges éthiques. Des psychologues agréés ont examiné des conversations simulées basées sur des interactions réelles avec des chatbots et ont identifié 15 risques éthiques spécifiques, répartis en cinq catégories générales : manque d'adaptation contextuelle, mauvaise collaboration thérapeutique, empathie trompeuse, discrimination injuste, et manque de sécurité et de gestion de crise.
Besoin de réglementation
Iftikhar a noté que même si les thérapeutes humains peuvent également enfreindre les normes éthiques, ils sont régis par des conseils et responsables des fautes professionnelles.
« Pour les thérapeutes humains, il existe des conseils d'administration et des mécanismes permettant aux prestataires d'être tenus responsables professionnellement des mauvais traitements et des fautes professionnelles », a ajouté Iftikhar. « Mais lorsque les conseillers titulaires d'un LLM commettent ces infractions, il n'existe aucun cadre réglementaire établi. »
Potentiel et précaution
Malgré les préoccupations éthiques, Iftikhar reconnaît les avantages potentiels de l’IA dans les soins de santé mentale, notamment pour atténuer les obstacles liés au coût et à la pénurie de professionnels qualifiés.
Elle souligne toutefois la nécessité d’une mise en œuvre et d’une réglementation réfléchies pour exploiter ces avantages en toute sécurité.
« Si vous parlez à un chatbot de santé mentale, voici certaines choses auxquelles les gens devraient prêter attention », a-t-elle ajouté.
Ellie Pavlick, professeure d'informatique à Brown et non impliquée dans l'étude, a souligné l'importance d'un examen scientifique rigoureux des systèmes d'IA dans les soins de santé mentale. Elle dirige ARIA, un institut de recherche en IA de la National Science Foundation à Brown, axé sur le développement d'assistants IA fiables.
« La réalité de l'IA aujourd'hui est qu'il est bien plus facile de concevoir et de déployer des systèmes que de les évaluer et de les comprendre », a déclaré Pavlick dans le communiqué de presse. « Cette étude a nécessité une équipe d'experts cliniques et une étude de plus d'un an afin de démontrer ces risques. La plupart des travaux en IA sont aujourd'hui évalués à l'aide de mesures automatiques qui, par conception, sont statiques et sans intervention humaine. »
Pavlick estime que l’étude fournit un modèle précieux pour les recherches futures visant à garantir des applications sûres de l’IA dans le domaine de la santé mentale.
« L'IA a une réelle opportunité de contribuer à la lutte contre la crise de santé mentale à laquelle notre société est confrontée, mais il est primordial que nous prenions le temps de critiquer et d'évaluer nos systèmes à chaque étape afin d'éviter de faire plus de mal que de bien », a-t-elle ajouté. « Ce travail illustre parfaitement ce que cela peut donner. »
Source: Université Brown