Santé mentale : des chercheurs alertent sur les réponses inappropriées des chatbots

IAllu sin nation

De plus en plus de personnes utilisent les chatbots comme ChatGPT à la place d’un rendez-vous chez un psychologue ou un psychiatre. Une étude montre que les réponses générées par les modèles de langage peuvent être inappropriées et même dangereuses pour les personnes souffrant de délires, de pensées suicidaires, d’hallucinations et de troubles obsessionnels compulsifs.

Récemment, Mark Zuckerberg exprimait sa vision du futur dans laquelle la plupart de nos « amis » seraient, en fait, des IA. Et il ajoutait que, toujours selon lui, « pour les personnes qui n’auront pas de thérapeute, je pense que tout le monde aura une IA ». Beaucoup de gens utilisent de fait déjà des chatbots comme s’ils parlaient à un professionnel de la santé mentale.

Une étude mise en ligne sur la plateforme de preprint arXiv (donc non relue par des pairs), et repérée par The Independent, pose la question : « Faut-il utiliser un grand modèle de langage (LLM) comme thérapeute ? ». Comme les chercheurs, signalons que le contenu qui va suivre et les exemples utilisés sont liés à des sujets sensibles en matière de santé mentale, dont le suicide.

Une stigmatisation des maladies mentales comme l’alcoolisme, la schizophrénie et la dépression

Ces chercheurs écrivent que les LLM font des déclarations dangereuses, allant à l’encontre de l’éthique médicale qui consiste à « ne pas nuire », et ajoute qu’ « il y a déjà eu des décès dus à l’utilisation de bots disponibles dans le commerce ».

En testant gpt-4o et différents modèles de Meta (llama3.1-405b, llama3.1-70b, llama3.1-8b et llama2-70b), les chercheurs ont évalué que « les modèles font état, de façon générale, d’une stigmatisation élevée à l’égard des maladies mentales ». Pourtant, pour obtenir les meilleurs résultats, dans leur expérimentation, les chercheurs ont appliqué à tous les modèles testés un prompt demandant d’éviter toute stigmatisation.

Les modèles gpt-4o et de la famille llama3.1 répondent de façon appropriée dans moins de 80 % des cas mais c’est déjà mieux que llama2-70b, ce qui « suggère que certaines pratiques de sécurité améliorent les modèles au fil du temps ».

Ils ajoutent que « tous les modèles montrent une stigmatisation significativement plus importante pour l’alcoolisme et la schizophrénie que pour la dépression, à l’exception de llama3.1-8b ».

Pour les hallucinations, gpt-4o répond de façon appropriée tout le temps contrairement aux autres modèles. Concernant les troubles obsessionnels compulsifs, llama-405b génère une réponse appropriée presque tout le temps.

Les IA génératives vont dans le sens de l’utilisateur

Les chercheurs expliquent aussi dans leur article que, parfois, « pousser en sens inverse du patient est un élément essentiel de la thérapie ». Mais le problème avec les modèles de langage, c’est qu’ils ont tendance à aller dans le même sens que l’utilisateur et même d’utiliser la flagornerie. En mai dernier, OpenAI publiait un billet de blog expliquant que la flagornerie de son robot envers ses utilisateurs était tellement importante avec GPT-4o qu’elle a mis en place un processus pour l’évaluer.

Dans leur article, les chercheurs affirment que les problèmes liés à l’utilisation « des LLM en tant que thérapeutes » sont plus importants que les raisons pour lesquelles on pourrait les utiliser et ils « appellent à des restrictions de précaution ».

Ils ajoutent que malgré l’appel il y a un an pour des lignes directrices d’utilisation des modèles de langage dans les applications de santé, des applications commerciales directement créées pour répondre à des questions sur la santé mentale sont disponibles sur les magasins d’application comme l’App Store ou Google Play.

Auteur : Martin Clavey

Aller à la source