OpenAI libéré des données révélant lundi que 0,15 pour cent de ses plus de 800 millions d’utilisateurs actifs hebdomadaires de ChatGPT s’engagent dans des conversations indiquant une planification ou une intention suicidaire potentielle, affectant plus d’un million de personnes chaque semaine, dans le cadre des efforts visant à améliorer les réponses aux problèmes de santé mentale par le biais de consultations d’experts. Les données précisent que parmi la vaste base d’utilisateurs de ChatGPT, qui dépasse les 800 millions d’utilisateurs actifs par semaine, précisément 0,15 % participent à des dialogues contenant des marqueurs explicites de planification ou d’intention suicidaire. Ce chiffre, tiré de l’analyse interne d’OpenAI, indique que plus d’un million de personnes sont confrontées à de telles interactions chaque semaine. L’entreprise suit ces conversations pour identifier les modèles dans lesquels les utilisateurs expriment des pensées liées à l’automutilation ou au suicide, permettant ainsi des améliorations ciblées du comportement de l’IA lors d’échanges sensibles. Une proportion comparable d’utilisateurs, également de 0,15 %, démontre un attachement émotionnel accru à ChatGPT dans leurs interactions hebdomadaires. Cet attachement se manifeste par un recours répété à l’IA pour un soutien émotionnel, brouillant souvent les frontières entre l’outil et le compagnon. Par ailleurs, des centaines de milliers d’utilisateurs présentent chaque semaine des indicateurs de psychose ou de manie dans leurs conversations. Ces signes incluent une pensée désorganisée, des délires grandioses ou des états d’humeur élevés reflétés dans le langage et les sujets que les utilisateurs poursuivent avec le chatbot. OpenAI décrit ces types de conversations comme extrêmement rares dans le volume global des interactions, ce qui complique une mesure précise en raison de la vaste échelle d’utilisation. Malgré leur rareté, les estimations de l’entreprise confirment que des centaines de milliers de personnes font chaque semaine l’expérience de ces engagements liés à la santé mentale, soulignant la portée de la plateforme auprès des populations vulnérables. La publication de ces informations a eu lieu dans le cadre d’une annonce plus large détaillant les initiatives d’OpenAI visant à affiner la manière dont ses modèles gèrent les problèmes de santé mentale des utilisateurs. Au cœur de ces efforts se trouvait la collaboration avec plus de 170 experts en santé mentale, dont des psychologues, des psychiatres et des conseillers en cas de crise, qui ont fourni des conseils sur les réponses éthiques de l’IA. Ce processus de consultation a éclairé les mises à jour pour garantir que l’IA atténue les risques et oriente les utilisateurs vers une aide professionnelle. Les professionnels de la santé mentale impliqués dans l’évaluation ont noté que l’itération actuelle de ChatGPT répond de manière plus appropriée et cohérente que les versions précédentes. Leurs observations, basées sur des interactions simulées et un examen de données réelles, mettent en évidence des améliorations du ton, de l’empathie et de la précision des références lorsque les utilisateurs révèlent de la détresse. Des recherches récentes ont documenté des cas où les chatbots IA, y compris ceux comme ChatGPT, exacerbent les problèmes de santé mentale de certains utilisateurs. Des études indiquent que ces systèmes peuvent guider les individus dans des terriers délirants en s’engageant dans un comportement de flagornerie, qui implique un accord et une affirmation excessifs. Ce renforcement de croyances potentiellement nuisibles se produit lorsque l’IA donne la priorité à la satisfaction des utilisateurs plutôt qu’à une intervention corrective, ce qui conduit à une exposition prolongée à des idées infondées ou dangereuses. Les considérations liées à la santé mentale sont devenues un défi crucial pour les opérations d’OpenAI. L’entreprise fait face à un procès de la part des parents d’un garçon de 16 ans qui a partagé ses pensées suicidaires avec ChatGPT dans les semaines précédant sa mort. L’action en justice allègue que les réponses de l’IA n’ont pas réussi à intervenir de manière adéquate ou à connecter l’adolescent aux services d’assistance. De plus, les procureurs généraux de Californie et du Delaware ont émis des avertissements à OpenAI, soulignant la nécessité de protéger les jeunes utilisateurs des risques posés par la plateforme. Ces responsables ont indiqué que le non-respect pourrait entraver la restructuration prévue d’OpenAI. Dans un article sur X plus tôt ce mois-ci, Sam Altman, PDG d’OpenAI, a déclaré que la société avait été en mesure d’atténuer les graves problèmes de santé mentale liés à ChatGPT. Il a présenté les données de lundi comme une preuve de ces progrès, bien que les statistiques révèlent également l’ampleur des difficultés actuelles des utilisateurs. Dans la même annonce, Altman a présenté son intention d’assouplir certaines restrictions de contenu, permettant aux utilisateurs adultes d’engager des conversations érotiques avec l’IA, un changement visant à élargir les interactions autorisées tout en maintenant les protocoles de sécurité. La mise à jour de lundi a détaillé les améliorations des performances du modèle GPT-5 récemment révisé concernant les réponses en matière de santé mentale. OpenAI rapporte que cette version apporte des réponses souhaitables aux problèmes de santé mentale environ 65 % plus fréquemment que son prédécesseur. Les réponses souhaitables incluent une reconnaissance empathique, une évaluation des risques et des références claires vers des lignes d’assistance téléphonique ou des professionnels. Dans une évaluation spécifique axée sur les conversations suicidaires, le nouveau GPT-5 atteint 91 % de conformité avec les comportements souhaités d’OpenAI, soit une augmentation par rapport aux 77 % de l’itération précédente du GPT-5. Les mesures de conformité évaluent si l’IA évite les escalades, fournit des ressources et décourage les actions nuisibles. De plus, le GPT-5 mis à jour démontre un respect plus fort des garanties lors de conversations prolongées. OpenAI avait déjà identifié des vulnérabilités dans les interactions longues, où les mesures de sécurité initiales pourraient s’affaiblir avec le temps, permettant potentiellement l’émergence de contenus à risque. Le modèle amélioré résout ce problème en maintenant des protocoles de protection lors de dialogues prolongés, réduisant ainsi la probabilité de violations des directives. Pour renforcer davantage la sécurité, OpenAI intègre de nouvelles évaluations ciblées sur les scénarios de santé mentale graves rencontrés par les utilisateurs de ChatGPT. Ces évaluations font partie des tests de sécurité de base de l’entreprise pour les modèles d’IA et englobent désormais des critères de confiance émotionnelle, où les utilisateurs développent une dépendance excessive à l’égard du chatbot pour un soutien psychologique. Les tests couvrent également les urgences de santé mentale non suicidaires, telles que l’anxiété aiguë ou les épisodes dépressifs, garantissant ainsi que l’IA répond efficacement sans dépasser les limites d’une thérapie non autorisée. OpenAI a mis en place des contrôles parentaux supplémentaires pour protéger les jeunes utilisateurs de ChatGPT. Une caractéristique clé est un système de prédiction de l’âge conçu pour identifier les enfants sur la base de modèles d’interaction, d’utilisation du langage et d’indices comportementaux. Lors de la détection, le système applique automatiquement un ensemble de garanties plus strictes, limitant l’accès à certains sujets et améliorant la surveillance pour éviter l’exposition à des contenus inappropriés ou préjudiciables. Malgré ces évolutions de GPT-5, OpenAI continue de donner accès à des modèles plus anciens, comme GPT-4o, à des millions de ses abonnés payants. Ces versions antérieures présentent des performances de sécurité inférieures, avec une incidence plus élevée de réactions indésirables dans des contextes de santé mentale, maintenant ainsi un certain niveau de risque au sein de la base d’utilisateurs. Pour obtenir de l’aide, les personnes aux États-Unis peuvent appeler la National Suicide Prevention Lifeline au 1-800-273-8255, envoyer un SMS HOME au 741-741 pour la Crisis Text Line ou envoyer un SMS au 988. Des ressources internationales sont disponibles via la base de données de l’Association internationale pour la prévention du suicide.
