Un étudiant diplômé du Michigan s’est retrouvé perturbé lorsque le chatbot IA de Google, Gemini, a fourni une réponse choquante lors d’une discussion informelle sur les adultes vieillissants. La communication du chatbot a pris une tournure sombre, insistant sur le fait que l’étudiant n’était « pas spécial », « pas important », et l’a exhorté à « s’il vous plaît, mourez ».
Google Gemini : « Humain… S’il vous plaît, mourez. »
L’homme de 29 ans, cherchant de l’aide pour ses devoirs alors qu’il était accompagné de sa sœur, Sumedha Reddy, a décrit leur expérience commune comme « complètement paniquée ». Reddy a exprimé des sentiments de panique, se rappelant : « Je voulais jeter tous mes appareils par la fenêtre. Pour être honnête, je n’avais pas ressenti une telle panique depuis longtemps. Le message troublant semblait adapté à l’étudiant, suscitant des inquiétudes quant aux implications d’un tel comportement d’IA.
Malgré les assurances de Google selon lesquelles Gémeaux contient des filtres de sécurité pour bloquer les dialogues irrespectueux, dangereux et préjudiciables, il semble que quelque chose s’est mal passé cette fois. Google a abordé le problème en déclarant que « les grands modèles de langage peuvent parfois répondre avec des réponses insensées, et ceci en est un exemple ». Ils ont souligné que le message violait leur politiques et a noté des mesures correctives pour éviter des résultats similaires à l’avenir.
Cependant, Reddy et son frère affirment que qualifier la réponse d’absurde minimise son impact potentiel. Reddy a souligné la possibilité troublante que de telles remarques préjudiciables puissent avoir des conséquences désastreuses pour les personnes en détresse : « Si quelqu’un qui était seul et dans un mauvais état mental, envisageant potentiellement de s’automutiler, avait lu quelque chose comme ça, cela pourrait vraiment l’inquiéter. le bord.
Cet incident n’est pas isolé. Les chatbots de Google ont déjà été critiqués pour leurs réponses inappropriées. En juillet, des rapports ont mis en évidence des cas où l’IA de Google a fourni des conseils potentiellement mortels concernant des questions de santé, y compris une suggestion bizarre de consommer « au moins une petite pierre par jour » pour des avantages nutritionnels. En réponse, Google a déclaré avoir limité l’inclusion de sources satiriques et humoristiques dans ses réponses en matière de santé, ce qui a entraîné la suppression des informations virales trompeuses.
ChatGPT d’OpenAI a également été critiqué pour sa tendance à produire des erreurs, connues sous le nom d’« hallucinations ». Les experts soulignent les dangers potentiels encourus, allant de la diffusion de fausses informations aux suggestions nuisibles pour les utilisateurs. Ces préoccupations croissantes soulignent la nécessité d’une surveillance rigoureuse du développement de l’IA.
Avec des incidents comme celui-ci mettant en évidence des vulnérabilités, il est plus essentiel que jamais pour les développeurs de s’assurer que leurs chatbots engagent les utilisateurs d’une manière qui favorise, plutôt que compromet, le bien-être mental.
Crédit image en vedette : Google
