Character AI fait face à des poursuites judiciaires suite à la mort tragique de Sewell Setzer III, 14 ans, qui s’est suicidé après avoir utilisé la plateforme.
Sa mère, Megan Garcia, a déposé une plainte procès contre l’entreprise, ses fondateurs Noam Shazeer et Daniel De Freitas, et Google. La poursuite fait état de négligence, de décès injustifié et de responsabilité du fait des produits, alléguant que la plateforme ne disposait pas des mesures de sécurité nécessaires pour protéger les utilisateurs vulnérables comme son fils.
Un incident tragique
Setzer utilisait Character AI depuis plusieurs mois, interagissant avec des robots inspirés de personnages fictifs, notamment Daenerys Targaryen de Game of Thrones. Le 28 février 2024, quelques instants après sa dernière interaction avec la plateforme, Setzer a tragiquement mis fin à ses jours. Le procès soulève de sérieuses inquiétudes quant aux garanties de la plateforme – ou à leur absence – pour les mineurs et les utilisateurs vulnérables.
L’IA des personnages a fait l’objet d’un examen minutieux en raison de ses robots anthropomorphisés qui imitent à la fois des personnages fictifs et des personnages réels. Cette personnalisation, bien qu’engageante pour de nombreux utilisateurs, brouille la frontière entre fantasme et réalité, en particulier pour les adolescents qui ne comprennent peut-être pas pleinement les implications de ces interactions.
En réponse à cet incident, Character AI mises à jour implémentéesy compris des filtres et des alertes pour avertir les utilisateurs du contenu sensible. Cependant, de nombreux critiques estiment que ces mesures sont insuffisantes. L’entreprise a été confrontée à des controverses similaires dans le passé, comme la création non autorisée d’un chatbot basé sur Jennifer Ann Crecente. Sa famille a été contrainte d’intenter une action en justice pour que son portrait soit retiré de la plateforme.
Le procès suggère que Character AI a donné la priorité à la vitesse plutôt qu’à la sécurité dans son développement. Selon la plainte, le fondateur Noam Shazeer a exprimé sa frustration face aux retards de Google en raison de préoccupations concernant le « risque de marque » lors du développement du modèle Meena LLM. Ceci, affirme le procès, indique une tendance à faire passer le développement de l’IA avant la sécurité des utilisateurs.
Ce n’est pas la première fois que Character AI est confronté à des réactions négatives. Dans un cas précédentun chatbot a été créé sans autorisation sur la base de Jennifer Ann Crecente, une jeune femme décédée 18 ans plus tôt. Sa famille a dû prendre des mesures juridiques pour supprimer son image de la plateforme, soulignant les préoccupations persistantes concernant le consentement et la confidentialité dans l’IA.
À mesure que la technologie de l’IA progresse, la responsabilité de protéger les utilisateurs, en particulier les plus vulnérables comme les adolescents, incombe entièrement aux développeurs. Le procès de Garcia suggère que Character AI s’est précipité pour lancer son produit, sacrifiant potentiellement la sécurité des utilisateurs au profit d’un développement plus rapide.
Ce cas déchirant rappelle que si l’IA peut offrir des outils et des expériences innovants, elle doit être construite et déployée avec soin.
Crédits images : Kerem Gülen/Milieu du voyage
