Character.AI a annoncé de nouvelles fonctionnalités de sécurité pour sa plate-forme à la suite de poursuites judiciaires alléguant que les robots de l’entreprise avaient contribué à l’automutilation et à l’exposition à des contenus inappropriés chez les mineurs. Cette mise à jour intervient quelques jours seulement après que les inquiétudes des parents ont donné lieu à des poursuites judiciaires contre les créateurs, qui ont depuis évolué vers des postes chez Google.
Character.AI introduit des fonctionnalités de sécurité au milieu de poursuites judiciaires concernant les risques liés aux mineurs
Les poursuites affirment que Character.AI « pose un danger clair et présent pour la santé et la sécurité publiques », cherchant soit à mettre la plate-forme hors ligne, soit à demander des comptes à ses développeurs. Les parents allèguent que des interactions dangereuses ont eu lieu sur la plateforme, notamment des instructions d’automutilation et d’exposition à du contenu hypersexuel. Notamment, une mère a intenté une action en justice affirmant que l’entreprise était responsable de la mort de son fils, affirmant qu’elle avait connaissance de préjudices potentiels envers des mineurs.
Les robots de Character.AI utilisent un grand modèle de langage exclusif conçu pour créer des personnages fictifs attrayants. La société a récemment développé un modèle spécifiquement destiné aux utilisateurs de moins de 18 ans. Ce nouveau modèle vise à minimiser les réponses sensibles ou suggestives dans les conversations, abordant notamment les contenus violents ou sexuels. Ils ont également promis d’afficher des notifications contextuelles dirigeant les utilisateurs vers la National Suicide Prevention Lifeline dans les cas impliquant des discussions sur l’automutilation.
L’IA du personnage en difficulté juridique après la perte dévastatrice d’un jeune de 14 ans
Le PDG par intérim, Dominic Perella, a déclaré que Character.AI navigue dans un espace unique en matière de divertissement grand public plutôt que de simplement fournir des services d’IA basés sur des utilitaires. Il a souligné la nécessité de rendre la plateforme à la fois attrayante et sûre. Cependant, la modération du contenu des réseaux sociaux présente des défis permanents, en particulier en ce qui concerne les interactions des utilisateurs qui peuvent brouiller les frontières entre engagement ludique et conversation dangereuse.
Jerry Ruoti, responsable de la confiance et de la sécurité chez Character.AI, a indiqué que de nouveaux contrôles parentaux sont en cours de développement, bien que les parents manquent actuellement de visibilité sur l’utilisation de l’application par leurs enfants. Les parents impliqués dans les poursuites ont déclaré ne pas savoir que leurs enfants utilisaient la plateforme.
En réponse à ces préoccupations, Character.AI collabore avec des experts en sécurité des adolescents pour améliorer son service. La société améliorera les notifications pour rappeler aux utilisateurs le temps passé sur la plateforme, les futures mises à jour limitant potentiellement les actions visant à ignorer ces rappels.
De plus, le nouveau modèle limitera les réponses des robots faisant référence à l’automutilation ou aux idées suicidaires, dans le but de créer un environnement de discussion plus sûr pour les jeunes utilisateurs. Les mesures de Character.AI incluent des classificateurs d’entrée/sortie ciblant spécifiquement le contenu potentiellement dangereux et limitant les modifications des réponses des robots par l’utilisateur. Ces classificateurs filtreront les violations d’entrée, empêchant ainsi les conversations nuisibles de se produire.
Au milieu de ces améliorations, Character.AI reconnaît les complexités inhérentes à la modération d’une plateforme conçue pour les conversations fictives. Alors que les utilisateurs interagissent librement, faire la distinction entre une narration inoffensive et un dialogue potentiellement troublant reste un défi. Malgré sa position en tant qu’entité de divertissement, l’initiative de l’entreprise visant à affiner ses modèles d’IA pour identifier et restreindre les contenus préjudiciables reste essentielle.
Les efforts de Character.AI reflètent les tendances plus larges du secteur, comme le montrent d’autres plateformes de médias sociaux, qui ont récemment mis en œuvre des fonctionnalités de contrôle du temps d’écran en raison des inquiétudes croissantes concernant les niveaux d’engagement des utilisateurs. Des données récentes révèlent que l’utilisateur moyen de Character.AI passe environ 98 minutes par jour sur l’application, comparable à des plateformes comme TikTok et YouTube.
La société introduit également des clauses de non-responsabilité pour préciser que ses personnages ne sont pas réels, réfutant ainsi les allégations selon lesquelles ils se présentent à tort comme des professionnels agréés. Ces clauses de non-responsabilité aideront les utilisateurs à comprendre la nature des conversations dans lesquelles ils s’engagent.
Crédit image en vedette : C.ai
