Le 8 août 2025, Roblox a présenté Sentinel, un système d’intelligence artificielle open source conçu pour détecter les modèles potentiels d’exploitation des enfants dans les chats en ligne, abordant l’escalade des critiques et des défis juridiques concernant la sécurité des plateformes.
Roblox, signalant plus de 111 millions d’utilisateurs actifs mensuels, a indiqué que Sentinel avait déjà aidé à identifier des centaines de cas potentiels d’exploitation d’enfants, qui ont ensuite été signalés à des organismes d’application de la loi. Matt Kaufman, directeur de la sécurité de Roblox, a expliqué comment les mesures de protection précédentes de l’entreprise, telles que les filtres pour les blasphèmes et le langage abusif, se sont limités à analyser les lignes individuelles ou à courtes séquences de texte. Kaufman a déclaré: «Mais lorsque vous pensez à des choses liées à la mise en danger des enfants ou au toilettage, les types de comportements que vous envisagez de manifester sur une très longue période.»
Sentinel est conçu pour identifier les modèles comportementaux dans les conversations qui se déroulent sur des périodes prolongées, plutôt que de se concentrer sur des mots ou des phrases isolés. Le système traite environ 6 milliards de messages de chat par jour, en les analysant dans des instantanés d’une minute pour évaluer le contexte. Pour faciliter cette analyse, les ingénieurs de Roblox ont développé deux indices distincts. Un index comprend des exemples d’interactions bénignes et inoffensives de chat, tandis que le deuxième index contient des messages qui ont été identifiés comme violant les directives de sécurité des enfants.
Naren Koneru, vice-présidente de l’ingénierie de la confiance et de la sécurité chez Roblox, a expliqué que le nouveau contenu est continuellement incorporé dans les deux indices pour affiner les capacités de détection du modèle d’IA. Koneru a déclaré: «Cet index s’améliore à mesure que nous détectons plus d’acteurs de mauvais, nous mettons simplement à jour en permanence cet index.» Koneru a ajouté: « Ensuite, nous avons un autre échantillon de que fait un utilisateur normal et régulier? »
Le système surveille les interactions en cours d’un utilisateur pour déterminer la trajectoire de son comportement, en évaluant s’il s’aligne sur une conduite sûre ou indique une progression vers des activités risquées. Koneru a noté: «Cela n’arrive pas sur un seul message parce que vous envoyez simplement un message, mais cela se produit à cause de toutes les interactions de vos jours menant à l’un de ces deux.» Si Sentinel signale un utilisateur pour un examen plus approfondi, les modérateurs humains effectuent une revue approfondie, examinant l’historique complet du chat de l’utilisateur, leur liste d’amis et les jeux avec lesquels ils ont engagé sur la plate-forme. Une fois jugée nécessaire, Roblox dégénère ces affaires aux autorités chargées de l’application des lois et au National Center for Missing and Exploited Children.
L’introduction de Sentinel se produit au milieu des défis juridiques en cours contre Roblox. Un procès intenté dans l’Iowa le mois précédent allègue qu’une fillette de 13 ans a été contactée par un prédateur adulte via la plate-forme Roblox, enlevée par la suite et traitée dans plusieurs États. Le procès affirme que la conception de la plate-forme facilite la vulnérabilité aux mineurs. Roblox maintient des politiques interdisant la diffusion d’informations personnelles, d’images et de vidéos dans ses fonctions de chat.
La messagerie directe pour les utilisateurs de moins de 13 ans est limitée, sauf si le consentement des parents explicites est fourni. Roblox surveille les communications de chat pour les violations de la sécurité, une capacité rendue perçue par le fait que les chats sur la plate-forme ne sont pas cryptés de bout en bout. La société reconnaît qu’aucun système ne peut garantir une protection absolue mais soutient que les progrès de l’IA, tels que Sentinel, améliorent considérablement la probabilité de détection précoce.
