OpenAI libéré un rapport récent mardi détaillant la perturbation de plus de 40 réseaux malveillants qui ont violé ses politiques d’utilisation, résultat de la surveillance des conversations ChatGPT avec des outils automatisés et des examinateurs humains pour empêcher toute utilisation abusive du système. Bien que les utilisateurs de chatbots IA, y compris ChatGPT, puissent activer les paramètres de confidentialité pour empêcher que leurs conversations soient utilisées pour former de futurs modèles d’IA, cela n’exclut pas toute surveillance. Les sociétés d’IA comme OpenAI examinent les discussions pour maintenir la sécurité des utilisateurs et l’intégrité de la plateforme. Ce processus implique le déploiement de systèmes automatisés et l’utilisation d’examinateurs humains. L’objectif déclaré est d’empêcher l’utilisation abusive de ChatGPT pour des activités susceptibles de causer des dommages, telles que la création de logiciels malveillants ou le développement d’outils de surveillance de masse et d’autres menaces de sécurité. Les utilisateurs ont la possibilité d’ajuster les configurations de confidentialité pour empêcher que les données personnelles ou liées au travail soient absorbées dans le pool de données utilisé pour la formation des versions ultérieures de l’IA. Le rapport de la société détaille les perturbations et le signalement de plus de 40 réseaux jugés en violation de ses politiques d’utilisation. Les acteurs malveillants identifiés comme tentant d’utiliser ChatGPT à mauvais escient comprenaient toute une gamme d’entités. OpenAI les a classés comme « des régimes autoritaires visant à contrôler les populations ou à contraindre d’autres États, ainsi que des abus tels que des escroqueries, des cyberactivités malveillantes et des opérations d’influence secrètes ». Les résultats d’OpenAI indiquent que ces acteurs de la menace utilisent principalement l’intelligence artificielle pour accélérer et affiner les tactiques existantes. La société a noté que ces acteurs utilisent l’IA pour améliorer « d’anciens manuels de jeu pour aller plus vite », mais n’acquièrent pas nécessairement de capacités fondamentalement nouvelles directement grâce à leur utilisation de ChatGPT. En plus de lutter contre les États malveillants et les acteurs criminels, OpenAI surveille également les conversations à la recherche d’indices d’automutilation afin d’aider les utilisateurs susceptibles d’être en détresse. Cet accent mis sur la sécurité des utilisateurs individuels a été décrit comme une priorité clé, un accent qui a été accru à la suite d’informations faisant état du décès par suicide d’un adolescent, lié à des interactions avec ChatGPT. Dans le cadre de cet objectif de sécurité, OpenAI a également introduit des contrôles parentaux pour le service ChatGPT ces dernières semaines. Le rapport d’OpenAI n’offre pas d’explication détaillée des mécanismes spécifiques impliqués dans le signalement des abus potentiels. L’entreprise a reconnu l’existence d’une zone grise, où certaines activités pourraient être interprétées comme bénignes ou malveillantes selon le contexte. Des exemples de telles activités ambiguës incluent « des invites et des générations qui pourraient, selon leur contexte, indiquer soit des activités inoffensives, soit des abus, comme la traduction de textes, la modification de code ou la création d’un site Web ». Pour gérer cette complexité, la société a déclaré qu’elle employait une « approche nuancée et éclairée qui se concentre sur les modèles de comportement des acteurs menaçants plutôt que sur les interactions de modèles isolés ». Cette méthode est conçue pour identifier les menaces réelles sans perturber l’utilisation légitime pour une base d’utilisateurs plus large. Rapport de Gizmodo a fourni des exemples spécifiques de menaces de haut niveau identifiées et perturbées par OpenAI. L’un de ces cas impliquait un réseau du crime organisé, apparemment opérant depuis le Cambodge, qui tentait d’utiliser ChatGPT pour rationaliser ses opérations illicites. Un autre exemple impliquait une opération d’influence politique russe qui utilisait l’IA pour générer des invites destinées à être utilisées avec des modèles d’IA de génération vidéo tiers. OpenAI a également bloqué les comptes associés au gouvernement chinois qui cherchaient de l’aide pour concevoir des systèmes de surveillance des conversations sur les plateformes de médias sociaux. De plus amples détails sur les activités perturbées ont été fournis par Reuters. Selon ses rapports, OpenAI a interdit un ensemble de comptes en langue chinoise qui cherchaient de l’aide pour des campagnes de phishing et de logiciels malveillants. Ces comptes ont également demandé de l’aide pour les automatisations qui pourraient être exécutées via DeepSeek, un autre outil d’IA. Par ailleurs, des comptes liés à des groupes criminels russes tentant de développer des logiciels malveillants avec l’aide de ChatGPT ont également été arrêtés. Dans le cadre d’une action similaire, les utilisateurs de langue coréenne qui utilisaient la plateforme pour faciliter des campagnes de phishing ont été bannis du service. Le rapport d’octobre d’OpenAI se concentrait exclusivement sur les activités malveillantes et les opérations secrètes, et n’incluait pas de données ou de détails concernant les conversations sur l’automutilation. Cependant, la société a fait des annonces distinctes concernant ce problème. Dans une récente déclaration sur la plateforme de médias sociaux X, OpenAI a déclaré avoir mis à jour un modèle nommé GPT-5 Instant pour « mieux reconnaître et soutenir les personnes dans les moments de détresse ». La société a expliqué que les parties sensibles des conversations sont désormais acheminées vers ce modèle spécialisé, conçu pour fournir des réponses plus utiles. ChatGPT informera désormais également les utilisateurs du modèle spécifique utilisé lors de leur conversation. https://twitter.com/OpenAI/status/1974234951928459450 Cette mise à jour fait partie d’une initiative plus large visant à améliorer la sécurité des utilisateurs. Fin août, OpenAI a annoncé que ChatGPT avait été formé pour ne pas répondre directement aux invites mentionnant des intentions d’automutilation. Au lieu de répondre à de telles demandes, l’IA est programmée pour répondre avec empathie et orienter les utilisateurs vers une aide professionnelle, en fournissant des informations aux services de prévention du suicide et aux lignes d’assistance téléphonique en cas de crise. Pour les situations où l’IA détecte un risque potentiel de préjudice physique pour d’autres personnes, un protocole différent est activé. Ces conversations sont acheminées vers des systèmes spécialisés qui peuvent impliquer un examen humain et peuvent conduire à une escalade avec les forces de l’ordre si cela est jugé nécessaire.
