Un élève de 13 ans à Deland, en Floride, a été arrêté après avoir utilisé un appareil émis par l’école pour demander à Chatgpt de nuire à un camarade de classe. La requête a été immédiatement détectée par un système de surveillance scolaire, qui a alerté la sécurité et les forces de l’ordre locales. L’incident a eu lieu au Southwestern Middle School. Lorsque l’élève est entré dans le message préoccupant dans le chatppt d’Openai, un système de surveillance alimenté par l’IA appelé Gaggle a signalé le contenu et a averti des policiers scolaires. Des agents du bureau du shérif du comté de Volusia ont arrêté l’étudiant, qui a affirmé qu’il était «à la traîne» de son ami. Les autorités ont cependant traité la requête comme une menace sérieuse. Les images des médias sociaux ont montré que l’adolescent transporté dans des contraintes et réservé dans la prison du comté. « Une autre » blague « qui a créé une urgence sur le campus », a déclaré le bureau du shérif, avertissant les parents de discuter de l’utilisation responsable de la technologie et du comportement en ligne approprié avec leurs enfants.
Le rôle de la technologie de surveillance
Le système Gaggle utilisé par l’école est conçu pour détecter et bloquer le contenu inapproprié sur les appareils scolaires. Il identifie un comportement potentiellement nocif, qu’il soit dirigé vers soi-même ou pour les autres, pour permettre une intervention rapide des autorités scolaires. Cependant, ces technologies de surveillance sont controversées. Gaggle a fait face à des critiques pour générer un nombre élevé de fausses alarmes et favoriser un environnement de surveillance dans les écoles. Les critiques soutiennent que ces systèmes peuvent porter atteinte à la vie privée des étudiants au nom de l’amélioration de la sécurité. L’incident met en évidence les défis complexes à l’intersection de l’intelligence artificielle, de l’utilisation de la technologie et de la sécurité des étudiants dans des contextes éducatifs modernes.
