La société de cybersécurité Crowdsstrike et Meta ont publié Cybersoceval, une suite de référence open source conçue pour évaluer les performances des modèles d’IA dans les centres d’opérations de sécurité (SOC). L’outil vise à aider les entreprises à sélectionner les bonnes solutions de cybersécurité alimentées par AI en fournissant un moyen standardisé de tester leurs capacités dans des tâches de sécurité clés.
Le défi de choisir le bon outil de sécurité AI
À mesure que l’IA s’intégre dans un nombre croissant de produits de cybersécurité, les professionnels de la sécurité sont confrontés au défi de choisir parmi un large éventail d’options avec des coûts et des capacités variables. Cybersoceval aborde cela en offrant une méthode structurée pour tester les modèles de gros langues (LLMS) sur les fonctions SOC de base, y compris la réponse aux incidents, l’analyse des menaces et la détection de logiciels malveillants.
Sans référence claire, il est difficile de savoir quels systèmes, cas d’utilisation et normes de performance offrent un véritable avantage d’IA contre les attaques réelles.
En normalisant ces évaluations, la référence permet aux organisations de mesurer objectivement comment les différents modèles d’IA fonctionnent dans des scénarios réalistes, en les aidant à identifier les outils qui correspondent le mieux à leurs besoins opérationnels.
Comment les cybersoceval profitent à la fois les entreprises et les développeurs
Pour les entreprises, la référence fournit des données claires et comparables sur les performances du modèle. Pour les développeurs d’IA, il offre des informations précieuses sur la façon dont les clients d’entreprise utilisent leurs modèles pour la cybersécurité. Ces commentaires peuvent guider les améliorations futures, aidant les créateurs à affiner leurs modèles pour mieux gérer un jargon spécifique de l’industrie ou une intelligence de menaces complexes. Le cadre est conçu pour être adaptable, permettant l’inclusion de nouveaux tests à mesure que des menaces comme les exploits zéro jour émergent. La sortie de Cybersoceval intervient au milieu d’une course d’armes numériques où les attaquants et les défenseurs tirent parti de l’IA. Une enquête de MasterCard et du Financial Times Longitude a révélé que les sociétés de services financiers ont économisé des millions de dollars en utilisant des outils alimentés par l’IA pour lutter contre la fraude compatible AI, démontrant les avantages tangibles d’une IA défensive efficace.
Une approche open source pour améliorer la sécurité
L’implication de Meta dans le projet s’aligne sur son histoire de soutenir le développement d’IA open source, tels que ses modèles de lama. En faisant de Cybersoceval un outil open-source, les entreprises encouragent la collaboration communautaire à améliorer et à étendre les repères au fil du temps. Cette approche vise à accélérer les progrès à l’échelle de l’industrie dans la défense contre les menaces avancées basées sur l’IA.
Avec ces références en place et ouverts pour que la communauté et la communauté de l’IA s’améliorent encore, nous pouvons plus rapidement travailler comme une industrie pour débloquer le potentiel de l’IA pour protéger contre les attaques avancées, y compris les menaces basées sur l’IA.
Cybersoceval est maintenant disponible sur GitHub, où les utilisateurs peuvent télécharger la suite pour exécuter des évaluations sur leurs LLM préférées. Le référentiel comprend une documentation, des exemples de données de données et des instructions pour intégrer les tests dans les plates-formes de sécurité existantes.
