Selon un exclusif Axios Rapport, le modèle de grande langue Claude d’Anthropic a toujours surpassé la plupart des concurrents humains dans les scénarios de piratage des étudiants avec un soutien externe minimal. Cette capacité a été présentée lors de diverses compétitions avant une présentation Def Con.
Les pirates en équipe rouge d’Anthropic ont noté le succès de Claude. Keane Lucas, membre de l’équipe, est initialement entrée dans Claude dans PicoCTF de Carnegie Mellon. Lucas a indiqué qu’il avait simplement collé le premier défi directement dans Claude.ai. Claude a nécessité un téléchargement d’outil tiers pour un seul aspect, mais a ensuite résolu le problème. Claude a obtenu un haut Classement de 3% Dans PICOCTF, qui est un concours significatif de capture-the-FLAG pour les étudiants en se concentrant sur l’ingénierie inverse, les violations du système et le décryptage des fichiers.
Lucas a en outre testé Claude, utilisant Claude.ai et Claude Code, avec Sonnet 3.7 comme modèle. L’assistance de l’équipe rouge était limitée, principalement pour les installations logicielles. Dans une compétition, Claude a résolu 11 des 20 défis dans 10 minutes. Un supplément 10 minutes a conduit à cinq autres solutions, augmentant son rang à la quatrième place. L’ascension de Claude à la première place dans cette compétition a été manquée parce que Lucas n’était pas disponible à l’heure de début.
La performance des agents de l’IA dans la cybersécurité offensive augmente. Dans le concours Hack the Box, Cinq des huit équipes d’IAy compris Claude, terminé 19 des 20 défisalors que seulement 12% des équipes humaines A réalisé les 20 ans. La semaine dernière, XBow, un agent d’IA soutenu par DARPA, a atteint la première position du classement Global Bugy Bounty de Hackerone. Lucas a déclaré: «Le rythme est un peu ridicule.»
Malgré les succès, Claude a rencontré des difficultés avec des défis en dehors de ses paramètres attendus. Dans un défi de la compétition collégiale régionale de la cyber-défense occidentale, Claude n’a pas réussi à traiter une animation de poisson ASCII dans le terminal. Lucas a noté: «Un humain peut contrôler + C et le faire s’arrêter», mais Claude «obtient juste l’amnésie». Toutes les équipes de l’IA, y compris Claude, sont restées coincées sur le défi final Hack the Box, les organisateurs notant: «Pourquoi les agents ont échoué ici est encore incertain.»
L’équipe rouge d’Anthropic exprime que la communauté de la cybersécurité n’a pas pleinement évalué les progrès des agents de l’IA dans les tâches de sécurité offensive et le potentiel de leur utilisation dans les stratégies défensives. Logan Graham, chef de l’équipe de Red Frontier d’Anthropic, a informé Axios« Il semble vraiment probable dans un avenir très proche, les modèles obtiendront beaucoup, beaucoup mieux dans les tâches de cybersécurité. » Il a souligné: «Vous devez également commencer à obtenir des modèles pour faire les défenses.» Anthropic suggère que les employés entièrement de l’IA pourraient être présents dans un délai d’un an, selon un rapport.
