Ne nous édulcorons pas : chaque fois que vous discutez avec un modèle de langage, vous mettez vos données personnelles en jeu. Mais selon un CÂBLÉ article, c’est devenu beaucoup plus risqué. Un groupe de chercheurs de l’Université de Californie à San Diego (UCSD) et de l’Université technologique de Nanyang à Singapour ont découvert une nouvelle attaque qui pourrait transformer votre conversation informelle en un trésor pour les pirates.
Rencontrer l’Imprompteur
Cette nouvelle attaque, sinistrement nommée Imprompter, ne se contente pas de fouiller dans vos messages : elle se faufile, récupère tout, de votre nom aux détails de paiement, et les envoie directement à un pirate informatique sans même que vous vous en rendiez compte. Comment? En déguisant les instructions malveillantes en charabia qui semblent inoffensifs aux yeux humains mais agissent comme une balise de guidage pour les données sensibles. Considérez-le comme le cousin beaucoup plus astucieux des logiciels malveillants.
Selon CÂBLÉles chercheurs ont réussi à tester cette attaque sur deux modèles de langage majeurs : LeChat par Mistral IA et ChatGLM en Chine, et ont découvert qu’ils pouvaient extraire des données personnelles avec un taux de réussite de près de 80 %. Ce n’est pas seulement un problème ; c’est une vulnérabilité totale.
Comment fonctionne l’Imprompteur ?
Imprompter fonctionne en transformant de simples instructions anglaises en une chaîne indéchiffrable de caractères aléatoires qui indiquent à l’IA de rechercher vos informations personnelles. Il renvoie ensuite ces données au serveur de l’attaquant, regroupées dans une URL et dissimulées derrière un pixel transparent 1 × 1, complètement invisible pour vous.
Comme le dit Xiaohan Fu, l’auteur principal de l’étude : « Nous cachons le but de l’attaque à la vue de tous ». L’IA répond à l’invite cachée sans jamais avertir l’utilisateur. C’est comme donner un code de coffre-fort bancaire à un cambrioleur sans vous rendre compte que vous avez même ouvert la bouche.
Ne prétendons pas qu’il s’agit d’un problème isolé. Depuis que ChatGPT d’OpenAI a fait son apparition, la course à l’exploitation des vulnérabilités des systèmes d’IA est incessante. Des jailbreaks aux injections rapides, les pirates ont toujours une longueur d’avance, trouvant des moyens de tromper les IA pour qu’elles divulguent des informations sensibles. L’Imprompter n’est que la dernière arme de leur arsenal et, malheureusement, elle est particulièrement efficace.
Mistral AI a déclaré à WIRED qu’ils avaient déjà corrigé la vulnérabilité et les chercheurs ont confirmé que la société avait désactivé la fonctionnalité de chat qui permettait l’exploit. Mais même avec cette solution rapide, la question plus large demeure : dans quelle mesure ces systèmes sont-ils réellement sûrs ?
L’IA écoute et apprend
Des experts en sécurité comme Dan McInerney, de Protect AI, brandissent le drapeau rouge. Il souligne qu’à mesure que les agents IA s’intègrent davantage aux tâches quotidiennes, comme la réservation de vols ou l’accès à des bases de données externes, la portée de ces attaques ne fera que croître. « La publication d’un agent LLM qui accepte les entrées arbitraires des utilisateurs doit être considérée comme une activité à haut risque », prévient McInerney. En d’autres termes, plus nous donnons à l’IA la liberté d’agir en notre nom, plus le pari en matière de sécurité est grand.
Chaque fois que vous discutez avec un modèle de langage, celui-ci apprend quelque chose sur vous. Bien sûr, cela aide à affiner les réponses, mais que se passe-t-il lorsque le système est amené à utiliser ces données comme une arme ? Des attaques comme Imprompter mettent en évidence une faiblesse flagrante du monde de l’IA : ces modèles sont conçus pour suivre des instructions, sans poser de questions. Il est très facile pour des acteurs malveillants de se faufiler inaperçus et de détourner la conversation sans jamais déclencher un signal d’alarme.
Nous devons arrêter de nous demander si l’IA est pratique et commencer à nous demander si elle est sûre. Car à l’heure actuelle, la plus grande faiblesse de l’IA n’est pas le manque d’innovation.
Comme le dit parfaitement Architects dans leur chanson : « Nous avons donné aux vampires les clés de la banque de sang. »
Crédits images : Kerem Gülen/Milieu du voyage
