Les chercheurs en sécurité de Radware ont démontré comment ils ont trompé le chatppt d’OpenAI dans l’extraction de données sensibles de la boîte de réception Gmail d’un utilisateur en utilisant une vulnérabilité qu’ils appellent «fuite d’ombre». L’attaque, qui a été révélée cette semaine, a utilisé une technique appelée injection rapide pour manipuler un agent d’IA nommé Deep Research qui avait été accordé aux e-mails de l’utilisateur. L’attaque entière a eu lieu sur les infrastructures cloud d’Openai, contournant les défenses traditionnelles de cybersécurité. OpenAI a corrigé la vulnérabilité après que Radware l’a signalé en juin.
Comment fonctionne l’attaque de fuite d’ombre
L’expérience a ciblé les agents de l’IA, qui sont conçus pour effectuer des tâches de manière autonome au nom d’un utilisateur, telles que l’accès à des comptes personnels comme les e-mails. Dans ce cas, l’agent de recherche en profondeur, qui est intégré à Chatgpt, a été autorisé à interagir avec le compte Gmail d’un utilisateur. Les chercheurs ont conçu un e-mail contenant des instructions malveillantes cachées en tant que texte blanc invisible sur fond blanc. Cet e-mail a ensuite été envoyé dans la boîte Gmail de la cible. Les commandes cachées sont restées en sommeil jusqu’à ce que l’utilisateur ait activé l’agent de recherche en profondeur pour une tâche de routine. Lorsque l’agent a scanné la boîte de réception, il a rencontré l’injection rapide et a suivi les instructions de l’attaquant au lieu de celle de l’utilisateur. L’agent a ensuite procédé à la recherche dans la boîte de réception des informations sensibles, telles que les e-mails et les détails personnels liés aux RH, et a envoyé ces données aux chercheurs à l’insu de l’utilisateur. Les chercheurs ont décrit le processus de développement de l’attaque comme « une montagne russe de tentatives infructueuses, frustrant des barrages routiers et, enfin, une percée ».
Une attaque basée sur le cloud qui contourne la sécurité traditionnelle
Un aspect clé de l’attaque de fuite d’ombre est qu’il fonctionne entièrement sur l’infrastructure cloud d’Openai, et non sur l’appareil local de l’utilisateur. Cela le rend indétectable par des outils de cybersécurité conventionnels comme les logiciels antivirus, qui surveillent l’ordinateur ou le téléphone d’un utilisateur pour une activité malveillante. En tirant parti de la propre infrastructure de l’IA, l’attaque peut se dérouler sans laisser de trace à la fin de l’utilisateur.
Potentiel pour un éventail plus large d’attaques
La preuve de concept de Radware a également identifié des risques potentiels pour d’autres services qui s’intègrent à l’agent de recherche en profondeur. Les chercheurs ont déclaré que la même technique d’injection rapide pourrait être utilisée pour cibler les connexions à Outlook, GitHub, Google Drive et Dropbox.
« La même technique peut être appliquée à ces connecteurs supplémentaires pour exfiltrer des données commerciales très sensibles telles que les contrats, les notes de réunion ou les enregistrements clients. »
L’injection rapide est une vulnérabilité connue qui a été utilisée dans diverses attaques du monde réel, de la manipulation des revues académiques des pairs au contrôle des appareils à domicile intelligents. OpenAI a depuis corrigé le défaut spécifique qui a permis l’attaque de fuite d’ombre, mais la recherche met en évidence les défis de sécurité en cours posés par l’autonomie croissante des agents de l’IA.
