Anthropic et AE Studio ont publié mercredi une méthode appelée Modules auxiliaires à routage dégradé (GRAM) pour isoler les connaissances dangereuses des modèles d’IA dans des modules amovibles. Cette technique permet de séparer les connaissances sensibles sans affecter les performances globales du modèle.
GRAM intègre de petits compartiments neuronaux auxiliaires dans un modèle de langage, chacun se concentrant sur des catégories sensibles spécifiques telles que la virologie, la cybersécurité ou la physique nucléaire. Lorsqu’un module est supprimé, le modèle fonctionne comme s’il n’avait jamais été formé sur ces données. A l’inverse, lorsqu’un module est activé, les connaissances deviennent entièrement disponibles.
Le procédé modifie l’architecture standard du transformateur en étendant la largeur des couches MLP avec ces modules auxiliaires. Lors de la formation, seul le module correspondant à une catégorie à double usage est actif lorsque le modèle rencontre des données associées.
Les chercheurs ont testé GRAM sur des modèles allant de 50 millions à 5 milliards de paramètres. Ils ont formé un modèle de 800 millions de paramètres sur diverses données textuelles ainsi que quatre domaines à double usage. Les données à double usage représentaient environ 0,25 % des données de formation pour chaque domaine respectif.
Les résultats ont indiqué que la suppression des modules GRAM éliminait des fonctionnalités spécifiques presque aussi efficacement que si le modèle n’avait jamais été entraîné sur ces données, tandis que les performances générales restaient proches des niveaux de référence. L’approche GRAM s’est révélée robuste face aux ajustements contradictoires, contrairement aux méthodes de désapprentissage post-hoc qui suppriment simplement les connaissances au lieu de les supprimer définitivement.
Cette recherche émerge au milieu des défis récents dans la gouvernance de l’IA, en particulier concernant les contrôles à l’exportation des modèles d’Anthropic mis en œuvre par l’administration Trump en juin pour des raisons de sécurité nationale. Ces restrictions ont été levées le 30 juin après qu’Anthropic ait travaillé avec le ministère du Commerce pour atténuer les risques associés.
GRAM présente un compromis potentiel dans la politique d’IA, permettant un contrôle d’accès sélectif au lieu de restrictions générales de modèle ou de garde-fous comportementaux. Un laboratoire de biosécurité approuvé pourrait recevoir un modèle avec des connaissances virologiques intactes, tandis qu’un déploiement général exclurait entièrement ce module.
Cependant, les chercheurs ont noté que ces travaux sont préliminaires et n’ont pas été appliqués aux modèles de production chez Anthropic. Des défis subsistent concernant l’évolutivité de la technique vers des modèles plus grands et des difficultés à séparer les capacités intriquées, où les connaissances générales en biologie chevauchent les connaissances en virologie dangereuse. Le travail a été dirigé par les chercheurs d’AE Studio en collaboration avec Cem Anil et Alex Cloud d’Anthropic.
