Les chercheurs de Goodfire.ai ont isolé les voies de mémorisation et de raisonnement dans les réseaux neuronaux de l’IA, détaillés dans une prépublication de fin octobre papier. La recherche démontre une séparation claire de ces fonctions au sein de grands modèles de langage. Lorsque les voies de mémorisation ont été supprimées, les modèles ont perdu 97 % de leur capacité à réciter textuellement les données d’entraînement. Leur capacité de « raisonnement logique » est cependant restée largement intacte. Les chercheurs ont classé les composants de poids de haut en bas en fonction de la « courbure ». Dans le modèle de langage OLMo-7B de l’Allen Institute for AI, la couche 22 a montré que les 50 % inférieurs des composants de poids avaient une activation 23 % plus élevée sur les données mémorisées. À l’inverse, les 10 pour cent les plus riches présentaient une activation 26 pour cent plus élevée sur du texte général non mémorisé. Cette division mécaniste a permis la suppression chirurgicale de la mémorisation tout en préservant les autres capacités. La suppression des composants les moins bien classés a éliminé la mémorisation ; retenir les mieux classés s’occupait de la résolution de problèmes. Les opérations arithmétiques semblent partager des voies neuronales avec la mémorisation plutôt qu’avec le raisonnement logique. La suppression des circuits de mémorisation a fait chuter les performances mathématiques à 66 %, tandis que les tâches logiques sont restées presque intactes. Cela peut expliquer pourquoi les modèles d’IA ont du mal avec les mathématiques sans outils externes, s’appuyant sur des faits mémorisés comme « 2+2=4 » plutôt que sur des calculs. Le « raisonnement » de l’IA englobe des capacités telles que l’évaluation des déclarations vraies/fausses et le respect des règles si-alors, qui ont survécu à la suppression de la mémoire. Cela diffère du « raisonnement mathématique » plus profond nécessaire aux preuves ou à la résolution de nouveaux problèmes, avec lequel les modèles d’IA actuels ont du mal même avec des capacités de correspondance de modèles intactes. Le développement futur de ces techniques de suppression d’informations pourrait permettre aux sociétés d’IA de supprimer les contenus protégés par le droit d’auteur, les informations privées ou les textes mémorisés nuisibles des réseaux neuronaux sans détruire les performances des tâches de transformation. Cependant, les chercheurs affirment que leur méthode « ne peut garantir l’élimination complète des informations sensibles » en raison de la nature distribuée du stockage des informations dans les réseaux neuronaux. Comprendre cette distinction implique le « paysage des pertes », une visualisation de la précision des prédictions d’un modèle d’IA basée sur des paramètres internes ou des « pondérations ». La « perte » mesure les erreurs, une faible perte indiquant peu d’erreurs. Le « paysage » cartographie les taux d’erreur pour toutes les combinaisons de paramètres possibles. Pendant l’entraînement, les modèles d’IA ajustent les poids pour minimiser les erreurs, « descendant » efficacement dans ce paysage. Les chercheurs ont analysé la « courbure » des paysages de pertes, mesurant la sensibilité des performances du modèle à de petits changements dans les poids des réseaux neuronaux. Une courbure élevée indique des pics et des creux nets, ce qui signifie que de petits changements ont des effets significatifs. Une faible courbure signifie des plaines plates où les changements ont un impact minimal. Ces valeurs de courbure ont été utilisées pour classer les composants de poids. En utilisant K-FAC (Courbure approximative à facteur de Kronecker), les scientifiques ont découvert que les faits mémorisés individuels créaient des pics nets et idiosyncrasiques dans le paysage qui s’aplatissaient lorsqu’on faisait la moyenne. En revanche, les capacités de raisonnement, sur lesquelles s’appuient de nombreuses données différentes, maintiennent des courbes cohérentes et modérées. Les chercheurs indiquent que « les directions qui mettent en œuvre des mécanismes partagés utilisés par de nombreuses entrées s’ajoutent de manière cohérente et restent en moyenne à forte courbure », décrivant les voies de raisonnement. La mémorisation, à l’inverse, utilise « des directions pointues idiosyncrasiques associées à des exemples spécifiques » qui semblent plates lorsqu’on fait la moyenne. La technique a été testée sur plusieurs systèmes d’IA, notamment la famille OLMo-2 de l’Allen Institute (versions à 7 milliards et 1 milliard de paramètres) et des transformateurs de vision personnalisés à 86 millions de paramètres (modèles ViT-Base) sur ImageNet. Ils ont également validé les résultats par rapport aux méthodes existantes telles que BalancedSubnet. La suppression sélective des composants de poids à faible courbure a entraîné une chute du rappel du contenu mémorisé à 3,4 pour cent, contre près de 100 pour cent. Les tâches de raisonnement logique ont maintenu 95 à 106 pour cent des performances de base. Les tâches logiques comprenaient l’évaluation d’expressions booléennes, des énigmes de déduction logique, le suivi d’objets, BoolQ pour le raisonnement oui/non, Winogrande pour l’inférence de bon sens et OpenBookQA pour les questions scientifiques. Les opérations mathématiques et la recherche de faits dans des livres fermés, partageant des voies de mémorisation, ont chuté de 66 à 86 pour cent après édition. L’arithmétique s’est révélée particulièrement fragile, les calculs échouant même avec des chaînes de raisonnement identiques après la suppression des composants à faible courbure. L’équipe a expliqué : « Les problèmes arithmétiques eux-mêmes sont mémorisés à l’échelle 7B, ou parce qu’ils nécessitent des instructions étroitement utilisées pour effectuer des calculs précis. » Les réponses aux questions à livre ouvert, en s’appuyant sur le contexte fourni, ont maintenu des performances presque complètes. La séparation des mécanismes variait selon le type d’information ; les faits courants comme les capitales des pays ont montré un changement minime après la modification, tandis que les faits rares comme les PDG d’entreprise ont chuté de 78 pour cent, suggérant une allocation différentielle des ressources neuronales basée sur la fréquence des informations lors de la formation. La technique K-FAC a surpassé les méthodes de suppression de mémorisation existantes, atteignant 16,1 % de mémorisation sur des cotations historiques invisibles, contre 60 % pour BalancedSubnet. Les transformateurs de vision ont montré des schémas similaires, la suppression des voies de mémorisation rétablissant une précision de 66,5 % sur des images précédemment mal étiquetées. Les chercheurs reconnaissent leurs limites ; les souvenirs supprimés pourraient revenir avec une formation ultérieure, car les méthodes de désapprentissage actuelles suppriment principalement les informations. La raison de la fragilité des mathématiques lors de la suppression de la mémorisation n’est pas claire, tout comme la question de savoir si certaines capacités complexes sont identifiées à tort comme de la mémorisation. De plus, les outils mathématiques permettant de mesurer le « paysage » du modèle peuvent ne pas être fiables aux extrêmes.
