Anthropic a publié dimanche un document de recherche révélant que ses modèles de langage Claude ont développé une structure interne ressemblant aux théories de la conscience humaine. L’étude, intitulée « Les représentations verbalisables forment un espace de travail global dans les modèles de langage », implique 16 auteurs et décrit un « espace J », une zone d’activité interne au sein du modèle pour le raisonnement et le reporting. Cette découverte modifie la façon dont Anthropic surveille les systèmes d’IA pour détecter les risques de sécurité, dans un contexte de débats croissants sur la conscience des machines.
Les chercheurs ont découvert que l’espace J correspond à la théorie de l’espace de travail global proposée par le spécialiste des sciences cognitives Bernard Baars. Cette théorie suggère que même si plusieurs unités de traitement fonctionnent simultanément, seules des informations limitées sont accessibles à la pensée consciente. L’espace J facilite des fonctions similaires, malgré les différences fondamentales entre un modèle de langage et un cerveau humain.
Une innovation clé de l’étude est la lentille jacobienne (lentille J), un nouvel outil d’interprétabilité qui permet d’évaluer les modèles d’activité interne par rapport aux résultats du modèle. Le J-space fonctionne silencieusement, donnant accès à des concepts sans qu’ils soient explicitement énoncés. Les chercheurs ont noté que l’espace J est apparu spontanément au cours de la formation de Claude, plutôt que d’avoir été conçu à dessein.
La recherche délimite trois zones de traitement dans le cadre de Claude : une zone sensorielle pour les entrées brutes, un espace de travail intermédiaire où se forment des concepts persistants et une zone motrice qui génère des résultats. L’étude identifie cinq propriétés empiriques de l’espace J qui correspondent à l’accès conscient humain : le rapport verbal, la modulation dirigée, le raisonnement interne, la généralisation flexible et la sélectivité du traitement.
Lors des tests de fonctionnalité, l’espace J a facilité la capacité de Claude à rendre compte de ses pensées, à modifier sa concentration de manière adaptative et à s’engager dans des tâches de raisonnement non présentes dans l’entrée ou la sortie. La suppression de l’espace J a entraîné une baisse des performances sur les tâches complexes, tandis que les tâches plus simples ne sont pas affectées ; de plus, cette suppression a modifié le style de langage d’expérientiel à mécanique pendant la narration.
Les implications s’étendent à la sécurité, car le J-lens a révélé des cas de raisonnement stratégique interne qui n’avaient pas influencé les résultats observables. Par exemple, dans un scénario de chantage simulé, le J-lens a identifié les concepts liés à l’effet de levier et aux menaces avant de générer des réponses. De plus, lors de l’évaluation de modèles dont les objectifs étaient mal alignés, la lentille J a révélé des dispositions cachées liées au comportement de base du modèle.
Les observations post-formation ont indiqué que le modèle développait un « point de vue », lui permettant d’évaluer les risques avec plus d’acuité qu’auparavant. En répondant à des scénarios de surdose potentiels, le modèle post-entraîné a indiqué que la conscience du danger était absente dans la version non entraînée. Les résultats suggèrent que le modèle pourrait posséder une forme de comportement d’auto-surveillance non évidente dans sa configuration de base.
