Amer S et Ryan McKenna de Google Research ont annoncé que Vaultgemma le 12 septembre 2025, comme le modèle linguistique le plus capable formé à partir de zéro avec une confidentialité différentielle. Ce modèle ouvert de 1 milliard de paramètres relève des défis de confidentialité dans la formation de l’IA en incorporant le bruit calibré, tandis qu’un nouveau document de recherche décrit les lois sur l’échelle des compromis de calculs-utilité de calcul, avec des poids libérés sur le visage étreint et Kaggle. La confidentialité différentielle ajoute du bruit calibré pendant l’entraînement pour éviter la mémorisation des points de données individuels, garantissant que les résultats du modèle restent statistiquement similaires, que ce soit ou non un exemple de formation unique. Cette approche fournit un cadre mathématiquement rigoureux pour protéger les données des utilisateurs dans les modèles de grande langue. Cependant, la mise en œuvre de la confidentialité différentielle dans la formation du modèle de langue présente des défis spécifiques. Le bruit perturbe les lois de mise à l’échelle traditionnelles, qui décrivent comment les performances du modèle s’améliorent avec l’augmentation de la taille du modèle, du volume des données et des ressources de calcul. En particulier, le bruit réduit la stabilité de l’entraînement, ce qui rend plus difficile pour le modèle d’apprendre de manière cohérente sans rencontrer de problèmes tels que des pointes soudaines en perte ou en divergence complète pendant l’optimisation. Pour contrer cette instabilité, les praticiens doivent utiliser des tailles de lots beaucoup plus importantes, ce qui exige à son tour plus de puissance et de mémoire de calcul, augmentant les coûts globaux de la formation. Le document de recherche intitulé «Échelle des lois pour les modèles linguistiques différentiellement», développé en partenariat avec Google Deepmind, établit des équations qui modélisent précisément ces compromis de calcul de calcul-utilité pour des modèles de grande langue différentiellement privés. Ces équations capturent les relations complexes entre la quantité de calcul, le niveau de confidentialité atteint et l’utilitaire de modèle résultant, offrant un outil prédictif pour optimiser les configurations de formation. Le développement de l’article a impliqué une analyse approfondie pour quantifier comment la confidentialité différentielle modifie la dynamique de la formation des modèles par rapport aux méthodes non privées. En dérivant ces lois, les auteurs fournissent une base pour la conception de modèles privés efficaces, permettant aux chercheurs de prévoir les performances sans expérimentation exhaustive. Guidé par les idées de ces lois sur l’échelle, l’équipe a construit VaultGemma comme un modèle de 1 milliard de paramètres basé sur l’architecture Gemma 2, entièrement entraînée à partir de zéro selon des contraintes de confidentialité différentielles. Les poids du modèle sont désormais accessibles au public sur des plates-formes telles que Hugging Face et Kaggle, accompagnées d’un rapport technique détaillé qui explique le processus de formation, les hyperparamètres et les résultats d’évaluation. Cette version marque le plus grand modèle ouvert de ce type à ce jour, permettant aux développeurs et aux chercheurs du monde entier d’accéder et de s’appuyer sur un modèle de langue différentiellement de qualité de qualité. La série Gemma elle-même met l’accent sur la responsabilité et la sécurité dans le développement de l’IA, qui s’est bien aligné sur les objectifs d’incorporer les protections de la vie privée dès le départ. La méthodologie expérimentale dans la recherche s’est concentrée sur la quantification des impacts de la taille des modèles variables, de la taille des lots et des itérations de formation dans le cadre de confidentialité différentielle. Pour gérer le grand nombre de combinaisons possibles, les auteurs ont fait des hypothèses simplificatrices, centrant leur analyse sur le rapport contre-bruit. Ce rapport mesure l’échelle relative du bruit induit par la confidentialité par rapport à la taille du lot utilisé dans la descente de gradient stochastique. L’hypothèse tient parce que le bruit délibéré ajouté pour la confidentialité domine tout aléatoire inhérent à l’échantillonnage des données, permettant à l’efficacité d’apprentissage du modèle d’être principalement déterminé par cette métrique unique. Grâce à cet objectif, la méthodologie a permis une évaluation systématique de la façon dont les ajustements de ces paramètres affectent les performances globales. Des expériences complètes ont évalué les performances du modèle à travers diverses tailles de modèles et les rapports de bruit, générant des données empiriques qui, lorsqu’elles sont combinées avec des relations déterministes entre des variables telles que le budget de calcul et le budget des données, prend en charge les requêtes ciblées. Par exemple, les lois sur la mise à l’échelle peuvent déterminer la configuration de formation optimale pour minimiser la perte compte tenu des budgets fixes de calcul, de confidentialité et de données. La perte prévue est modélisée à l’aide de la taille du modèle, du nombre d’itérations et du rapport contre le bruit, ce qui simplifie la navigation d’interactions complexes entre les budgets. Cette structure fournit une voie claire aux praticiens pour équilibrer efficacement les ressources lors de la formation de modèle privé. Du point de vue de la comptabilité de confidentialité, la dynamique entre le budget de calcul, le budget de confidentialité et le budget des données révèle des interactions clés pour une taille de modèle fixe et un nombre d’itération. L’augmentation du budget de confidentialité, désignée par le paramètre ε, réduit le niveau de bruit mais donne des rendements diminués s’ils ne sont pas associés à des extensions dans des budgets de calcul ou de données. Plus précisément, sans augmentation correspondante des opérations à virgule flottante (flops) ou des jetons traités, le rapport de lots de bruit ne s’améliore que marginalement, limitant les gains de l’utilité. Cette synergie souligne la nécessité d’une mise à l’échelle coordonnée: l’amélioration de la confidentialité seule ne réduit pas suffisamment le bruit effectif, sauf s’il est pris en charge par plus de ressources de calcul ou de données de formation supplémentaires. Les visualisations dans la recherche illustrent comment les configurations optimales se déplacent avec des budgets changeants. Comme les contraintes de confidentialité et de calcul varient, l’allocation préférée se déplace entre les tailles de modèle plus grandes, les tailles de lots élargies ou les itérations supplémentaires. Par exemple, dans le cadre des budgets de confidentialité plus stricts, la priorité des lots plus importants s’avère souvent plus efficace que la mise à l’échelle de la taille du modèle, car il atténue directement l’impact du bruit. Ces parcelles détaillent la perte minimale réalisable pour diverses combinaisons de budget, ainsi que les pannes d’hyperparamètres telles que les itérations, la taille du lot et les dimensions du modèle. Une telle granularité aide à identifier non seulement la meilleure configuration mais aussi des gammes d’alternatives viables qui offrent une utilité comparable, offrant une flexibilité dans des environnements liés aux ressources. Un aperçu central des lois sur l’échelle est la recommandation de former des modèles plus petits avec des tailles de lots sensiblement plus grandes par rapport aux scénarios non privés. Cette approche tire parti de l’importance des lots surdimensionnés dans la stabilisation de la descente de gradient stochastique privé différentiel (DP-SGD), une méthode d’optimisation commune dans ce domaine. L’informatique s’applique largement à différents paramètres, bien qu’Aptima ajustement exact basé sur des budgets spécifiques de confidentialité et de données. La compréhension de ces compromis assure une utilisation efficace des allocations de calcul et de confidentialité, empêchant les configurations de gaspillage. L’analyse met également en évidence la flexibilité dans les choix, où plusieurs tailles de modèles peuvent atteindre des pertes similaires lorsqu’elles sont appariées avec des itérations appropriées et des ajustements par lots. Pour construire VaultGemma, l’équipe a appliqué les lois sur l’échelle pour calculer les flops totaux requis pour un modèle de paramètre de 1 milliard de milliards de dollars dérivé de Gemma 2. Ils ont ensuite distribué ces flops sur la taille du lot, les itérations et la longueur de séquence pour maximiser l’utilité sous des contraintes de confidentialité. Ce processus d’allocation impliquait des simulations itératives à l’aide des équations prédictives pour tester diverses distributions, garantissant la configuration finale alignée sur la perte projetée la plus basse. La configuration résultante a équilibré le besoin d’atténuation du bruit à travers de grands lots avec des itérations suffisantes pour converger efficacement, tout en adhérant au nombre de paramètres cibles. Un défi notable dans le fait de combler la recherche sur le droit de mise à l’échelle à la formation réelle a été de gérer l’échantillonnage de Poisson, un élément clé de DP-SGD qui assure des garanties de confidentialité robustes en randomisant la sélection des données. Initialement, l’équipe a chargé des données dans des lots uniformes, mais cette méthode a offert des protections sous la confidentialité sous-optimales en raison d’un bruit efficace plus élevé. Le passage à l’échantillonnage de Poisson a amélioré les garanties mais la variabilité introduite: les lots variaient en taille et le traitement des données nécessitait un ordre randomisé. Pour résoudre ces problèmes, ils ont adopté des techniques à partir de travaux récents sur le DP-SGD évolutif, qui traite les données dans les lots de taille fixe en rembourrant les plus courts ou en coupe plus longtemps. Cette adaptation préserve les avantages de la confidentialité de l’échantillonnage de Poisson sans perturber l’efficacité du pipeline d’entraînement. La formation de VaultGemma a confirmé l’exactitude des lois sur l’échelle, la perte de formation finale s’alignant étroitement aux prédictions des équations. Cette validation démontre la fiabilité du cadre de prévision des résultats dans le développement de modèles privés, fournissant un guide fiable pour les efforts futurs. Le processus impliquait de surveiller les courbes de perte tout au long de la formation pour assurer la stabilité, en ajustant les hyperparamètres au besoin dans le budget prédéfini et en vérifiant que le rapport contre le bruit est resté optimal. Une telle correspondance étroite entre la théorie et la pratique renforce l’utilité des lois dans les applications pratiques. Dans les évaluations des performances, VaultGemma 1B avec la confidentialité différentielle atteint des niveaux d’utilité comparables au modèle GEMMA3 1B non privé et au modèle GPT-2 1.5B. Ces comparaisons quantifient les demandes de ressources de la formation préservant la confidentialité, montrant que les méthodes actuelles produisent des modèles à égalité avec des architectures non privées d’environ cinq ans auparavant. Les évaluations comprenaient des métriques de perplexité sur les données tenues, où les scores de VaultGemma reflètent l’apprentissage efficace malgré le bruit supplémentaire, mettant en évidence la progression de la commission de l’écart d’utilité grâce à une mise à l’échelle optimisée. Les évaluations en aval sur les repères standard valident davantage les capacités de VaultGemma. Sur Hellaswag, le modèle fonctionne à des niveaux correspondant à son homologue non privé, démontrant une forte inférence de bon sens. Les résultats de BOOLQ indiquent une réponse de questions fiable sur les requêtes booléennes, tandis que PIQA montre la compétence dans les prévisions d’interaction physique. Les évaluations de Socialiqa révèlent une compréhension solide des normes sociales, Triviaqa confirme la rétention des connaissances pour le rappel factuel, ARC-C gère les défis de raisonnement complexes et ARC-E répond efficacement aux questions scientifiques faciles. L’inclusion de GPT-2 1.5b dans ces comparaisons souligne que les scores de référence de VaultGemma s’alignent sur des modèles plus anciens non privés d’échelle similaire, illustrant l’état des progrès de formation privée. VaultGemma fournit une garantie de confidentialité différentielle au niveau de la séquence formelle de ε ≤ 2,0 et δ ≤ 1,1 × 10⁻¹⁰ pour les séquences de 1024 jetons tirés de sources de données hétérogènes. Le mélange d’entraînement reflète celui de Gemma 2, comprenant des documents de longueurs variables prétraitées en les séparant les longues en plusieurs séquences et en emballant des courtes ensemble. Cette unité au niveau de la séquence convient au format de données, bien que la confidentialité au niveau de l’utilisateur soit préférable lorsque les données sont directement liées aux individus. En pratique, cette garantie garantit que les réponses du modèle aux requêtes restent statistiquement indiscernables si une séquence particulière est incluse ou non, empêchant efficacement le modèle d’apprendre un fait isolé dans une seule séquence. Cependant, des faits apparaissant sur plusieurs séquences peuvent encore être appris, permettant l’acquisition générale des connaissances sans compromettre la vie privée individuelle. Complétant les garanties théoriques, les tests empiriques ont évalué les risques de mémorisation en invitant VaultGemma avec des préfixes à 50 titulages des documents de formation et en vérifiant la reproduction des 50 jetons suivants. Le modèle n’a montré aucune mémorisation détectable, générant des continuations non apparentées qui ne correspondaient pas aux suffixes d’origine. Ce résultat vérifie l’efficacité pratique de l’intimité différentielle dans la suppression du rappel textuel, même pour des extraits d’entraînement potentiellement sensibles. Le protocole de test a consisté à sélectionner divers préfixes à partir de diverses sources de données pour couvrir un large échantillon, garantissant une couverture complète des vulnérabilités potentielles. Les remerciements du projet s’étendent aux équipes Gemma et Google de confidentialité, avec des remerciements spécifiques à Peter Kairouz, Brendan McMahan et Dan Ramage pour ses commentaires sur l’annonce. Mark Simborg et Kimberly Schwede ont aidé à des visualisations, tandis que les équipes Google plus larges ont pris en charge la conception d’algorithmes, l’infrastructure et la maintenance de la production. Direct contributors, listed alphabetically, include Borja Balle, Zachary Charles, Christopher A. Choquette-Choo, Lynn Chua, Prem Eruvbetine, Badih Ghazi, Steve He, Yangsibo Huang, Armand Joulin, George Kaissis, Pritish Kamath, Ravi Kumar, Daogao Liu, Ruibo Liu, Pasin Manurangsi, Thomas Mesnard, Andreas Terzis, Tris Warkentin, Da Yu et Chiyuan Zhang.
