Technologie micronique annoncé elle expédie aux clients des échantillons de son module de mémoire SOCAMM2 de 192 Go. Le nouveau produit, développé pour les centres de données IA, utilise la technologie LPDDR5X pour augmenter la capacité et les performances tout en réduisant la consommation d’énergie. Le module, un Small Outline Compression Attached Memory Module (SOCAMM2), offre 192 Go de capacité, la plus élevée disponible pour ce facteur de forme dans les centres de données. Il s’agit d’une augmentation de capacité de 50 pour cent par rapport à la génération précédente avec une empreinte physique identique. La conception haute densité est essentielle pour les serveurs d’IA limités en espace, car elle permet de disposer de plus de mémoire par système pour prendre en charge de grands modèles d’IA. En concentrant la capacité, le module répond directement aux besoins croissants en mémoire des charges de travail d’intelligence artificielle modernes, qui s’appuient sur de vastes ensembles de données et un nombre important de paramètres pour fonctionner efficacement. À la base, le SOCAMM2 utilise la DRAM LPDDR5X, une technologie originaire du secteur mobile désormais adaptée à une utilisation en entreprise. La mémoire est produite avec le processus DRAM 1-gamma de Micron, son nœud de fabrication le plus avancé. Ce processus génère une amélioration de l’efficacité énergétique de plus de 20 pour cent par rapport aux générations précédentes. La combinaison de l’architecture basse consommation du LPDDR5X avec le processus de fabrication avancé crée une solution de mémoire spécialement conçue pour réduire les demandes énergétiques importantes du calcul de l’IA, transformant la DRAM basse consommation en un composant de classe centre de données avec une robustesse et une évolutivité améliorées. Les mesures de performances incluent des vitesses de transfert de données atteignant jusqu’à 9,6 gigabits par seconde (Gbps), fournissant le débit nécessaire pour éviter les goulots d’étranglement des données dans les systèmes d’IA. L’une de ses principales caractéristiques réside dans ses économies d’énergie, le module réduisant la consommation d’énergie de plus des deux tiers par rapport aux déploiements RDIMM (Registered Dual In-line Memory Module) équivalents. Les RDIMM étant la norme en matière de serveur, cette réduction offre des économies opérationnelles substantielles. Une consommation d’énergie plus faible réduit les coûts d’électricité et allège la pression sur les systèmes de refroidissement des centres de données, un facteur majeur du coût total de possession et de la durabilité de l’infrastructure. La capacité de mémoire accrue améliore directement les performances des applications d’IA, en particulier pour les tâches d’inférence en temps réel. La disponibilité de 192 Go sur un module peut réduire le « time to first token » (TTFT) de plus de 80 %. TTFT est une mesure de latence clé dans l’IA générative, mesurant le délai avant qu’un modèle ne commence à générer une réponse. Pour les services interactifs tels que les assistants IA, ce délai réduit est vital. La réduction significative de la latence initiale permet aux modèles d’IA de fournir des résultats beaucoup plus rapidement, ce qui améliore la réactivité et l’expérience utilisateur de ces applications sensibles à la latence. La norme SOCAMM2 est intrinsèquement modulaire, une conception qui offre des avantages pratiques pour la gestion de grands environnements informatiques. Cette modularité améliore la facilité d’entretien du serveur, permettant un remplacement ou une mise à niveau plus facile et plus rapide des modules de mémoire individuels avec un temps d’arrêt du système minimal. Dans les grands clusters de centres de données, une telle maintenance rationalisée est essentielle pour maintenir une haute disponibilité. La conception ouvre également une voie claire pour l’expansion future de la capacité, permettant aux opérateurs d’adapter leurs ressources de mémoire en fonction des demandes croissantes des modèles d’IA de nouvelle génération, protégeant ainsi les investissements matériels au fil du temps. Le développement de la mémoire serveur basse consommation est le fruit d’un effort conjoint avec Nvidiamenée sur une période de cinq ans. Ce partenariat stratégique positionne le SOCAMM2 comme une solution clé pour les plateformes d’IA de nouvelle génération, et la collaboration suggère une conception optimisée pour l’intégration au sein de l’écosystème Nvidia. Le produit est spécifiquement destiné au marché des centres de données IA, où les demandes de mémoire augmentent en raison de la montée en puissance de l’IA générative et des modèles à contexte massif. Ces systèmes d’IA avancés nécessitent une mémoire vaste, rapide et très efficace pour fonctionner efficacement, un besoin pour lequel le module est conçu. Micron a commencé l’échantillonnage client du module de 192 Go, permettant aux partenaires de tester et de valider la technologie dans leurs propres systèmes. La production à grand volume est prévue pour s’aligner sur les délais de lancement des clients afin de garantir la disponibilité sur le marché pour les nouveaux déploiements de serveurs. L’efficacité énergétique considérable du module soutient la transition de l’industrie des centres de données dans son ensemble vers une infrastructure plus durable et optimisée en termes d’énergie. Cette orientation aide les opérateurs à gérer à la fois les coûts financiers et environnementaux associés à l’expansion mondiale rapide des charges de travail d’intelligence artificielle et de leurs empreintes matérielles associées.
