- Cerebras Systems dévoile le Wafer Scale Engine 3 (WSE-3), présenté comme la puce d’IA la plus avancée au monde, alimentant le supercalculateur d’IA CS-3 avec une performance maximale de 125 pétaFLOPS.
- La puce WSE-3 promet de révolutionner la formation en IA, en améliorant considérablement l’efficacité tout en maintenant les coûts et l’efficacité énergétique, avec quatre mille milliards de transistors et le double des performances de son prédécesseur.
- Le système CS-3, avec 900 000 cœurs d’IA et jusqu’à 1,2 pétaoctets de mémoire externe, se positionne théoriquement parmi les 10 meilleurs supercalculateurs au monde, présentant un potentiel sans précédent en matière de formation et d’évolutivité des modèles d’IA.
La technologie de l’IA, saluée par certains comme une innovation pionnière et critiquée par d’autres comme une aubaine pour l’élite, dispose désormais d’un atout révolutionnaire dans son arsenal. Cerebras Systems lève le voile sur ce qui est considéré comme la puce d’IA la plus avancée de la planète, le Wafer Scale Engine 3 (WSE-3). Cette centrale pilote le supercalculateur Cerebras CS-3 AI, offrant des performances maximales inégalées de 125 pétaFLOPS, avec une évolutivité qui repousse les limites de ce qui est possible.
Qu’est-ce que le WSE-3 de Cerebras a à offrir ?
Spécifications clés détaillées dans le communiqué de presse:
- 4 000 milliards de transistors
- 900 000 cœurs d’IA
- 125 pétaflops de performances IA maximales
- 44 Go sur puce SRAM
- Processus TSMC 5 nm
- Mémoire externe: 1,5 To, 12 To, ou 1,2 Po
- Entraîne des modèles d’IA jusqu’à 24 000 milliards de paramètres
- Taille de cluster allant jusqu’à 2 048 systèmes CS-3
Avant qu’une IA puisse générer ces vidéos et images captivantes, elle subit un entraînement sur une quantité colossale de données.gourmand en énergie équivalent à plus de 100 foyers en cours. Cependant, cette puce de pointe, ainsi que les systèmes informatiques qui l’exploitent, promettent d’accélérer et d’améliorer considérablement l’efficacité de cette phase de formation.
La puce WSE-3, de taille comparable à un jeu de société standard, est remarquablement équipé de quatre mille milliards de transistors, réalisant le double des performances de l’itération précédente de Cerebras Systems, l’ancien champion en termes de vitesse, tout en conservant le même coût et la même efficacité énergétique. Intégrées au système CS-3, ces puces promettent de fournir une puissance de calcul équivalente à une salle de serveurs entière, le tout compacté dans une unité de la taille d’un mini-réfrigérateur.
Les États-Unis négocient les ventes de puces IA avec Nvidia au milieu des tensions chinoises
Cerebras souligne que le Le CS-3 possède 900 000 cœurs AI et 44 Go de SRAM sur pucecapable d’atteindre des performances d’IA maximales de 125 pétaFLOPS. Cette spécification impressionnante, en théorie positionne le CS-3 parmi les 10 meilleurs supercalculateurs d’élite au monde. Cependant, sans tests de référence, les performances réelles dans les applications réelles restent spéculatives.
Répondant aux demandes insatiables de données de l’IA, le CS-3 propose des configurations de mémoire externe allant de 1,5 To à 1,2 pétaoctets (PB), équivalent à 1 200 To. Cette capacité permet la formation de modèles d’IA avec jusqu’à 24 000 milliards de paramètres, éclipsant la taille de la plupart des modèles d’IA actuels, qui comptent leurs paramètres en milliards, le GPT-4 étant estimé à environ 1 800 milliards. Cerebras suggère le CS-3 pourrait entraîner des modèles avec un billion de paramètres aussi facilement que les systèmes contemporains basés sur GPU gèrent des modèles avec un milliard de paramètres.
Le processus innovant de production de plaquettes derrière les puces WSE-3 permet la conception évolutive du CS-3. Il prend en charge le regroupement de jusqu’à 2 048 unités, aboutissant à un monstre de calcul intensif capable d’atteindre 256 exaFLOPS. Cela éclipserait les performances des principaux supercalculateurs mondiaux, qui fonctionnent actuellement juste au-dessus d’un exaFLOP. Cerebras affirme que cette capacité inégalée pourrait faciliter la formation d’un modèle Llama 70B à partir de zéro en une seule journée.
Crédit image en vedette : Kerem Gülen/Milieu du voyage
