Des chercheurs chinois de l’Académie chinoise des sciences ont dévoilé Spikingbrain1.0, décrit comme le premier modèle de grande langue (LLM) au monde. Le modèle est conçu pour consommer moins de puissance et opérer indépendamment des GPU NVIDIA, traitant des limites des technologies d’IA conventionnelles.
Modèles existants, y compris Chatte et Meta’s Llamas’appuyer sur «l’attention», un processus qui compare chaque mot d’une phrase à tous les autres pour prédire le mot suivant. Bien que efficace, cette approche consomme de grandes quantités d’énergie et ralentit le traitement pour de longs textes, tels que des livres.
Les modèles traditionnels dépendent également fortement des GPU NVIDIA, créant des goulots d’étranglement matériels pour la mise à l’échelle.
Approche inspirée du cerveau
SPIKINGBRAIN1.0 utilise un mécanisme d’attention localisé, en se concentrant sur les mots à proximité plutôt que d’analyser des textes entiers. Cela imite la capacité du cerveau humain à se concentrer sur le contexte récent lors des conversations. Les chercheurs affirment que cette méthode permet au modèle de fonctionner 25 à 100 fois plus rapide que les LLM conventionnels tout en maintenant une précision comparable.
Le modèle se déroule sur la plate-forme de puce Metax locale chinoise, éliminant la dépendance aux GPU NVIDIA. Il répond sélectivement aux entrées, réduisant la consommation d’énergie et permettant une pré-formation continue avec moins de 2% des données nécessaires aux modèles de source ouverte traditionnels. Les chercheurs notent que dans des scénarios spécifiques, SpikingBrain1.0 peut atteindre plus de 100 fois la vitesse des modèles d’IA traditionnels.
Le développement de SpikingBrain1.0 se produit au milieu des restrictions d’exportation de technologie américaines qui limitent l’accès de la Chine aux puces avancées requises pour les applications d’IA et de serveur. Ces restrictions ont accéléré l’innovation d’IA domestique, avec Spikingbrain1.0 représentant une étape vers un écosystème d’IA plus autosuffisant.
