Fabricants de puces Nvidia et Groq entré un accord de licence technologique non exclusif la semaine dernière pour accélérer et réduire le coût d’exécution de grands modèles de langage pré-entraînés à l’aide des puces d’unité de traitement linguistique de Groq. Les puces de l’unité de traitement linguistique de Groq alimentent les requêtes des chatbots en temps réel pendant la phase d’inférence des opérations d’IA, distincte du processus de formation du modèle. Ces puces permettent aux modèles d’IA de générer rapidement des réponses dans des applications telles que les chatbots. Les puces de Nvidia gèrent actuellement une grande partie de la phase de formation à l’IA dans l’industrie. L’inférence représente un goulot d’étranglement que Nvidia ne contrôle pas totalement. Les puces de Groq ciblent spécifiquement cette étape d’inférence, où les modèles d’IA appliquent les connaissances acquises lors de la formation pour produire des résultats sur de nouvelles données. Groq conçoit ses puces pour l’inférence afin de faire passer les modèles d’IA de l’expérimentation en laboratoire au déploiement pratique. L’inférence se produit après la formation, lorsque les modèles traitent des entrées invisibles pour fournir des résultats dans des scénarios réels. Les investisseurs dirigent les fonds vers les startups d’inférence pour connecter la recherche sur l’IA aux applications quotidiennes à grande échelle. Le journaliste d’Axios, Chris Metinko, a couvert cette tendance en matière d’investissement plus tôt cette année. Les capacités d’inférence améliorées permettent aux entreprises de poursuivre des projets d’IA d’entreprise supplémentaires à plus grande échelle. Ces initiatives augmentent la demande de processus de formation, ce qui à son tour augmente le besoin en puces de formation de Nvidia. Les modèles d’IA fonctionnent en deux phases : la formation et l’inférence. Pendant la formation, les modèles traitent de nombreux ensembles de données, notamment du texte, des images et des vidéos, pour construire des représentations internes des connaissances. Lors de la phase d’inférence, les modèles identifient des modèles au sein de données inédites et produisent des réponses à des invites spécifiques basées sur ces modèles. Ce processus ressemble à un étudiant qui étudie le matériel pour un examen et applique ensuite ces connaissances pendant le test. Groq originaire en 2016 sous la direction fondatrice de Jonathan Ross. La société n’a aucun lien avec le chatbot xAI d’Elon Musk nommé Grok. Jonathan Ross, le président de Groq, Sunny Madra, et certains autres employés envisagent de rejoindre Nvidia, comme indiqué sur Le site de Groq. Groq a l’intention de maintenir ses opérations indépendantes après ces transitions. L’accord constitue un « accord de licence non exclusif sur la technologie d’inférence ». Cet arrangement s’apparente à une acquisition ou à une acquisition. Stacy Rasgon a décrit la structure dans une note aux clients comme entretenant la fiction de la concurrence, selon CNBC. Les entreprises utilisent de telles structures de transaction pour naviguer dans les examens antitrust tout en obtenant du personnel spécialisé en IA.
- Exemple Microsoft : Recrutement Mustafa Suleyman, co-fondateur de DeepMind.
- Exemple Google : Réengagement de Noam Shazeer, co-inventeur de l’architecture Transformer au cœur des modèles GPT.
Jonathan Ross, qui rejoint désormais Nvidia, a précédemment développé l’unité de traitement tenseur de Google, connue sous le nom de TPU. Les coûts de déploiement déterminent dans quelle mesure les entreprises utilisent les modèles développés grâce à des efforts de formation préalables.
