Databricks présente DBRX, un modèle de langage open source innovant prêt à révolutionner la compréhension du langage. Construit sur une architecture avancée, DBRX montre des progrès remarquables dans des tâches telles que le codage et la résolution de problèmes mathématiques. Surpassant certains modèles, vous pensez qu’ils sont les meilleurs du marché LLM !
Mais qu’est-ce qui distingue DBRX des autres ? Approfondissons son processus de développement et explorons les capacités intéressantes qu’il offre.
Qu’est-ce que DBRX ?
DBRX est un grand modèle de langage (LLM) open source développé par Databricks, visant à offrir une alternative compétitive dans le paysage en évolution rapide de l’intelligence artificielle. Construit sur une architecture de mélange d’experts (MoE) à granularité fine, DBRX démontre des progrès notables dans la compréhension du langage, en particulier dans les tâches de programmation et de raisonnement mathématique. Il surpasse notamment certains modèles établis comme le GPT-3.5 et rivalise raisonnablement avec des modèles fermés tels que Gemini 1.0 Pro.
| Modèle | DBRX Instruire | GPT-3.5 | GPT-4 | Claude 3 Haïku | Claude 3 Sonnet | Claude 3 Opus | Gémeaux 1.0 Pro | Gémeaux 1.5 Pro | Mistral moyen | Mistral Grand |
| Banc MT (Inflexion corrigée, n=5) | 8,39 ± 0,08 | — | — | 8,41 ± 0,04 | 8,54 ± 0,09 | 9,03 ± 0,06 | 8,23 ± 0,08 | — | 8,05 ± 0,12 | 8,90 ± 0,06 |
| MMLU 5 coups | 73,7% | 70,0% | 86,4% | 75,2% | 79,0% | 86,8% | 71,8% | 81,9% | 75,3% | 81,2% |
| HellaSwag 10 coups | 89,0% | 85,5% | 95,3% | 85,9% | 89,0% | 95,4% | 84,7% | 92,5% | 88,0% | 89,2% |
| HumanEval 0-Shot passer@1 (La programmation) | 70,1% température=0, N=1 | 48,1% | 67,0% | 75,9% | 73,0% | 84,9% | 67,7% | 71,9% | 38,4% | 45,1% |
| GSM8k CoT maj@1 | 72,8% (5 tirs) | 57,1% (5 tirs) | 92,0 % (5 coups) | 88,9% | 92,3% | 95,0% | 86,5% (maj1@32) | 91,7% (11 coups) | 66,7% (5 tirs) | 81,0 % (5 coups) |
| WinoGrande 5 coups | 81,8% | 81,6% | 87,5% | — | — | — | — | — | 88,0% | 86,7% |
DBRX a été développé au cours d’un processus intensif qui a duré trois mois, s’appuyant sur des mois de recherche et d’expérimentation préalables. La formation s’est déroulée sur une infrastructure puissante composée de 3072 Nvidia H100est connecté par Infiniband 3,2 Tbps. Tirant parti de la suite d’outils Databricks, notamment Unity Catalog pour la gouvernance des données, Lilac AI pour l’exploration des données, les notebooks Apache Spark et Databricks pour le traitement des données, ainsi que des bibliothèques de formation optimisées telles que MegaBlocks et LLM Foundry, DBRX a été formé et affiné sur des milliers de GPU utilisant le service Mosaic AI Training. Les résultats ont été enregistrés à l’aide de MLflow et les commentaires humains ont été collectés pour l’amélioration de la qualité via les tables de service et d’inférence du modèle Mosaic AI.
Alors, que peut faire DBRX? Il peut faire beaucoup de choses, comme répondre à des questions, écrire du code, résoudre des problèmes mathématiques et analyser des données. Cela peut également aider à la rédaction en corrigeant la grammaire et en suggérant des améliorations. DBRX peut comprendre différentes langues et même analyser les sentiments contenus dans un texte. C’est comme un assistant intelligent capable d’effectuer de nombreuses tâches impliquant le langage et les données. Les utilisateurs peuvent également le personnaliser pour des besoins spécifiques. DBRX pourrait vous surprendre par ses performances par rapport à d’autres LLM.
Accessible aux développeurs et aux entreprises, DBRX fournit à la fois le modèle de base et des versions affinées sous licence ouverte, encourageant l’exploration et l’innovation collaboratives. L’accent mis sur l’efficacité de la formation et de l’inférence, ainsi que sa taille gérable, en font une solution potentiellement rentable pour diverses applications d’IA.
Comment utiliser DBRX
L’utilisation de DBRX est rendue accessible via divers moyens fournis par Databricks :
- API du modèle de base: Offres Databricks API du modèle de base, qui permettent aux utilisateurs d’interagir avec DBRX via une interface simple. Les utilisateurs peuvent exploiter ces API pour intégrer DBRX dans leurs applications et flux de travail.
- Interface de discussion AI Playground: Pour une expérimentation et des tests rapides, les utilisateurs peuvent accéder à DBRX via le Terrain de jeu IA interface de discussion. Cette interface fournit un environnement convivial pour interagir avec le modèle et explorer ses capacités.
Dans l’ensemble, en tirant parti des outils et des ressources fournis par Databricks, les utilisateurs peuvent facilement intégrer DBRX dans leurs flux de travail et exploiter ses capacités pour un large éventail d’applications de traitement du langage naturel et d’IA.
Pour des informations plus détaillées, cliquez sur ici.
Crédit image en vedette : Briques de données
