Des fuites de benchmarks concernant Llama 3.1 405B de Meta AI montrent que ce LLM open source a beaucoup de potentiel.
Fuite : benchmarks Meta AI Llama 3.1 405B
Meta a lancé Llama 3 en avril 2024 en tant que nouvelle génération de modèles de langages de pointe, open source. La version initiale comprenait Llama 3 8B et Llama 3 70B, qui ont tous deux établi de nouveaux critères de performance pour les LLM dans leurs tailles respectives. Cependant, en seulement trois mois, plusieurs autres modèles ont réussi à dépasser ces critères initiaux, ce qui indique le rythme rapide des progrès dans le domaine de l’intelligence artificielle.
Meta a annoncé que son modèle le plus ambitieux de la série Llama 3 comportera plus de 400 milliards de paramètres, un bond en avant massif qui est encore en cours de formation. Dans un tournant dramatique, les premières données de référence pour les prochains modèles Llama 3.1, notamment les modèles 8B, 70B et le colossal 405B, ont été divulguées sur le site Subreddit LocalLLaMA aujourd’huiLes résultats préliminaires suggèrent que le modèle Llama 3.1 405B pourrait potentiellement surpasser les performances du leader actuel du secteur, le GPT-4o d’OpenAI, sur plusieurs benchmarks d’IA critiques.
Si le modèle Llama 3.1 405B surpassait effectivement GPT-4o, il représenterait la première instance d’un modèle open source éclipsant un LLM fermé de premier plan.
| Repères | GPT-4o | Méta Llama-3.1-405B | Méta Llama-3.1-70B | Méta Llama-3-70B | Méta Llama-3.1-8B | Méta Llama-3-8B |
| boolq | 0,905 | 0,921 | 0,909 | 0,892 | 0,871 | 0,82 |
| gsm8k | 0,942 | 0,968 | 0,948 | 0,833 | 0,844 | 0,572 |
| sacré wag | 0,891 | 0,92 | 0,908 | 0,874 | 0,768 | 0,462 |
| évaluation_humaine | 0,921 | 0,854 | 0,793 | 0,39 | 0,683 | 0,341 |
| mmlu_sciences_humaines | 0,802 | 0,818 | 0,795 | 0,706 | 0,619 | 0,56 |
| mmlu_autre | 0,872 | 0,875 | 0,852 | 0,825 | 0,74 | 0,709 |
| mmlu_sciences_sociales | 0,913 | 0,898 | 0,878 | 0,872 | 0,761 | 0,741 |
| tige_mmlu | 0,696 | 0,831 | 0,771 | 0,696 | 0,595 | 0,561 |
| livre ouvert | 0,882 | 0,908 | 0,936 | 0,928 | 0,852 | 0,802 |
| piqa | 0,844 | 0,874 | 0,862 | 0,894 | 0,801 | 0,764 |
| social_iqa | 0,79 | 0,797 | 0,813 | 0,789 | 0,734 | 0,667 |
| veridiqueqa_mc1 | 0,825 | 0,8 | 0,769 | 0,52 | 0,606 | 0,327 |
| WinoGrande | 0,822 | 0,867 | 0,845 | 0,776 | 0,65 | 0,56 |
Comme vous pouvez le voir ci-dessus, les tests de performance divulgués révèlent que les modèles Llama 3.1 de Meta surpassent le GPT-4 d’OpenAI dans une variété de tests, établissant une nouvelle norme dans plusieurs domaines cruciaux des performances de l’IA. Notamment, Llama 3.1 excelle dans des tests de performance tels que GSM8K, Hellaswag, BoolQ, MMLU-humanités, MMLU-autres, MMLU-STEM et Winograd. Cependant, il est à la traîne dans les tests HumanEval et MMLU-sciences sociales, ce qui indique des domaines dans lesquels des améliorations supplémentaires sont nécessaires.
Il est essentiel de reconnaître que ces tests reflètent les performances des modèles de base de Llama 3.1. Le véritable potentiel de ces modèles peut être réalisé grâce au réglage des instructions, un processus qui peut améliorer considérablement leurs capacités. Les prochaines versions Instruct des modèles Llama 3.1 devraient produire des résultats encore meilleurs, présentant des améliorations dans divers tests.
Souligner l’importance des initiatives open source
Bien que GPT-5 puisse remettre en cause la domination émergente de Llama 3.1, les performances impressionnantes de Llama 3.1 face à GPT-4 soulignent l’influence et la capacité croissantes des initiatives d’IA open source.
« Nous adoptons l’éthique open source qui consiste à publier rapidement et fréquemment ces modèles afin de permettre à la communauté d’y accéder alors qu’ils sont encore en cours de développement. Les modèles textuels que nous publions aujourd’hui sont les premiers de la collection de modèles Llama 3. Notre objectif dans un avenir proche est de rendre Llama 3 multilingue et multimodal, d’avoir un contexte plus long et de continuer à améliorer les performances globales des fonctionnalités de base de LLM telles que le raisonnement et le codage », a déclaré Meta dans un communiqué. article de blog lors du lancement de Llama 3.
L’importance de l’IA open source ne saurait être surestimée. En rendant ses modèles avancés accessibles au public, Meta démocratise non seulement la technologie, mais exploite également l’intelligence collective et les perspectives diverses de la communauté mondiale des développeurs. Cette approche contraste fortement avec les modèles à code source fermé, qui ne sont généralement accessibles qu’à un groupe restreint d’utilisateurs et de chercheurs, ce qui limite le potentiel d’innovation et d’amélioration à grande échelle.
Crédits de l’image en vedette : Penfer/Unsplash
