Les références LLM sont une composante vitale dans l’évaluation des modèles de grandes langues (LLM) dans le domaine en évolution rapide du traitement du langage naturel (PNL). Ces repères permettent aux chercheurs et aux développeurs d’évaluer systématiquement comment les différents modèles fonctionnent sur diverses tâches, fournissant un aperçu de leurs forces et de leurs faiblesses. En standardisant les cadres d’évaluation, les repères LLM aident à clarifier les progrès continus des capacités du modèle tout en informant les recherches et le développement supplémentaires.
Que sont les repères LLM?
Les références LLM servent de cadres d’évaluation standardisés qui offrent des critères objectifs pour évaluer et comparer les performances de divers modèles de langues importants. Ces cadres fournissent des mesures claires qui peuvent être utilisées pour évaluer différentes capacités, contribuant à garantir que les progrès des LLM sont reconnus et compris avec précision.
Types de repères LLM
Les repères LLM peuvent être classés en fonction des capacités spécifiques qu’ils mesurent. La compréhension de ces types peut aider à sélectionner la bonne référence pour évaluer un modèle ou une tâche particulière.
Reason et références de bon sens
- Hellaswag: Évalue l’inférence de bon sens en exigeant que les modèles remplissent avec précision les légendes vidéo.
- BAISSE: Teste la compréhension de la lecture et le raisonnement discret à travers des tâches telles que le tri et le comptage en fonction du texte.
Vérité et questions répondant aux références (QA)
- Troimfulqa: Évalue la capacité des modèles à produire des réponses véridiques et précises, visant à minimiser les biais.
- GPQA: Défile les modèles avec des questions spécifiques au domaine de domaines comme la biologie et la physique.
- MMLU: Mesure les connaissances et le raisonnement sur divers sujets, utiles dans les scénarios zéro-shot et à quelques coups.
Repères mathématiques
- GSM-8K: Évalue le raisonnement arithmétique et logique de base à travers des problèmes mathématiques au niveau de l’école.
- MATHÉMATIQUES: Évalue la compétence dans une gamme de concepts mathématiques, de l’arithmétique de base au calcul avancé.
Codage de repères
- Humaneval: Teste les capacités des modèles dans la compréhension et la génération de code, en évaluant les programmes développés à partir des entrées docstring.
Conversation et benchmarks de chatbot
- Chatbot Arena: Une plate-forme interactive conçue pour évaluer les LLM en fonction des préférences humaines dans les dialogues.
Défis dans les références LLM
Bien que les repères LLM soient essentiels pour l’évaluation du modèle, plusieurs défis entravent leur efficacité. Comprendre ces défis peut guider les améliorations futures de la conception et de l’utilisation de référence.
Sensibilité rapide
La conception et le libellé des invites peuvent influencer considérablement les mesures d’évaluation, éclipsant souvent les véritables capacités des modèles.
Validité de construction
L’établissement de réponses acceptables peut être problématique en raison de la diversité des tâches que les LLM peuvent gérer, compliquant les évaluations.
Portée limitée
Les références existantes pourraient ne pas évaluer les nouvelles capacités ou les compétences innovantes dans les LLM émergents, ce qui limite leur utilité.
Écart de normalisation
L’absence de références universellement acceptées peut entraîner des incohérences et des résultats d’évaluation variés, sapant les efforts de comparaison.
Évaluations humaines
Les évaluations humaines, bien que précieuses, sont à forte intensité de ressources et subjectives, compliquant l’évaluation des tâches nuancées comme le résumé abstrait.
Évaluateurs de référence LLM
Pour faciliter les comparaisons et les classements, plusieurs plates-formes ont émergé, fournissant des évaluations structurées pour divers LLM. Ces ressources peuvent aider les chercheurs et les praticiens à choisir les modèles appropriés pour leurs besoins.
Open LLM LABEALFOW en étreignant le visage
Ce classement fournit un système de classement complet pour les LLM et les chatbots ouverts, couvrant une variété de tâches telles que la génération de texte et la réponse aux questions.
Big Code Modèles de classement en étreignant le visage
Ce classement se concentre spécifiquement sur l’évaluation des performances des modèles de génération de code multilingues contre des repères comme Humaneval.
Evales simples par Openai
Un cadre léger pour effectuer des évaluations de référence, permettant des comparaisons de modèles avec les homologues de pointe, y compris des évaluations de tirs zéro.
