Comment évaluons-nous les systèmes qui évoluent plus rapidement que nos outils pour les mesurer? Les évaluations traditionnelles de l’apprentissage automatique, enracinées dans les divisions de tests de train, les ensembles de données statiques et les repères reproductibles, ne sont plus adéquats pour les capacités ouvertes et à enjeux élevés des modèles Genai modernes. La proposition de base de ce Poster le papier est audacieux mais ancré: les compétitions d’IA, utilisées depuis longtemps pour l’innovation de la crowdsource, devraient être élevées à la méthode par défaut pour l’évaluation empirique dans le Genai. Ces compétitions ne sont pas seulement pratiques; Ils sont structurellement supérieurs pour assurer la robustesse, la nouveauté et la fiabilité des résultats.
Pourquoi l’évaluation traditionnelle ML ne fonctionne plus
Le plus conventionnel Évaluation LLM Les configurations reposent sur l’hypothèse que les données de formation et de test sont tirées indépendamment de la même distribution. Cette idée fondamentale a permis au domaine de développer des repères reproductibles tels que MNIST ou ImageNet, qui à leur tour alimentaient des décennies de progrès. Mais les modèles Genai ne fonctionnent pas dans ces environnements étroits et bien limités. Ils produisent le langage, les images et le code dans des domaines ouverts sans vérité claire. Les entrées peuvent être ambiguës et les sorties varient en forme et en qualité. Ces modèles utilisent souvent des sorties antérieures comme contexte pour les futures, créant des boucles de rétroaction qui sapent les hypothèses statistiques de base.
En conséquence, les scores de référence peuvent en dire moins sur la qualité du modèle et plus sur la question de savoir si les données de test se sont déroulées dans la formation. Et une fois qu’une référence est rendue publique, l’hypothèse doit être qu’elle a déjà été compromise. Dans un tel paysage, la reproductibilité et la robustesse ne peuvent pas être également prioritaires. Les évaluations doivent désormais être considérées comme des processus plutôt que des objets statiques.
L’environnement actuel exige une redéfinition de la généralisation. Au lieu de demander si un modèle fonctionne bien sur les nouvelles données d’une distribution connue, nous devons nous demander s’il réussit à résoudre des tâches entièrement inconnues. Cette approche centrée sur la nouveauté est plus alignée sur la façon dont les humains évaluent l’intelligence. Il accorde une prime à l’adaptabilité plutôt qu’à la mémorisation.
Ce changement s’accompagne de compromis. Les repères ne peuvent pas être réutilisés sans risquer de contamination. Les tâches d’évaluation doivent être générées dynamiquement ou conçues pour être non reproductibles par nature. Ces exigences font des compétitions, qui excellent dans la gestion de la nouveauté et de l’échelle, le cadre idéal.
Fuite et contamination
La fuite n’est pas une préoccupation marginale. C’est un problème omniprésent, souvent non détecté qui peut invalider des évaluations entières. Lorsque les données d’évaluation chevauchent les données de formation, même involontairement, les scores sont gonflés. Les modèles Genai sont particulièrement enclins à cela parce que leurs données de formation sont souvent vastes et mal documentées.
Des compétitions ont montré comment la fuite se produit à travers des métadonnées, des artefacts basés sur le temps ou des indices statistiques subtils. Ils ont également pionnier des solutions: des ensembles de tests cachés, un échantillonnage randomisé et une évaluation post-ligne. Ces pratiques, développées pour empêcher la tricherie, se font désormais servir de garanties scientifiques.
Les compétitions d’IA permettent une évaluation à grande échelle parallélisée. Des milliers d’équipes travaillent de manière indépendante pour résoudre la même tâche, surfaisant diverses stratégies et approches. Cette échelle permet un aperçu empirique que les repères statiques ne peuvent pas correspondre. Plus important encore, il distribue le fardeau de la validation et révèle des faiblesses que les tests isolés peuvent manquer.
En conservant les données d’évaluation privées et hors ligne, les plates-formes de concurrence empêchent les fuites au niveau structurel. Ils créent un environnement de confiance où les résultats sont à la fois comparables et crédibles. La transparence joue également un rôle. Les participants partagent souvent le code, les journaux et les modes de défaillance, créant une culture d’ouverture qui manque à la recherche traditionnelle.
Conception pour une résistance aux fuites
Les compétitions offrent également des plans architecturaux pour l’évaluation. Les stratégies comprennent:
- Vérité du sol potentiel: Les étiquettes sont collectées après les soumissions du modèle. Par exemple, les tâches d’annotation des protéines ont utilisé les futurs résultats de laboratoire comme cibles d’évaluation.
- Nouvelle génération de tâches: Des défis tels que l’Olympiade mathématique de l’IA utilisent des problèmes frais et conçus par l’homme pour s’assurer que les modèles n’ont pas vu de données similaires.
- Tests post-diadline: Les soumissions sont gelées et testées plus tard sur des données invisibles, en évitant toute chance d’exposition préalable.
Ces méthodes sont plus que intelligentes – elles sont nécessaires. À mesure que les modèles s’améliorent, les normes d’évaluation doivent également devenir plus robustes et résistantes à l’exploitation.
D’autres approches nouvelles gagnent du terrain. LiveBench met à jour en permanence ses données de test à partir de publications récentes. Des plates-formes communautaires comme LM Arena Crowdsource Comparaisons en tête-à-tête en utilisant des invites en temps réel. Ces formats sont innovants et utiles, mais ils comportent leurs propres risques. Les contributions du public peuvent toujours conduire à la contamination et le jugement de la foule peut s’inscrire de manière subtile. Les compétitions, en revanche, permettent un contrôle organisé sans sacrifier l’échelle.
Le papier se termine par un appel à l’action. Pour maintenir la crédibilité dans la recherche Genai, le domaine doit:
- Prioriter les références statiques en faveur de pipelines d’évaluation renouvelables et renouvelables.
- Traitez les compétitions d’IA comme une infrastructure centrale pour mesurer les progrès du modèle, pas comme des activités secondaires.
- Appliquer des protocoles anti-modification développé dans les compétitions en tant que pratique standard dans la conception d’évaluation.
- Embrasser les méta-analyses des résultats de la concurrence pour découvrir de larges informations entre les tâches et les modèles.
Ces changements aligneraient les incitations dans les communautés universitaires, industrielles et open source. Plus important encore, ils rétabliraient la confiance dans les affirmations empiriques concernant la performance du modèle.
