Sources et méthodologie

Public AIpediya Rating utilise toujours BALANCED. Les contextes décrivent des tâches comparables ; il n’existe pas de classement universel entre types de modèles. Les profils qualitat-premier et économiques restent des options internes du moteur pour les collections futures.

Le maître canonique stocke le modèle exact, la configuration, la tâche, le coureur, le résultat numérique, la date et la source. Les résultats externes indépendants et les préférences Arena sont distincts des rapports développeurs plus faibles. La recherche non publique, les composites, les doublons remplaçats et les autorisations révoquées sont exclus. AIpediya agrège les résultats externes et ne gère pas de laboratoire d’évaluation.

Le panier de capacités congelé d’origine, les coefficients d’objets et l’échelle restent inchangés. Les nouveaux éléments approuvés nécessitent au moins cinq ancrages thêta congelés exacts et une liaison de crête uniquement annexe. Un élément non relié peut être stocké en maître mais jamais noté silencieusement. Les évaluations Arena Bradley-Terry et Agent IPS sont des métriques distinctes avec des transformations figées distinctes.

Le cap familial est 1.5 observations effectives ; Epoch cap 6, autre cap de runner 2. Arena conserve son plafond d’une observation effective et 25% de précision. Les preuves du développeur sont plus faibles et comportent un plafond de 20% de précision. Le moteur choisit une configuration exacte selon la couverture de la famille objective, puis l’effort. Différents efforts ne sont jamais regroupés ; un effort non spécifié n’est pas déduit.

Arena provient uniquement du jeu de données officiel lmarena-ai/classboard-sur Hugging Face, avec CC BY 4.0 attribution. Les versions brutes et contrôlées par le style ainsi que les agrégés/sous-signaux ne sont pas comptés deux fois. LiveBench utilise les résultats officiels des tâches publiées, avec les définitions officielles de la version/catégorie. C’est une famille d’objectifs distincte et un runner externe indépendant. Seules les sous-tâches sont importées ; les moyennes de catégories et globales sont exclues.

Les prix standards de API hébergés utilisent les ancrages congelés existants et les unités comparables. Un API hébergé permanent permanent confirmé peut avoir C=1. Les poids locaux sans TCO comparables vérifiés ont l’économie N/A/auto-hébergé. Les définitions des ressources dépendent du contexte : contexte LLM jeton, limite d’entrée d’incorporation, limite d’entrée TTS entrée, durée STT audio, résolution d’image et durée vidéo. Les ressources applicables non confirmées restent manquantes. Aucun nouvel ancrage de ressources arbitraire n’est créé pour augmenter les scores.

Chaque composante est applicable — connue, applicable — manquante ou non applicable. N/A n’a pas d’estimation et de poids nul, et est retirée du dénominateur de couverture. Les poids BALANCED restants sont normalisés à partir de 78/16/6. Les composants applicables manquants conservent leur estimation neutre d’origine et leur large incertitude. N/A et inconnu ne sont pas interchangeables.

Un modèle global qualifié nécessite deux familles non-Arena dans deux domaines. Un contexte nécessite suffisamment de modèles, de familles et de coureurs externes. Les contextes spécialisés nécessitent en outre une distinction validée. Stocker de nouveaux résultats ne rend pas en soi un contexte prêt. Les recherches non approuvées SWE- laboratoire /CODE restent exclues.

Affiché est le 100 × composite central Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk sur les composants applicables. Chaque instantané stocke son masque, ses composants exacts, ses poids de base/effectif et son ajustement explicite, actuellement nul. L’exécution vérifie la reproduction. Le dixième percentile est une estimation conservative distincte de confiance/frontière et ne remplace jamais le score affiché.

La précision décrit l’incertitude statistique après ajustements d’inadaptations et de preuve précoce. Le support compte les chemins de coureurs externes indépendants : A au moins trois, B deux, C moins. Les rapports de développeurs ne deviennent jamais des chemins indépendants. La couverture correspond à la fraction de qualité pertinente, prix/ressource applicable, configuration exacte, diversité et largeur des coureurs externes. N/A est exclu ; l’absence de preuves affecte la confiance et l’astérisque.

La fraîcheur utilise la coupure des données instantanées, pas l’horloge de la requête. Les seuils de disponibilité prix/API sont 30/60 jours, 180/365ressources, configuration 90/180. Les faits requis expirés deviennent inconnus. Un benchmark est exclu pour invalidation ou autorisation révoquée, pas simplement pour l’âge. L’âge de l’instantané est un avertissement distinct.

Le classement public exact est limité aux modèles qualifiés dans un contexte compatible. Une couverture inférieure à 20% supprime le rang exact et étiquette le score comme basé sur des données limitées. La frontière conservatrice utilise le gap significatif gelé delta theta 0.28 et les portes d’éligibilité originales. Le tri numérique par catalogue n’invente pas de #N intercontextuel.

Les builds utilisent 6,000 dessins Monte Carlo déterministes, ou 12,000 dans la zone seuil existante. Les identifiants d’enregistrement stables définissent les graines. Le calcul scientifique s’exécute hors ligne après les changements canoniques du maître ; les lectures à l’exécution validées JSON uniquement. Les instantanés historiques et les octets de calibration originaux sont conservés.

Pas d’astérisque signifie que les entrées pertinentes et les exigences de corroboration sont remplies. Partial * signifie que la corroboration est incomplète ; Estimé * signifie qu’une entrée requise est inconnue ou que la qualité reste un prior. Inconnu ne signifie pas mauvaise. La qualité à facteur unique et l’économie par jeton ne peuvent pas représenter toutes les tâches réelles ; les résultats de préférence ne deviennent pas des références objectives.