Quellen und Methodik

Public AIpediya Rating verwendet immer BALANCED. Kontexte beschreiben vergleichbare Aufgaben; es gibt keine universelle Rangfolge über Modelltypen hinweg. Qualitäts-zuerst- und Economy-Profile bleiben interne Engine-Optionen für zukünftige Sammlungen.

Der kanonische Master speichert das exakte Modell, die Konfiguration, die Aufgabe, den Läufer, das numerische Ergebnis, das Datum und die Quelle. Unabhängige externe Ergebnisse und Arena-Präferenzen sind getrennt von schwächeren Entwicklerberichten. Nichtöffentliche Forschung, Zusammenstellungen, ersetzte Duplikate und widerrufene Berechtigungen sind ausgeschlossen. AIpediya aggregiert externe Ergebnisse und betreibt kein Evaluierungslabor.

Der ursprüngliche gefrorene Fähigkeitskorb, die Gegenstandskoeffizienten und die Skala bleiben unverändert. Neue genehmigte Gegenstände erfordern mindestens fünf exakte eingefrorene Theta-Anker und eine nur anhängende Gratbindung. Ein ungebundener Gegenstand kann im Master gespeichert werden, aber nie still bewertet werden. Arena Bradley-Terry-Bewertungen und Agent IPS sind separate Metriken mit separaten eingefrorenen Transformationen.

Familienobergrenze ist 1.5 effektive Beobachtungen; Epochenkappe 6, andere Läuferkappe 2. Arena behält ihre Obergrenze von einer effektiven Beobachtung und 25% Präzision. Entwickler-Evidenz ist schwächer und hat eine Genauigkeitsanteilsobergrenze von 20%. Die Engine wählt eine exakte Konfiguration anhand der Zielfamilienabdeckung und dann nach Aufwand. Verschiedene Bemühungen werden nie zusammengelegt; ein nicht näher bezeichneter Einsatz wird nicht abgeleitet.

Arena stammt ausschließlich aus dem offiziellen lmarena-ai/Bestenlisten-Datensatz auf Hugging Face, mit CC BY 4.0 Attribution. Roh- und stilgesteuerte Versionen sowie Aggregate/Subsignale werden nicht doppelt gezählt. LiveBench verwendet offiziell veröffentlichte Aufgabenergebnisse mit den offiziellen Release-/Kategorie-Definitionen. Es handelt sich um eine separate Zielfamilie und einen unabhängigen externen Runner. Nur Teilaufgaben werden importiert; Kategorien- und globale Durchschnitte sind ausgeschlossen.

Standardpreise für gehostete API verwenden die vorhandenen eingefrorenen Anker und vergleichbare Einheiten. Ein bestätigtes dauerhaft frei gehostetes API kann C=1haben. Lokale Gewichte ohne verifizierte vergleichbare TCO haben wirtschaftlich N/A/selbstgehostet. Ressourcendefinitionen hängen vom Kontext ab: LLM Token-Kontext, Einbettungsgrenze, TTS Eingangsgrenze, STT Audiodauer, Bildauflösung und Videodauer. Unbestätigte anwendbare Ressourcen fehlen weiterhin. Es werden keine neuen beliebigen Ressourcenanker erstellt, um die Werte zu erhöhen.

Jede Komponente ist anwendbar-bekannt, anwendbar-fehlend oder nicht anwendbar. N/A hat keine Schätzung und null Gewicht und wird aus dem Deckungsnenner entfernt. Verbleibende BALANCED Gewichte werden aus 78/16/6normalisiert. Fehlende antragbare Komponenten behalten ihre ursprüngliche neutrale Schätzung und große Unsicherheit bei. N/A und unbekannt sind nicht austauschbar.

Ein qualifiziertes Gesamtmodell benötigt zwei nicht-Arena-Familien in zwei Domänen. Ein Kontext benötigt ausreichende Modelle, Familien und externe Läufer. Spezialisierte Kontexte erfordern zusätzlich validierte Unterscheidungsmerkmale. Das Speichern neuer Ergebnisse macht einen Kontext selbst nicht bereit. Nicht genehmigte SWE-Bench/CODE -Forschung bleibt ausgeschlossen.

Die angezeigte Bewertung ist das zentrale zusammengesetzte 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk über relevanten Komponenten. Jeder Schnappschuss speichert seine Maske, exakte Komponenten, Grund-/Effektivgewichte und explizite Anpassung, derzeit null. Laufzeit überprüft die Reproduktion. Das zehnte Perzentil ist eine separate konservative Konfidenz-/Frontier-Schätzung und ersetzt niemals den angezeigten Wert.

Präzision beschreibt die statistische Unsicherheit nach Fehlanpassungen und frühen Evidenzanpassungen. Support zählt unabhängige externe Läuferpfade: A mindestens drei, B zwei, C weniger. Entwicklerberichte werden niemals unabhängige Pfade. Abdeckung ist der Anteil relevanter Qualität, anwendbarer Preis/Ressource, exakter Konfiguration, externer Läuferdiversität und -breite. N/A ist ausgeschlossen; fehlende Evidenz beeinflusst das Vertrauen und das Sternchen.

Die Frische nutzt die Schnittgrenze für Snapshot-Daten, nicht die Anfrage-Uhr. Preis-/API Verfügbarkeitsschwellenwerte sind 30/60 Tage, Ressourcen 180/365, Konfiguration 90/180. Abgelaufene erforderliche Angaben werden unbekannt. Ein Benchmark wird wegen Ungültigkeit oder widerrufener Erlaubnis ausgeschlossen, nicht nur wegen des Alters. Das Alter des Snapshots ist eine separate Warnung.

Der exakte öffentliche Rang ist auf qualifizierte Modelle innerhalb eines kompatiblen Kontexts beschränkt. Eine Abdeckung unter 20% unterdrückt den exakten Rang und kennzeichnet den Wert als basierend auf begrenzten Daten. Conservative Frontier verwendet die eingefrorenen sinnvollen Gap-Delta-Theta- 0.28 und die ursprünglichen Zulassungsgates. Katalognumerische Sortierung erfindet keine Cross-Context-#N.

Builds verwenden 6,000 deterministische Monte-Carlo-Zeichnungen oder 12,000 in der bestehenden Schwellenzone. Stabile Datensatz-IDs definieren Seeds. Wissenschaftliche Berechnungen laufen offline nach kanonischen Masteränderungen; Laufzeit-Lesungen werden nur JSON validiert. Historische Schnappschüsse und ursprüngliche Kalibrierungsbytes werden erhalten.

Kein Sternchen bedeutet, dass die relevanten Eingaben und Bestätigungsanforderungen erfüllt sind. Teilweise * bedeutet, dass die Bestätigung unvollständig ist; Geschätzte * bedeutet, dass ein erforderlicher Input unbekannt ist oder die Qualität ein Priorwert bleibt. Unbekannt bedeutet nicht schlecht. Einzelfaktor-Qualität und Pro-Token-Ökonomie können nicht jede reale Aufgabe repräsentieren; Präferenzergebnisse werden nicht zu objektiven Benchmarks.