Źródła i metodologia

Publiczna ocena AIpediya zawsze używa BALANCED. Konteksty opisują porównywalne zadania; nie ma uniwersalnego rankingu dla typów modeli. Profile stawiające na jakość i ekonomię pozostają wewnętrznymi opcjami silnika dla przyszłych kolekcji.

Kanoniczny master przechowuje dokładny model, konfigurację, zadanie, runner, wynik numeryczny, datę i źródło. Niezależne wyniki zewnętrzne i preferencje Areny są oddzielne od słabszych raportów deweloperskich. Niepubliczne badania, kompozyty, zastąpione duplikaty i cofnięte uprawnienia są wyłączone. AIpediya agreguje wyniki zewnętrzne i nie prowadzi laboratorium ewaluacyjnego.

Oryginalny koszyk zamrożonej możliwości, współczynniki przedmiotów i skala pozostają bez zmian. Nowo zatwierdzone przedmioty wymagają co najmniej pięciu dokładnych kotwic zamrożonych theta oraz przypisywania tylko do oprawy na grzbiecie. Niezwiązany przedmiot może być przechowywany w masterze, ale nigdy nie być cicho punktowany. Oceny Arena Bradley-Terry i Agent IPS to oddzielne metryki z oddzielnymi zamrożonymi transformacjami.

Limit rodziny to 1.5 efektywne obserwacje; Epocha cap 6, inne runner cap 2. Arena zachowuje limit jednej efektywnej obserwacji i 25% precyzji. Dowody deweloperów są słabsze i mają limit udziałów 20% precyzji. Silnik wybiera jedną dokładną konfigurację na podstawie obiektywnego pokrycia rodziny, a następnie wysiłku. Różne wysiłki nigdy nie są łączone; nie jest wnioskowane nieokreślone wysiłki.

Arena pochodzi wyłącznie z oficjalnego zbioru danych lmarena-ai/leaderboard-dataset na Hugging Face, z CC BY 4.0 przypisaniem. Surowe i sterowane style wersje oraz agregowane/subsygnały nie są podwójnie liczone. LiveBench korzysta z oficjalnie opublikowanych wyników zadań wraz z oficjalnymi definicjami wydań/kategorii. Jest to odrębna rodzina celów i niezależny zewnętrzny runner. Importowane są tylko podzadania; średnie kategorii i globalne są wyłączone.

Standardowe ceny API hostowanych wykorzystują istniejące zamrożone kotwicy i porównywalne jednostki. Potwierdzony stały darmowy hostowany API może mieć C=1. Lokalne wagi bez zweryfikowanych porównywalnych TCO mają ekonomię N/A/self-hostowane. Definicje zasobów zależą od kontekstu: LLM kontekstu tokenów, limitu wejścia osadzenia, limitu wejścia TTS wejścia, STT długości dźwięku, rozdzielczości obrazu i czasu trwania wideo. Niepotwierdzone, dostępne zasoby pozostają nieobecne. Nie są tworzone nowe dowolne kotwicy zasobów, które podnoszą wyniki.

Każdy składnik jest znany, brakujący lub niestosowalny. N/A nie ma szacunku i nie ma wagi zerowej, i jest usuwany z mianownika pokrycia. Pozostałe BALANCED wagi są normalizowane z 78/16/6. Brakujące stosowalne składniki zachowują swój pierwotny neutralny oszacowanie i szeroką niepewność. N/A i nieznane nie są wymienne.

Kwalifikowany model Overall wymaga dwóch rodzin nie-Arena w dwóch dziedzinach. Kontekst wymaga wystarczającej liczby modeli, rodzin i zewnętrznych runnerów. Specjalistyczne konteksty wymagają dodatkowo zweryfikowanej odrębności. Przechowywanie nowych wyników samo w sobie nie czyni kontekstu gotowym. Badania niezatwierdzone SWE-bench/CODE pozostają wyłączone.

Wyświetlana ocena to centralny kompozyt 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk nad odpowiednimi komponentami. Każdy migawka przechowuje swoją maskę, dokładne komponenty, wagi bazowe/efektywne oraz wyraźną korektę, obecnie zerową. Czas wykonania weryfikuje reprodukcję. Dziesiąty percentyl to osobna konserwatywna ocena pewności/granicy i nigdy nie zastępuje wyświetlanego wyniku.

Precyzja opisuje niepewność statystyczną po korektach niedopasowania i wczesnych dowodów. Wsparcie liczy niezależne zewnętrzne ścieżki biegaczy: A co najmniej trzy, B dwa, C mniej. Raporty deweloperów nigdy nie stają się niezależnymi ścieżkami. Pokrycie to ułamek odpowiedniej jakości, odpowiedniej ceny do zasobów, dokładnej konfiguracji, różnorodności i szerokości zewnętrznych biegaczy. Brak dowodów jest wyłączony; brak dowodów wpływa na pewność i gwiazdkę.

Świeżość wykorzystuje próg danych migawkowych, a nie zegar żądań. Progi dostępności cena/API to 30/60 dni, 180/365zasobów, konfiguracja 90/180. Wymagane fakty wygasłości stają się nieznane. Benchmark jest wyłączony z przypadku unieważnienia lub cofnięcia uprawnień, nie tylko wieku. Wiek snapshotu to osobne ostrzeżenie.

Dokładna publiczna pozycja jest ograniczona do modeli kwalifikowanych w jednym kompatybilnym kontekście. Pokrycie poniżej 20% tłumi dokładną pozycję i oznacza wynik jako oparty na ograniczonych danych. Conservative Frontier używa zamrożonej znaczącej luki, delta theta 0.28 oraz oryginalnych bramek kwalifikacji. Numeryczne sortowanie katalogowe nie tworzy #N międzykontekstowego.

Kompilacje wykorzystują 6,000 deterministyczne rysowania Monte Carlo, czyli 12000 w istniejącej strefie progowej. Stable Record ID definiują zalążki. Obliczenia naukowe są offline po kanonicznych zmianach mastera; odczyty w czasie wykonywania są walidowane tylko JSON . Historyczne migawki i oryginalne bajty kalibracyjne są zachowane.

Brak gwiazdki oznacza, że spełnione są odpowiednie dane wejściowe i wymagania potwierdzające. Częściowe * oznacza, że potwierdzenie jest niepełne; Szacowane * oznacza, że wymagane dane wejściowe są nieznane lub jakość pozostaje na poziomie wcześniejszym. Nieznane nie oznacza złe. Jednoczynnikowa jakość i ekonomia pojedynczego tokena nie mogą odzwierciedlać każdego rzeczywistego zadania; wyniki preferencji nie stają się obiektywnymi punktami odniesienia.