Джерела та методика

Публічний рейтинг AIpediya завжди використовує BALANCED. Контексти описують порівнянні завдання; універсального ранжування за типами моделей немає. Профілі якості та економії залишаються внутрішніми варіантами для майбутніх колекцій.

Канонічний майстер зберігає точну модель, конфігурацію, завдання, виконання, числовий результат, дату та джерело. Незалежні зовнішні результати та переваги Arena відокремлені від слабших звітів розробників. Публічні дослідження, композити, замінені дублікати та відкликані дозволи виключені. AIpediya агрегує зовнішні результати і не керує лабораторією оцінки.

Оригінальний заморожений кошик можливостей, коефіцієнти предметів і масштаб залишаються незмінними. Нові затверджені предмети вимагають щонайменше п'яти точних заморожених тета-якорів і кріплення лише додаткових гребень. Незв'язаний предмет може зберігатися в головній системі, але ніколи безшумно оцінюватися. Рейтинги Арени Бредлі-Террі та IPS агента — це окремі метрики з окремими замороженими трансформаціями.

Обмеження сімейства — це 1.5 ефективні спостереження; Епохальне обмеження 6, інше обмеження бігунів 2. Arena зберігає обмеження в одне ефективне спостереження і 25% точності. Докази розробника слабші і мають обмеження частки точності 20%. Рушій обирає одну точну конфігурацію за об'єктивним покриттям сімей, а потім зусиллями. Різні зусилля ніколи не об'єднуються; невизначений зусилля не виводиться.

Arena походить лише з офіційного набору даних lmarena-ai/таблиці лідерів на Hugging Face, з CC BY 4.0 атрибуцій. Сирі та стилізовані версії, а також агрегати/підсигнали не враховуються подвійно. LiveBench використовує офіційно опубліковані результати завдань з офіційними визначеннями релізів/категорій. Це окреме сімейство цілей і незалежний зовнішній виконавець. Імпортуються лише підзавдання; середні значення категорій і глобальних виключені.

Стандартні ціни хостингу API використовують існуючі заморожені анкери та порівнянні одиниці. Підтверджений постійний вільний хостинг API може мати C=1. Локальні ваги без перевірених порівнянних TCO мають економіку N/A/саморозміщені. Визначення ресурсів залежать від контексту: LLM контекст токена, ліміт введення вкладення, TTS ліміт входу, STT тривалість аудіо, роздільна здатність зображення та тривалість відео. Непідтверджені застосовні ресурси залишаються відсутніми. Нові довільні анкіри ресурсів не створюються для підвищення балів.

Кожен компонент є застосовним-відомим, застосовним-відсутнім або незастосовним. N/A не має оцінки і нульової ваги, і видаляється з знаменника покриття. Залишкові BALANCED ваги нормалізуються з 78/16/6. Відсутні відповідні компоненти зберігають свою початкову нейтральну оцінку та широку невизначеність. N/A і невідомі не є взаємозамінними.

Кваліфікована загальна модель потребує двох не-Арена-сімейств у двох доменах. Контекст потребує достатніх моделей, сімейств і зовнішніх бігунів. Спеціалізовані контексти додатково потребують перевіреної відмінності. Зберігання нових результатів саме по собі не робить контекст готовим. Незатверджені SWE-bench/CODE дослідження залишаються виключеними.

Відображений рейтинг є центральним композитним 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk над відповідними компонентами. Кожен знімок зберігає маску, точні компоненти, базові/ефективні ваги та явне коригування, наразі нуль. Виконання перевіряє відтворення. Десятий процентиль — це окрема консервативна оцінка довіри/межі і ніколи не замінює відображений бал.

Точність описує статистичну невизначеність після невідповідності та коригування ранніх доказів. Підтримка підраховує незалежні зовнішні шляхи бігу: A щонайменше три, B два, C менше. Звіти розробників ніколи не стають незалежними шляхами. Покриття — це частка релевантної якості, відповідної ціни/ресурсу, точної конфігурації, різноманітності та широти зовнішніх бігунів. N/A виключається; відсутні докази впливають на довіру та зірочку.

Свіжість використовує поріг даних знімків, а не годинник запиту. Поріг доступності ціниAPI — 30/60 днів, ресурс 180/365, конфігурація 90/180. Закінчені обов'язкові факти стають невідомими. Бенчмарк виключається для анулювання або відкликання дозволу, а не просто для віку. Вік знімка — це окреме попередження.

Точний публічний рейтинг обмежений кваліфікованими моделями в одному сумісному контексті. Покриття нижче 20% пригнічує точний ранг і позначає оцінку як таку, що базується на обмежених даних. Консервативний фронтир використовує заморожені значущі прогалини дельта тета 0.28 та оригінальні ворота відповідності. Числове сортування каталогу не винаходить крос-контекстний #N.

Збірки використовують 6,000 детерміновані монтекарло-малювання, або 12,000 у існуючій пороговій зоні. Стабільні ідентифікатори записів визначають насіння. Наукові обчислення виконуються офлайн після канонічних змін майстер-модуля; читання під час виконання перевіряються лише JSON . Зберігаються історичні знімки та оригінальні калібрувальні байти.

Відсутність зірочки означає, що відповідні вимоги до вхідних даних і підтвердження виконані. Часткове * означає, що підтвердження неповне; Оцінене * означає, що необхідний вхід невідомий або якість залишається апріорним. Невідоме не означає погане. Однофакторна якість і економіка на один токен не можуть представляти кожне реальне завдання; результати преференцій не стають об'єктивними еталонами.