Источники и методика

Публичный AIpediya Rating всегда использует BALANCED. Контексты задают сравнимые задачи; общего места среди разных типов моделей нет. Остальные профили сохранены внутри движка для будущих подборок.

Canonical master хранит точную модель, конфигурацию, задачу, раннер, результат, дату и источник. Независимые внешние результаты и предпочтения Arena отделены от более слабых отчётов разработчика. Непубличные исследования, составные индексы, заменённые дубли и отозванные разрешения исключены. AIpediya агрегирует внешние результаты и не является лабораторией тестирования.

Исходная корзина качества, коэффициенты и шкала неизменны. Новый разрешённый тест требует не менее пяти точных якорей замороженной theta и append-only ridge-привязки. Непривязанный тест может храниться в master, но не включается в расчёт незаметно. Bradley–Terry rating Arena и Agent IPS — разные метрики с отдельными замороженными преобразованиями.

Семейство даёт не более 1.5 эффективного наблюдения; Epoch — 6, другой раннер — 2. Arena сохраняет cap одного эффективного наблюдения и 25% точности. Developer evidence слабее и имеет cap доли точности 20%. Движок выбирает одну точную конфигурацию по покрытию objective-семейств, затем effort. Разные effort не усредняются; неизвестный effort не угадывается.

Arena поступает только из официального lmarena-ai/leaderboard-dataset на Hugging Face с атрибуцией CC BY 4.0. Raw/style-controlled варианты и aggregate/subsignals не считаются дважды. LiveBench использует официально опубликованные результаты задач и определения выпуска/категорий. Это отдельное objective-семейство и независимый внешний раннер. Импортируются только subtasks; средние категорий и общий индекс исключены.

Стандартные hosted API-тарифы используют прежние якоря и сравнимые единицы. Подтверждённый постоянный бесплатный API может иметь C=1. Локальные веса без подтверждённого сравнимого TCO имеют economics N/A/self-hosted. Ресурс зависит от контекста: токеновый контекст LLM, входной лимит embeddings/TTS, длительность аудио STT, разрешение изображения или длительность видео. Неподтверждённый применимый ресурс остаётся missing. Новые произвольные якоря ради повышения балла не создаются.

Каждый компонент имеет состояние applicable-known, applicable-missing или not applicable. У N/A нет численного значения, его вес равен нулю, он исключён из знаменателя coverage. Остальные веса BALANCED нормируются из 78/16/6. Неизвестные применимые компоненты сохраняют прежнюю нейтральную оценку и широкую неопределённость. N/A и unknown — разные состояния.

Подтверждённой Overall-модели нужны два не-Arena семейства в двух доменах. Контексту нужны достаточное число моделей, семейства и внешние раннеры. Специализированные контексты дополнительно требуют подтверждённой различимости. Запись новых результатов сама по себе не делает контекст Ready. Неразрешённые SWE-bench/CODE исследования остаются исключёнными.

Отображаемый Rating — центральный composite 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk по применимым компонентам. Snapshot хранит mask, точные компоненты, исходные/эффективные веса и явную adjustment, сейчас нулевую. Runtime проверяет воспроизводимость. Десятый перцентиль — отдельная осторожная оценка доверия/frontier; он не заменяет главный балл.

Precision описывает статистическую неопределённость после misfit и поправки на ранние данные. Support считает независимые внешние пути: A — не менее трёх, B — два, C — меньше. Отчёты разработчика не становятся независимыми путями. Coverage — доля значимых данных о качестве, применимых цене/ресурсе, точной конфигурации, внешних раннерах и широте. N/A исключён; пропуски отражаются в доверии и звёздочке.

Свежесть считается относительно data cutoff снимка, а не часов запроса. Порог цены/доступности API — 30/60 дней, ресурса — 180/365, конфигурации — 90/180. Истёкшие обязательные факты становятся неизвестными. Тест исключается при инвалидации или отзыве разрешения, а не только из-за возраста. Возраст самого снимка — отдельное предупреждение.

Точное публичное место доступно только прошедшим gates моделям внутри совместимого контекста. Coverage ниже 20% скрывает точное место и сопровождает балл подписью об ограниченных данных. Осторожный frontier использует прежний значимый разрыв delta theta 0.28 и gates. Численная сортировка каталога не создаёт общего #N между контекстами.

Сборка использует 6 000 детерминированных Monte Carlo-выборок либо 12 000 в прежней пограничной зоне. Seed зависит от стабильного Record ID. Расчёт работает offline после изменения canonical master; runtime читает только проверенный JSON. Исторические snapshots и исходные байты калибровки сохраняются.

Без звёздочки — выполнены требования к применимым данным и подтверждению. Partial * — неполное дополнительное подтверждение; Estimated * — неизвестный обязательный факт или prior качества. Неизвестное не означает плохое. Однофакторное качество и цена за токен не охватывают каждую задачу; предпочтения не становятся objective-тестами.