Понятная оценка. Открытая методика.
Источники и методика
AIpediya Rating объединяет качество модели, стоимость и доступные ресурсы в одну оценку. Рядом с числом мы объясняем, насколько полно оно подтверждено.
Как читать шкалу
От 0 до 100%: чем выше число, тем сильнее сочетание качества, ценовой эффективности и применимых ресурсов. Это сводная оценка, а не процент правильных ответов в одном тесте.
Сравнивайте модели внутри одного контекста рейтинга. Место в рейтинге показываем только при достаточных данных.
Что означает звёздочка
Маленькая * рядом с числом означает неполные, оценочные или ограниченные данные. Она относится к надёжности оценки: откройте подсказку, чтобы увидеть, что учтено и чего не хватает.
Подтверждён
Без звёздочки: ключевые данные подтверждены и оценка проходит требования проверки.
Частично подтверждён
Часть данных подтверждена; в оценке остаются пробелы.
Оценён по неполным данным
Данных мало; используются широкие базовые оценки.
Неизвестное не означает плохое. При нехватке прямых данных используем нейтральную базовую оценку с широким интервалом неопределённости. Главное число остаётся центральной оценкой; осторожная оценка используется для доверия и сравнения лидеров.
Три составляющие одного числа
Качество
Разрешённые результаты тестов с учётом точной версии модели и условий проверки.
Цена
Сопоставимая стандартная стоимость API. Бесплатный API и локальный запуск учитываются отдельно.
Ресурсы
Подтверждённый контекст или соответствующий ресурс для этого типа модели.
Локальный запуск; фактическая стоимость зависит от оборудования и электроэнергии
Подробности и источники
Здесь — правила расчёта, ограничения и происхождение данных. Для любой модели можно открыть полный аудит из её карточки.
Один публичный рейтинг
Публичный AIpediya Rating всегда использует BALANCED. Контексты задают сравнимые задачи; общего места среди разных типов моделей нет. Остальные профили сохранены внутри движка для будущих подборок.
Разрешённые внешние доказательства
Canonical master хранит точную модель, конфигурацию, задачу, раннер, результат, дату и источник. Независимые внешние результаты и предпочтения Arena отделены от более слабых отчётов разработчика. Непубличные исследования, составные индексы, заменённые дубли и отозванные разрешения исключены. AIpediya агрегирует внешние результаты и не является лабораторией тестирования.
Замороженная шкала качества
Исходная корзина качества, коэффициенты и шкала неизменны. Новый разрешённый тест требует не менее пяти точных якорей замороженной theta и append-only ridge-привязки. Непривязанный тест может храниться в master, но не включается в расчёт незаметно. Bradley–Terry rating Arena и Agent IPS — разные метрики с отдельными замороженными преобразованиями.
Caps и точные конфигурации
Семейство даёт не более 1.5 эффективного наблюдения; Epoch — 6, другой раннер — 2. Arena сохраняет cap одного эффективного наблюдения и 25% точности. Developer evidence слабее и имеет cap доли точности 20%. Движок выбирает одну точную конфигурацию по покрытию objective-семейств, затем effort. Разные effort не усредняются; неизвестный effort не угадывается.
Arena и LiveBench
Arena поступает только из официального lmarena-ai/leaderboard-dataset на Hugging Face с атрибуцией CC BY 4.0. Raw/style-controlled варианты и aggregate/subsignals не считаются дважды. LiveBench использует официально опубликованные результаты задач и определения выпуска/категорий. Это отдельное objective-семейство и независимый внешний раннер. Импортируются только subtasks; средние категорий и общий индекс исключены.
Цена и применимые ресурсы
Стандартные hosted API-тарифы используют прежние якоря и сравнимые единицы. Подтверждённый постоянный бесплатный API может иметь C=1. Локальные веса без подтверждённого сравнимого TCO имеют economics N/A/self-hosted. Ресурс зависит от контекста: токеновый контекст LLM, входной лимит embeddings/TTS, длительность аудио STT, разрешение изображения или длительность видео. Неподтверждённый применимый ресурс остаётся missing. Новые произвольные якоря ради повышения балла не создаются.
Применимость и веса
Каждый компонент имеет состояние applicable-known, applicable-missing или not applicable. У N/A нет численного значения, его вес равен нулю, он исключён из знаменателя coverage. Остальные веса BALANCED нормируются из 78/16/6. Неизвестные применимые компоненты сохраняют прежнюю нейтральную оценку и широкую неопределённость. N/A и unknown — разные состояния.
Gates доказательств
Подтверждённой Overall-модели нужны два не-Arena семейства в двух доменах. Контексту нужны достаточное число моделей, семейства и внешние раннеры. Специализированные контексты дополнительно требуют подтверждённой различимости. Запись новых результатов сама по себе не делает контекст Ready. Неразрешённые SWE-bench/CODE исследования остаются исключёнными.
Отображаемый балл и неопределённость
Отображаемый Rating — центральный composite 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk по применимым компонентам. Snapshot хранит mask, точные компоненты, исходные/эффективные веса и явную adjustment, сейчас нулевую. Runtime проверяет воспроизводимость. Десятый перцентиль — отдельная осторожная оценка доверия/frontier; он не заменяет главный балл.
Precision, Support и покрытие
Precision описывает статистическую неопределённость после misfit и поправки на ранние данные. Support считает независимые внешние пути: A — не менее трёх, B — два, C — меньше. Отчёты разработчика не становятся независимыми путями. Coverage — доля значимых данных о качестве, применимых цене/ресурсе, точной конфигурации, внешних раннерах и широте. N/A исключён; пропуски отражаются в доверии и звёздочке.
Свежесть фактов
Свежесть считается относительно data cutoff снимка, а не часов запроса. Порог цены/доступности API — 30/60 дней, ресурса — 180/365, конфигурации — 90/180. Истёкшие обязательные факты становятся неизвестными. Тест исключается при инвалидации или отзыве разрешения, а не только из-за возраста. Возраст самого снимка — отдельное предупреждение.
Совместимые места и frontier
Точное публичное место доступно только прошедшим gates моделям внутри совместимого контекста. Coverage ниже 20% скрывает точное место и сопровождает балл подписью об ограниченных данных. Осторожный frontier использует прежний значимый разрыв delta theta 0.28 и gates. Численная сортировка каталога не создаёт общего #N между контекстами.
Воспроизводимость
Сборка использует 6 000 детерминированных Monte Carlo-выборок либо 12 000 в прежней пограничной зоне. Seed зависит от стабильного Record ID. Расчёт работает offline после изменения canonical master; runtime читает только проверенный JSON. Исторические snapshots и исходные байты калибровки сохраняются.
Звёздочка и ограничения
Без звёздочки — выполнены требования к применимым данным и подтверждению. Partial * — неполное дополнительное подтверждение; Estimated * — неизвестный обязательный факт или prior качества. Неизвестное не означает плохое. Однофакторное качество и цена за токен не охватывают каждую задачу; предпочтения не становятся objective-тестами.
Как проверяется каталог
AIpediya — редакционный справочный каталог AI-моделей и AI-инструментов. Модели и инструменты — отдельные каталоги со своей нумерацией, фильтрами и карточками. Это отобранная выборка, а не полный реестр всех существующих моделей.
Источники и даты проверки
Каждая запись основана на источниках: прежде всего официальная документация, анонс, карточка модели или страница цен разработчика; авторитетные вторичные источники — только если официального нет. Каждая карточка ссылается на источник и показывает, когда редактор проверял его в последний раз. Дата проверки — это не дата выпуска и не тест, проведённый AIpediya.
Что публикуется
Для публикации нужны проверенные доказательства существования и идентичности продукта. Нерешённые вопросы существования или идентичности оставляют кандидата во внутренней очереди проверки. Реальный продукт может оставаться публичным с неизвестными ценами, датами или происхождением, явно отделёнными от подтверждённых данных. Снятие записи с публикации сохраняет её историю.
Даты выпуска и номера каталога
Точная дата выпуска показывается, только если её подтверждает источник. Иначе показывается самая ранняя надёжная дата публичного существования со знаком ≈ и точностью до месяца или дня. Неизвестные даты остаются пустыми, а такие записи идут последними в хронологии. Номера каталога следуют проверенным датам выпуска от старых к новым; выпуски одного дня упорядочены по названию.
Цены
Цены — опубликованные поставщиком прейскурантные цены в долларах США с указанием единицы: например, за 1 млн входных токенов, за изображение, за секунду видео или за месяц. Входные и выходные токены, пакетный режим, непиковые часы и другие тарифы хранятся раздельно вместе с условиями. Бесплатный уровень — это не бесплатный неограниченный доступ к API, а подписка относится к сервису, а не к одной версии модели. Налоги, квоты и региональные условия могут изменить итоговую стоимость. Неизвестная цена остаётся пустой, а не нулевой.
Страна происхождения
Подтверждённое происхождение указывает документированные страны организаций или независимых команд, создавших продукт, со ссылками на источники. Стран может быть несколько. Предварительное происхождение отмечается отдельно и сопровождается доступными доказательствами; это не подтверждённая страна. Неизвестное происхождение само по себе не скрывает реальный продукт.
Независимые оценки
Сравнимы только результаты одного теста с одинаковым протоколом. У каждого результата указаны автор оценки, тест, конфигурация, снимок и дата проверки. Результаты разработчика отделены от независимых прогонов и сводных индексов. Сторонние результаты показываются после проверки точной версии модели и права на публикацию. AIpediya Rating v1.0 рассчитывается отдельно по разрешённым доказательствам; его контексты и ограничения описаны ниже.
Открытые веса и лицензии
Открытые веса означают, что веса можно скачать на условиях лицензии разработчика. Это не то же самое, что открытый исходный код, а локальный запуск модели всё равно требует оборудования и энергии.
Неизвестные значения и противоречия источников
Неизвестное показывается пустым, а не нулём и не словом «нет». Если источники расходятся или значение нельзя подтвердить, поле остаётся пустым или запись остаётся на проверке; значения не усредняются и не угадываются.
Обновления и переводы
Владелец руководит исследованием с помощью AI-агентов и автоматизированных проверок согласованности и разрешает публикацию. Проверенные пакеты обновляют записи, цены, факты и оценки; внутренняя история сохраняет изменения. Ежедневная проверка каждого источника не гарантируется. Исходные тексты готовятся на английском и русском. Остальные переводы проходят действующий процесс; отсутствующие или устаревшие основные переводы заменяются английским текстом и препятствуют индексации этой локали до готовности.
Личные функции и границы публичного доступа
Общедоступный API общего назначения и публичный журнал всех редакций каждой записи недоступны. Личные сохранения моделей и инструментов, подписки, уведомления и обсуждения продуктов доступны через действующие функции аккаунта; они отделены от доказательств каталога и расчётов рейтинга.
Контексты и снимок данных
Данные на дату 2026-11-03 · Версия текста методики v1.0
Как проверяется каталог
У каждого результата сохраняем источник, тест, версию модели и условия прогона. Используем только разрешённые к публикации данные; результаты разработчика показываем отдельно от независимых проверок.
Epoch AI ↗ · LMArena ↗ · LiveBench ↗
Модели: 466 · Инструменты: 186