Fontes e metodologia

A classificação pública da AIpediya sempre utiliza BALANCED. Contextos descrevem tarefas comparáveis; não há uma classificação universal entre os tipos de modelos. Perfis de qualidade em primeiro lugar e economia continuam sendo opções internas do motor para coleções futuras.

O mestre canônico armazena modelo exato, configuração, tarefa, runner, resultado numérico, data e fonte. Resultados externos independentes e preferências do Arena são separados dos relatórios de desenvolvedores mais fracos. Pesquisas não públicas, compósitos, duplicatas substituídas e permissões revogadas são excluídos. A AIpediya agrega resultados externos e não opera um laboratório de avaliação.

A cesta original de capacidade congelada, os coeficientes e a escala dos itens permanecem inalterados. Novos itens aprovados exigem pelo menos cinco âncoras congeladas de theta exatas e ligação de crista apenas por anexo. Um item não encadernado pode ser armazenado no mestre, mas nunca pontuado silenciosamente. As classificações Arena Bradley-Terry e Agente IPS são métricas separadas com transformações congeladas separadas.

O teto familiar é 1.5 observações efetivas; O teto de época 6, outro limite de runner 2. O Arena mantém seu limite de uma observação efetiva e 25% de precisão. A evidência do desenvolvedor é mais fraca e possui um limite de participação de 20% de precisão. O motor escolhe uma configuração exata por cobertura familiar objetiva, depois esforço. Esforços diferentes nunca são agrupados; um esforço não especificado não é inferido.

Arena vem apenas do conjunto oficial de dados lmarena-ai/leaderboard no Hugging Face, com atribuição CC BY 4.0 . Versões brutas e controladas por estilo e agregados/subsinais não são contados duas vezes. O LiveBench usa resultados de tarefas publicados oficialmente, com as definições oficiais de release/categoria. É uma família de objetivos separada e um runner externo independente. Apenas subtarefas são importadas; as médias de categorias e globais são excluídas.

Os preços padrão de API hospedados usam as âncoras congeladas existentes e unidades comparáveis. Uma API hospedada permanente e gratuita confirmada pode ter C=1. Pesos locais sem TCO comparáveis verificados têm economia N/A/autohospedado. Definições de recursos dependem do contexto: contexto LLM token, limite de entrada de incorporação TTS limite de entrada, duração STT áudio, resolução da imagem e duração do vídeo. Recursos aplicáveis não confirmados permanecem ausentes. Nenhuma nova âncora arbitrária de recurso é criada para aumentar pontuações.

Cada componente é aplicável — conhecido, aplicável — ausente ou não aplicável. N/A não tem estimativa e peso zero, e é removido do denominador de cobertura. Os pesos BALANCED restantes são normalizados a partir de 78/16/6. Componentes aplicáveis ausentes mantêm sua estimativa neutra original e ampla incerteza. N/A e desconhecido não são intercambiáveis.

Um modelo geral qualificado precisa de duas famílias não-Arena em dois domínios. Um contexto precisa de modelos suficientes, famílias e corredores externos. Contextos especializados também exigem distintividade validada. Armazenar novos resultados não torna um contexto Pronto. Pesquisas SWEnão aprovadas de bancada/CODE permanecem excluídas.

A Classificação Exibida é o composto central 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk sobre componentes aplicáveis. Cada snapshot armazena sua máscara, componentes exatos, pesos base/efetivo e ajuste explícito, atualmente zero. Runtime verifica a reprodução. O décimo percentil é uma estimativa conservativa separada de confiança/fronteira e nunca substitui a pontuação exibida.

Precisão descreve a incerteza estatística após ajustes de desajuste e evidências iniciais. O suporte conta caminhos externos independentes: A pelo menos três, B dois, C menos. Relatórios de desenvolvedores nunca se tornam caminhos independentes. Cobertura é a fração da qualidade relevante, preço/recurso aplicável, configuração exata, diversidade e amplitude dos corredores externos. N/A é excluído; a falta de evidência afeta a confiança e o asterisco.

Frescura usa o corte de dados snapshot, não o clock de requisição. Preço/API limiares de disponibilidade são 30/60 dias, 180/365de recursos, configuração 90/180. Fatos exigidos expirados tornam-se desconhecidos. Um benchmark é excluído para invalidação ou permissão revogada, não apenas por idade. A idade do snapshot é um aviso separado.

A classificação pública exata é limitada a modelos qualificados dentro de um contexto compatível. Cobertura abaixo de 20% suprime a classificação exata e rotula a pontuação como baseada em dados limitados. A fronteira conservadora usa a lacuna significativa congelada delta theta 0.28 e as portas originais de elegibilidade. A ordenação numérica de catálogo não inventa uma #N entre contextos.

Builds usam 6,000 desenhos determinísticos de Monte Carlo, ou 12,000 na zona de limiar existente. IDs de Registro Estável definem seeds. Computação científica roda offline após mudanças canônicas do mestre; leituras em tempo de execução validadas JSON apenas. Snapshots históricos e bytes originais de calibração são preservados.

Sem asterisco significa que os requisitos de entrada e corroboração relevantes são cumpridos. Partial * significa corroboração incompleta; Estimado * significa que uma entrada necessária é desconhecida ou qualidade permanece prior. Desconhecido não significa ruim. Qualidade de fator único e economia por token não podem representar todas as tarefas reais; resultados de preferência não se tornam referências objetivas.