Fonti e metodologia

La valutazione pubblica AIpediya utilizza sempre BALANCED. I contesti descrivono compiti comparabili; non esiste una classifica universale tra i tipi di modello. I profili quality-first ed economy rimangono opzioni interne al motore per le future collezioni.

Il master canonico memorizza modello esatto, configurazione, compito, runner, risultato numerico, data e sorgente. I risultati esterni indipendenti e le preferenze Arena sono separati dai report degli sviluppatori più deboli. Ricerche non pubbliche, compositi, duplicati sostituiti e permessi revocati sono esclusi. AIpediya aggrega i risultati esterni e non gestisce un laboratorio di valutazione.

Il cestino originale di capacità congelata, i coefficienti degli oggetti e la scala sono invariati. I nuovi elementi approvati richiedono almeno cinque ancoraggi congelati esatti e binding a cresta solo appendi. Un oggetto non rilegato può essere memorizzato in master ma mai segnato silenziosamente. Le valutazioni Arena Bradley-Terry e Agent IPS sono metriche separate con trasformazioni congelate separate.

Il cappuccio familiare è 1.5 osservazioni efficaci; Epoch cap 6, altro cappellino runner 2. Arena mantiene il suo limite di un'osservazione efficace e 25% di precisione. Le prove degli sviluppatori sono più deboli e hanno un limite di quota di precisione del 20%. Il motore sceglie una configurazione esatta in base alla copertura della famiglia oggettiva, poi lo sforzo. Sforzi diversi non vengono mai aggregati; uno sforzo non specificato non viene inferito.

Arena proviene solo dal dataset ufficiale lmarena-ai/leaderboard su Hugging Face, con CC BY 4.0 attribuzione. Le versioni grezze e controllate dallo stile e aggregate/sottosegnali non vengono conteggiate due volte. LiveBench utilizza i risultati ufficiali dei compiti pubblicati, con le definizioni ufficiali di release/categoria. È una famiglia di obiettivi separata e un runner esterno indipendente. Solo i sottotask vengono importati; le medie di categorie e globali sono escluse.

I prezzi standard di API ospitati utilizzano gli ancoraggi congelati esistenti e le unità comparabili. Un API ospitato permanente e permanente confermato può avere C=1. Pesi locali senza TCO comparabili verificati hanno economia N/A/auto-ospitata. Le definizioni delle risorse dipendono dal contesto: contesto LLM token, limite di input di incorporamento, limite di input TTS input, durata audio STT , risoluzione dell'immagine e durata video. Risorse applicabili non confermate rimangono mancanti. Non vengono creati nuovi ancoraggi di risorse arbitrarie per aumentare i punteggi.

Ogni componente è applicabile-noto, applicabile-mancante o non applicabile. N/A non ha stima e peso zero, ed è rimosso dal denominatore di copertura. I pesi BALANCED rimanenti sono normalizzati da 78/16/6. I componenti applicabili mancanti mantengono la loro stima originale neutra e l'ampia incertezza. N/A e sconosciuto non sono intercambiabili.

Un modello complessivo qualificato necessita di due famiglie non Arena in due domini. Un contesto necessita di modelli sufficienti, famiglie e corridori esterni. I contesti specializzati richiedono inoltre una distintività validata. Memorizzare nuovi risultati non rende di per sé un contesto Pronto. La ricerca SWEnon approvata - bench/CODE rimane esclusa.

Visualizzata Valutazione è il composito centrale 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk sui componenti applicabili. Ogni istantaneo memorizza la sua maschera, i componenti esatti, i pesi base/effettivi e l'aggiustamento esplicito, attualmente zero. Il runtime verifica la riproduzione. Il decimo percentile è una stima conservativa separata di confidenza/frontiera e non sostituisce mai il punteggio visualizzato.

La precisione descrive l'incertezza statistica dopo gli aggiustamenti di disadattamento e le prime evidenze. Il supporto conta i percorsi esterni indipendenti: A almeno tre, B due, C meno. I report degli sviluppatori non diventano mai percorsi indipendenti. La copertura è la frazione di qualità rilevante, prezzo/risorsa applicabile, configurazione esatta, diversità e ampiezza dei runner esterni. N/A è escluso; la mancanza di evidenza influisce sulla fiducia e sull'asterisco.

La freschezza utilizza il cutoff dei dati snapshot, non l'orologio delle richieste. Le soglie di disponibilità/prezzo/API sono 30/60 giorni, 180/365risorse, configurazione 90/180. I fatti richiesti scaduti diventano sconosciuti. Un benchmark è escluso per invalidazione o permesso revocato, non semplicemente per età. L'età dell'istantaneo è un avvertimento separato.

La posizione pubblica esatta è limitata a modelli qualificati all'interno di un contesto compatibile. La copertura inferiore al 20% sopprime il rango esatto e etichetta il punteggio come basato su dati limitati. La frontiera conservativa utilizza il gap significativo congelato delta theta 0.28 e le porte di idoneità originali. L'ordinamento numerico del catalogo non inventa un #N cross-contest.

Le build usano 6,000 disegni Monte Carlo deterministici, o 12,000 nella zona di soglia esistente. Gli ID di Record Stabili definiscono i seed. Il calcolo scientifico viene eseguito offline dopo le modifiche canoniche del master; le letture in tempo reale sono validate solo JSON . Gli istantanee storici e i byte di calibrazione originali sono conservati.

Nessun asterisco significa che gli input rilevanti e i requisiti di corroborazione sono soddisfatti. Un parziale * significa che la corroborazione è incompleta; Stimato * significa che un input richiesto è sconosciuto o la qualità rimane un prior. Sconosciuto non significa negativo. La qualità a fattore singolo e l'economia per token non possono rappresentare ogni compito reale; i risultati delle preferenze non diventano parametri oggettivi.