Sumber & metodologi

Public AIpediya Rating selalu menggunakan BALANCED. Konteks menggambarkan tugas yang sebanding; tidak ada peringkat universal di berbagai tipe model. Profil quality-first dan economy tetap menjadi opsi mesin internal untuk koleksi mendatang.

Master kanonik menyimpan model tepat, konfigurasi, tugas, runner, hasil numerik, tanggal, dan sumber. Hasil eksternal independen dan preferensi Arena terpisah dari laporan pengembang yang lebih lemah. Riset nonpublik, komposit, duplikat yang digantikan, dan izin yang dicabut dikecualikan. AIpediya menggabungkan hasil eksternal dan tidak mengoperasikan laboratorium evaluasi.

Keranjang kemampuan beku asli, koefisien item, dan skala tidak berubah. Item baru yang disetujui membutuhkan setidaknya lima anchor theta beku yang tepat dan pengikatan ridge hanya append. Item yang tidak terikat dapat disimpan di master tetapi tidak pernah dinilai secara diam-diam. Rating Arena Bradley-Terry dan Agent IPS adalah metrik terpisah dengan transformasi beku terpisah.

Family cap adalah pengamatan 1.5 efektif; Epoch cap 6, runner cap lainnya 2. Arena mempertahankan batas satu pengamatan efektif dan 25% presisi. Bukti pengembang lebih lemah dan memiliki batas presisi 20%. Mesin memilih satu konfigurasi tepat berdasarkan cakupan keluarga objektif, lalu usaha. Upaya yang berbeda tidak pernah digabungkan; upaya yang tidak ditentukan tidak disimpulkan.

Arena hanya berasal dari dataset resmi lmarena-ai/leaderboard-di Hugging Face, dengan atribusi CC BY 4.0 . Versi mentah dan yang dikontrol gaya serta agregat/subsinyal tidak dihitung ganda. LiveBench menggunakan hasil tugas yang dipublikasikan secara resmi, dengan definisi rilis/kategori resmi. Ini adalah keluarga tujuan terpisah dan runner eksternal independen. Hanya subtugas yang diimpor; rata-rata kategori dan global dikecualikan.

Harga API standar yang di-host menggunakan anchor beku yang ada dan unit sebanding. Sebuah API hosting bebas permanen yang dikonfirmasi mungkin memiliki C=1. Bobot lokal tanpa TCO yang dapat dibandingkan terverifikasi memiliki ekonomi N/A/self-hosted. Definisi sumber daya bergantung pada konteks: konteks token LLM , batas input yang ditanamkan, batas input TTS , durasi audio STT , resolusi gambar, dan durasi video. Sumber daya yang berlaku yang belum dikonfirmasi tetap hilang. Tidak ada anchor sumber daya sembarang baru yang dibuat untuk meningkatkan skor.

Setiap komponen berlaku - diketahui, dapat diterapkan - hilang atau tidak berlaku. N/A tidak memiliki estimasi dan bobot nol, serta dihapus dari penyebut cakupan. Bobot BALANCED yang tersisa dinormalisasi dari 78/16/6. Komponen yang berlaku yang hilang mempertahankan estimasi netral asli dan ketidakpastian yang luas. N/A dan tidak diketahui tidak dapat dipertukarkan.

Model Keseluruhan yang memenuhi syarat membutuhkan dua keluarga non-Arena di dua domain. Sebuah konteks membutuhkan model yang cukup, yaitu keluarga dan pelari eksternal. Konteks khusus juga memerlukan keunikan yang tervalidasi. Menyimpan hasil baru tidak berarti konteks sudah siap. Penelitian SWE-bench/CODE yang belum disetujui tetap dikecualikan.

Penilaian Ditampilkan adalah komposit utama 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk di atas komponen yang berlaku. Setiap snapshot menyimpan maskernya, komponen eksplisit, bobot dasar/efektif, dan penyesuaian eksplisit, saat ini nol. Runtime memverifikasi reproduksi. Persentil kesepuluh adalah estimasi kepercayaan konservatif/frontier terpisah dan tidak pernah menggantikan skor yang ditampilkan.

Presisi menggambarkan ketidakpastian statistik setelah penyesuaian ketidaksesuaian dan bukti awal. Dukungan menghitung jalur pelari eksternal independen: A setidaknya tiga, B dua, C lebih sedikit. Laporan pengembang tidak pernah menjadi jalur independen. Cakupan adalah fraksi dari kualitas relevan, harga/sumber daya yang berlaku, konfigurasi tepat, keragaman dan cakupan pelari eksternal. N/A dikecualikan; bukti yang hilang memengaruhi kepercayaan dan tanda bintang.

Kesegaran menggunakan batas data snapshot, bukan jam permintaan. Ambang ketersediaan harga/API adalah 30/60 hari, 180/365sumber daya, konfigurasi 90/180. Fakta yang sudah kedaluwarsa yang diperlukan menjadi tidak diketahui. Benchmark dikecualikan karena izin yang dibatalkan atau dicabut, bukan hanya karena usia. Usia snapshot adalah peringatan terpisah.

Peringkat publik yang tepat dibatasi pada model yang memenuhi syarat dalam satu konteks yang kompatibel. Cakupan di bawah 20% menekan peringkat tepat dan memberi label skor berdasarkan data terbatas. Frontier konservatif menggunakan delta theta theta 0.28 dan gerbang kelayakan asli dengan celah bermakna yang beku. Pengurutan numerik katalog tidak menciptakan #N lintas konteks.

Build menggunakan 6,000 Monte Carlo draws deterministik, atau 12,000 di zona ambang yang ada. ID Rekaman Stabil mendefinisikan seed. Komputasi ilmiah berjalan offline setelah perubahan master kanonik; pembacaan runtime divalidasi JSON saja. Snapshot historis dan byte kalibrasi asli dipertahankan.

Tidak ada tanda bintang berarti input dan persyaratan penguatan yang relevan terpenuhi. Partial * berarti konfirmasi tidak lengkap; Estimasi * berarti input yang diperlukan tidak diketahui atau kualitas tetap menjadi prioritas. Tidak diketahui tidak berarti buruk. Kualitas faktor tunggal dan ekonomi per token tidak dapat mewakili setiap tugas nyata; hasil preferensi tidak menjadi tolok ukur objektif.