منابع و روش‌شناسی

رتبه بندی عمومی AIpediya همیشه از BALANCEDاستفاده می کند. زمینه ها وظایف مشابه را توصیف می کنند؛ هیچ رتبه بندی جهانی بین انواع مدل ها وجود ندارد. پروفایل های کیفیت اول و اقتصادی همچنان گزینه های داخلی موتور برای مجموعه های آینده هستند.

نسخه اصلی کاننیکال مدل دقیق، پیکربندی، وظیفه، رانر، نتیجه عددی، تاریخ و منبع را ذخیره می کند. نتایج مستقل خارجی و ترجیحات Arena جدا از گزارش های ضعیف تر توسعه دهندگان هستند. تحقیقات غیرعمومی، ترکیب، نسخه های جایگزین شده و مجوزهای لغو شده حذف شده حذف می شوند. AIpediya نتایج خارجی را تجمیع می کند و آزمایشگاه ارزیابی ندارد.

سبد قابلیت منجمد اصلی، ضرایب آیتم و مقیاس بدون تغییر باقی مانده اند. آیتم های تأیید شده جدید حداقل به پنج لنگر دقیق با تتا یخ زده و اتصال فقط به خط الرأس نیاز دارند. آیتم آزاد ممکن است در مستر ذخیره شود اما هرگز به صورت بی صدا امتیاز داده نشود. رتبه بندی های آرنا بردلی-تری و IPS عامل معیارهای جداگانه با تبدیل های منجمد جداگانه هستند.

Family cap 1.5 مشاهدات مؤثر است؛ Cap Epoch 6و سایر cap runner 2. Arena سقف خود را با یک مشاهده مؤثر و 25درصد دقت حفظ می کند. شواهد توسعه دهنده ضعیف تر است و سقف سهم دقت 20٪ دارد. موتور یک پیکربندی دقیق را بر اساس پوشش خانواده عینی و سپس تلاش انتخاب می کند. تلاش های مختلف هرگز تجمیع نمی شوند؛ تلاش نامشخص استنباط نمی شود.

Arena فقط از مجموعه داده رسمی lmarena-ai/جدول امتیازات در Hugging Face با نسبت CC BY 4.0 آمده است. نسخه های خام و کنترل شده با سبک و مجموع/زیرسیگنال ها دوبار شمارش نمی شوند. LiveBench از نتایج وظایف رسمی منتشر شده با تعاریف رسمی انتشار/دسته بندی استفاده می کند. این یک خانواده هدف جداگانه و دونده خارجی مستقل است. فقط زیروظایف وارد می شوند؛ میانگین های دسته بندی و جهانی حذف شده اند.

قیمت های استاندارد میزبانی شده API از لنگرهای منجمد و واحدهای مشابه موجود استفاده می کنند. یک API میزبانی شده دائمی و تأیید شده ممکن است C=1داشته باشد. وزن های محلی بدون قابل مقایسه تأیید شده TCO دارای اقتصاد N/A/خودمیزبان باشند. تعاریف منابع به زمینه بستگی دارد: زمینه توکن LLM ، محدودیت ورودی جاسازی شده، محدودیت ورودی TTS ، مدت زمان STT صدا، وضوح تصویر و مدت زمان ویدئو. منابع قابل اعمال تأیید نشده همچنان مفقود هستند. هیچ لنگر منبع دلخواه جدیدی برای افزایش امتیاز ایجاد نمی شود.

هر مؤلفه قابل تطبیق-شناخته شده، قابل اعمال مفقود یا غیرقابل اعمال است. N/A هیچ برآورد و وزن صفر ندارد و از مخرج پوشش حذف می شود. وزن های باقی مانده BALANCED از 78/16/6نرمال سازی می شوند. مؤلفه های قابل اعمال گمشده، برآورد خنثی اولیه و عدم قطعیت گسترده خود را حفظ می کنند. N/A و ناشناخته قابل تعویض نیستند.

یک مدل کلی واجد شرایط به دو خانواده غیرآرنا در دو حوزه نیاز دارد. یک زمینه به مدل های کافی، خانواده ها و دوندگان خارجی نیاز دارد. زمینه های تخصصی همچنین نیازمند تمایز اعتبارسنجی شده هستند. ذخیره نتایج جدید به خودی خود زمینه را آماده نمی کند. تحقیقات تأییدنشده SWE-bench/CODE همچنان حذف شده اند.

رتبه بندی نمایش داده شده ترکیبی مرکزی 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk بر روی مؤلفه های مربوطه است. هر اسنپ شات ماسک، اجزای دقیق، وزن پایه/مؤثر و تنظیم صریح خود را ذخیره می کند که در حال حاضر صفر است. زمان اجرا بازتولید را تأیید می کند. صدک دهم یک برآورد محافظه کارانه اطمینان یا مرز جداگانه است و هرگز جایگزین امتیاز نمایش داده شده نمی شود.

دقت به عدم قطعیت آماری پس از عدم تطابق و تعدیلات اولیه شواهد اشاره دارد. پشتیبانی مسیرهای مستقل دونده خارجی را می شمارد: A حداقل سه، B دو، C کمتر. گزارش های توسعه دهنده هرگز به مسیرهای مستقل تبدیل نمی شوند. پوشش شامل کسری از کیفیت مرتبط، قیمت/منبع قابل اجرا، پیکربندی دقیق، تنوع و گستردگی دوندگان خارجی است. N/A مستثنی است؛ شواهد ناقص بر اطمینان و ستاره تأثیر می گذارد.

تازگی از قطع داده های اسنپ شات استفاده می کند، نه ساعت درخواست. آستانه های قیمت/API دسترسی شامل 30/60 روز، 180/365منبع، پیکربندی 90/180است. حقایق مورد نیاز منقضی شده ناشناخته می شوند. بنچمارک به دلیل ابطال یا لغو مجوز حذف می شود، نه صرفا سن. سن اسنپ شات هشدار جداگانه ای است.

رتبه عمومی دقیق محدود به مدل های واجد شرایط در یک زمینه سازگار است. پوشش کمتر از 20درصد رتبه دقیق را سرکوب می کند و امتیاز را بر اساس داده های محدود برچسب گذاری می کند. مرز محافظه کار از شکاف معنادار منجمد دلتا تتا 0.28 و دروازه های اولیه واجد شرایط بودن استفاده می کند. مرتب سازی عددی کاتالوگ #N میان زمینه ای اختراع نمی کند.

ساختارها از 6000 کشیده های مونت کارلو قطعی یا 12000 در منطقه آستانه موجود استفاده می کنند. شناسه های رکورد پایدار بذرها را تعریف می کنند. محاسبات علمی پس از تغییرات اصلی کاننیکال به صورت آفلاین اجرا می شوند؛ خواندن زمان اجرا فقط JSON اعتبارسنجی شده است. اسنپ شات های تاریخی و بایت های کالیبراسیون اصلی حفظ می شوند.

نبود ستاره به این معناست که ورودی ها و الزامات تأییدیه مربوطه برآورده شده اند. جزئی * به معنای ناکامل بودن تأییدیه است؛ برآورد * به این معناست که ورودی مورد نیاز ناشناخته است یا کیفیت همچنان پیشین باقی می ماند. ناشناخته به معنای بد بودن نیست. اقتصاد کیفیت تک عاملی و هر توکن نمی تواند همه وظایف واقعی را نشان دهد؛ نتایج ترجیحی به معیارهای عینی تبدیل نمی شوند.