แหล่งที่มาและวิธีการ

Public AIpediya Rating ใช้ BALANCEDเสมอบริบทอธิบายงานที่เปรียบเทียบกันได้;ไม่มีการจัดอันดับสากลข้ามประเภทโมเดลโปรไฟล์คุณภาพและประหยัดยังคงเป็นตัวเลือกภายในเอนจินสําหรับคอลเลกชันในอนาคต

มาสเตอร์แบบมาตรฐานจะเก็บโมเดล การกําหนดค่า งาน ตัวรันเนอร์ ผลลัพธ์เชิงตัวเลข วันที่ และแหล่งที่มาอย่างแม่นยําผลลัพธ์ภายนอกที่เป็นอิสระและการตั้งค่า Arena จะแยกจากรายงานนักพัฒนาที่อ่อนแอกว่างานวิจัยที่ไม่เปิดเผยต่อสาธารณะ การผสมผสาน สําเนาที่ถูกแทนที่ และสิทธิ์ที่ถูกเพิกถอนจะถูกยกเว้น AIpediya รวบรวมผลลัพธ์ภายนอกและไม่ได้ดําเนินการห้องปฏิบัติการประเมินผล

ตะกร้าความสามารถแช่แข็งเดิม ค่าสัมประสิทธิ์ไอเท็ม และมาตราส่วนยังคงเหมือนเดิมไอเท็มใหม่ที่ได้รับการอนุมัติต้องมีจุดยึดเทต้าแช่แข็งที่แม่นยําอย่างน้อยห้าจุด และการเชื่อมต่อริดจ์แบบเพิ่มเฉพาะไอเท็มที่ยังไม่ได้ผูกมัดสามารถเก็บไว้ในมาสเตอร์ได้ แต่ไม่สามารถให้คะแนนแบบเงียบ ๆ ได้เรตติ้ง Arena Bradley-Terry และ Agent IPS เป็นเมตริกแยกกันที่มีการแปลงแช่แข็งแยกกัน

ขีดจํากัดครอบครัวเป็น 1.5 การสังเกตที่มีประสิทธิภาพ;ขีดจํากัดยุคสมัย 6ขีดจํากัดอื่น ๆ 2ขีดจํากัดของนักวิ่ง Arena รักษาขีดจํากัดการสังเกตที่มีประสิทธิภาพเพียงหนึ่งครั้งและความแม่นยํา 25%หลักฐานจากนักพัฒนาอ่อนแอกว่าและมีขีดจํากัดความแม่นยํา 20%เอนจินเลือกการกําหนดค่าที่แน่นอนหนึ่งแบบโดยการครอบคลุมครอบครัวที่เป็นวัตถุประสงค์ จากนั้นจึงเลือกความพยายามความพยายามที่แตกต่างกันจะไม่ถูกรวมกัน;ความพยายามที่ไม่ระบุไม่ได้ถูกสรุป

Arena มาจากชุดข้อมูล lmarena-ai/leaderboard อย่างเป็นทางการบน Hugging Face โดยมีการอ้างอิง CC BY 4.0 เวอร์ชันดิบและเวอร์ชันที่ควบคุมโดยสไตล์ รวมถึงสัญญาณรวม/ซับจะไม่ถูกนับซ้ํา LiveBench ใช้ผลลัพธ์ภารกิจที่เผยแพร่อย่างเป็นทางการ พร้อมคําจํากัดความเวอร์ชัน/หมวดหมู่อย่างเป็นทางการเป็นกลุ่มงานวัตถุประสงค์แยกต่างหากและเป็นตัวรันเนอร์ภายนอกอิสระจะนําเข้าเฉพาะงานย่อยเท่านั้น;ค่าเฉลี่ยหมวดหมู่และทั่วโลกจะถูกตัดออก

ราคา API โฮสต์มาตรฐานใช้จุดยึดที่ถูกแช่แข็งและหน่วยที่เทียบเท่าที่มีอยู่ API ที่ได้รับการยืนยันว่าเป็นฟรีโฮสต์แบบถาวรอาจมี C=1น้ําหนักท้องถิ่นที่ไม่มีการตรวจสอบเปรียบเทียบ TCO มี N/A/self-hosted คํานิยามทรัพยากรขึ้นอยู่กับบริบท: บริบทโทเค็น LLM , ขีดจํากัดการฝังข้อมูล, ขีดจํากัดข้อมูล TTS , ระยะเวลาเสียง STT , ความละเอียดภาพ และระยะเวลาวิดีโอทรัพยากรที่ใช้ได้ยังไม่ได้รับการยืนยันยังคงหายไปไม่มีการสร้างจุดยึดทรัพยากรใหม่เพื่อเพิ่มคะแนน

แต่ละส่วนประกอบจะสามารถนําไปใช้ได้-รู้ ใช้ได้-ขาด หรือไม่ใช้ได้ N/A ไม่มีค่าประมาณและน้ําหนักเป็นศูนย์ และถูกลบออกจากตัวส่วนครอบคลุมน้ําหนัก BALANCED ที่เหลือจะถูกปรับเป็นมาตรฐานจาก 78/16/6ส่วนประกอบที่ใช้ได้ที่ขาดหายไปจะยังคงค่าประมาณกลางเดิมและความไม่แน่นอนกว้าง N/A และ unknown ไม่สามารถใช้แทนกันได้

แบบจําลองโดยรวมที่มีคุณสมบัติต้องมีสองครอบครัวที่ไม่ใช่อารีน่าในสองโดเมนบริบทต้องการโมเดล ครอบครัว และผู้ส่งข้อมูลภายนอกที่เพียงพอบริบทเฉพาะทางยังต้องการความโดดเด่นที่ได้รับการยืนยันการเก็บผลลัพธ์ใหม่ไม่ได้ทําให้บริบทพร้อมโดยอัตโนมัติงานวิจัย SWE-bench/CODE ที่ไม่ได้รับการอนุมัติยังคงถูกตัดออก

คะแนนที่แสดงเป็นค่ารวมกลาง 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk เหนือส่วนประกอบที่เกี่ยวข้องทุก snapshot จะเก็บหน้ากาก องค์ประกอบที่แม่นยํา น้ําหนักฐาน/ประสิทธิภาพ และการปรับอย่างชัดเจน โดยปัจจุบันเป็นศูนย์เวลารันไทม์ตรวจสอบการจําลองเปอร์เซ็นไทล์ที่สิบเป็นค่าประมาณความมั่นใจ/ขอบเขตแบบอนุรักษ์นิยมแยกต่างหาก และจะไม่แทนที่คะแนนที่แสดง

ความแม่นยําหมายถึงความไม่แน่นอนทางสถิติหลังจากการปรับข้อมูลผิดพลาดและหลักฐานเบื้องต้นการสนับสนุนจะนับเส้นทางวิ่งภายนอกที่เป็นอิสระ: A อย่างน้อยสามเส้นทาง, B สองเส้นทาง, C น้อยกว่ารายงานนักพัฒนาไม่เคยกลายเป็นเส้นทางอิสระความครอบคลุมคือสัดส่วนของคุณภาพที่เกี่ยวข้อง ราคา/ทรัพยากรที่เหมาะสม การกําหนดค่าที่แน่นอน ความหลากหลายของเส้นทางภายนอก และความกว้างไม่รวม;หลักฐานที่ขาดหายไปส่งผลต่อความเชื่อมั่นและเครื่องหมายดอกจัน

ความสดใหม่ใช้การตัดข้อมูลสแนปช็อต ไม่ใช่นาฬิกาคําขอเกณฑ์ความพร้อมใช้งานของราคา/API คือ 30/60 วัน ทรัพยากร 180/365การกําหนดค่า 90/180ข้อเท็จจริงที่จําเป็นที่หมดอายุจะไม่เป็นที่ทราบการทดสอบประสิทธิภาพจะถูกยกเว้นเพราะการยกเลิกหรือการเพิกถอนสิทธิ์ ไม่ใช่แค่อายุเท่านั้นอายุของสแนปช็อตเป็นคําเตือนแยกต่างหาก

อันดับสาธารณะที่แม่นยําจํากัดเฉพาะโมเดลที่มีคุณสมบัติเหมาะสมในบริบทเดียวกันการครอบคลุมต่ํากว่า 20% จะระงับอันดับที่แน่นอนและระบุคะแนนว่าอิงจากข้อมูลที่จํากัด Conservative Frontier ใช้ช่องว่างที่มีความหมายคงที่ เดลต้า ธีต้า 0.28 และประตูคุณสมบัติดั้งเดิมการจัดเรียงตัวเลขแคตตาล็อกไม่ได้สร้าง #N ข้ามบริบท

การสร้างจะใช้ 6,000 การวาดแบบมอนติคาร์โลแบบกําหนด หรือ 12,000 ในโซนเกณฑ์ที่มีอยู่รหัสบันทึกเสถียรกําหนดเมล็ดพันธุ์การคํานวณทางวิทยาศาสตร์จะทํางานแบบออฟไลน์หลังจากมีการเปลี่ยนแปลงมาสเตอร์แบบแคนอนิคอล;การอ่านขณะรันไทม์จะตรวจสอบความถูกต้อง JSON เท่านั้นภาพสแนปช็อตย้อนหลังและไบต์การปรับเทียบต้นฉบับจะถูกเก็บรักษาไว้

ไม่มีเครื่องหมายดอกจันหมายความว่าข้อมูลนําเข้าและข้อกําหนดการยืนยันที่เกี่ยวข้องได้รับการปฏิบัติตาม* บางส่วนหมายถึงการยืนยันไม่สมบูรณ์;การประมาณค่า * หมายถึงข้อมูลที่ต้องการยังไม่ทราบหรือคุณภาพยังคงเป็นข้อมูลก่อนหน้าไม่ทราบไม่ได้หมายความว่าไม่ดีคุณภาพปัจจัยเดียวและเศรษฐศาสตร์ต่อโทเค็นไม่สามารถแทนงานจริงทุกงานได้;ผลลัพธ์จากความชอบไม่ได้กลายเป็นเกณฑ์วัดเชิงวัตถุ