Nguồn & phương pháp

Xếp hạng công khai AIpediya luôn sử dụng BALANCED. Các ngữ cảnh mô tả các nhiệm vụ tương đồng; không có xếp hạng chung giữa các loại mô hình. Tiêu chuẩn chất lượng ưu tiên và tiết kiệm vẫn là các tùy chọn nội bộ cho các bộ sưu tập trong tương lai.

Mẫu chính chuẩn lưu trữ chính xác mô hình, cấu hình, nhiệm vụ, trình chạy, kết quả số, ngày tháng và nguồn. Kết quả độc lập bên ngoài và tùy chọn Arena tách biệt với các báo cáo dành cho nhà phát triển yếu hơn. Nghiên cứu không công khai, composite, bản sao bị thay thế và quyền bị thu hồi đều bị loại trừ. AIpediya tổng hợp kết quả bên ngoài và không vận hành phòng thí nghiệm đánh giá.

Giỏ khả năng đóng băng ban đầu, hệ số vật phẩm và thang đo không thay đổi. Các vật phẩm mới được phê duyệt yêu cầu ít nhất năm neo đóng băng chính xác và liên kết sống chỉ phụ trợ. Một vật phẩm chưa liên kết có thể được lưu trữ trong master nhưng không bao giờ được chấm điểm im lặng. Đánh giá Arena Bradley-Terry và Agent IPS là các chỉ số riêng biệt với các biến đổi đóng băng riêng biệt.

Giới hạn gia đình là 1.5 quan sát hiệu quả; Giới hạn thời kỳ 6, giới hạn runner khác 2. Arena giữ giới hạn một quan sát hiệu quả và 25% độ chính xác. Bằng chứng của nhà phát triển yếu hơn và có giới hạn tỷ lệ độ chính xác 20%. Bộ máy chọn một cấu hình chính xác dựa trên phạm vi gia đình khách quan, sau đó là nỗ lực. Các nỗ lực khác nhau không bao giờ được gộp; không suy ra một nỗ lực không xác định.

Arena chỉ lấy từ bộ dữ liệu almarena-ai/leaderboard-chính thức trên Hugging Face, với CC BY 4.0 ghi nhận. Các phiên bản thô và điều khiển theo kiểu cũng như tổng hợp/tín hiệu phụ không bị tính trùng lặp. LiveBench sử dụng kết quả tác vụ được công bố chính thức, với định nghĩa phát hành/danh mục chính thức. Đây là một gia đình mục tiêu riêng biệt và trình chạy độc lập bên ngoài. Chỉ các tác vụ con được nhập; loại trừ trung bình hạng mục và toàn cục.

Giá API lưu trữ tiêu chuẩn sử dụng các neo đóng băng hiện có và các đơn vị tương đương. Một API lưu trữ miễn phí vĩnh viễn được xác nhận có thể có C=1. Trọng số cục bộ không có TCO so sánh được xác minh có kinh tế N/A/tự lưu trữ. Định nghĩa tài nguyên phụ thuộc vào ngữ cảnh: ngữ cảnh token LLM , giới hạn đầu vào nhúng, giới hạn đầu vào TTS , thời lượng âm thanh STT , độ phân giải hình ảnh và thời lượng video. Tài nguyên áp dụng chưa được xác nhận vẫn còn thiếu. Không có neo tài nguyên tùy ý mới nào được tạo để tăng điểm.

Mỗi thành phần có thể áp dụng - đã biết, áp dụng - thiếu hoặc không áp dụng. N/A không có ước lượng và trọng số bằng không, và được loại khỏi mẫu số bao phủ. Các trọng số BALANCED còn lại được chuẩn hóa từ 78/16/6. Các thành phần phù hợp bị thiếu giữ nguyên ước lượng trung tính ban đầu và độ không chắc chắn rộng. N/A và không biết không thể thay thế cho nhau.

Một mô hình tổng thể đủ điều kiện cần hai họ không thuộc Arena trong hai lĩnh vực. Một ngữ cảnh cần đủ mô hình, họ và các ứng viên bên ngoài. Ngữ cảnh chuyên biệt cũng cần sự khác biệt được xác thực. Việc lưu trữ kết quả mới không tự nó làm cho ngữ cảnh sẵn sàng. Nghiên cứu SWEkhông được phê duyệt - bench/CODE vẫn bị loại trừ.

Đánh giá hiển thị là tổng hợp trung tâm 100 × Q^wq × (0.2+0.8C)^wc × (0.3+0.7K)^wk trên các thành phần áp dụng. Mỗi snapshot lưu trữ mặt nạ, thành phần chính xác, trọng số cơ sở/hiệu dụng và điều chỉnh rõ ràng, hiện tại là 0. Thời gian chạy xác minh sự tái tạo. Phần trăm thứ mười là ước lượng độ tin cậy/biên bảo thủ riêng biệt và không bao giờ thay thế điểm số hiển thị.

Độ chính xác mô tả sự không chắc chắn thống kê sau các điều chỉnh sai khớp và bằng chứng sớm. Hỗ trợ tính các đường dẫn bên ngoài độc lập: A ít nhất ba, B hai, C ít hơn. Báo cáo nhà phát triển không bao giờ trở thành các đường dẫn độc lập. Phạm vi bao phủ là tỷ lệ về chất lượng liên quan, giá/nguồn lực áp dụng, cấu hình chính xác, đa dạng và phạm vi rộng của người dẫn bên ngoài. N/A bị loại trừ; thiếu bằng chứng ảnh hưởng đến độ tin cậy và dấu hoa thị.

Tính tươi mới sử dụng giới hạn dữ liệu snapshot, không phải đồng hồ yêu cầu. Ngưỡng khả dụng về giá/API là 30/60 ngày, 180/365tài nguyên, cấu hình 90/180. Các thông tin yêu cầu đã hết hạn trở nên không rõ ràng. Một bài kiểm tra sẽ bị loại trừ do quyền bị vô hiệu hóa hoặc thu hồi, không chỉ vì tuổi tác. Tuổi chụp snapshot là một cảnh báo riêng biệt.

Xếp hạng công khai chính xác chỉ giới hạn cho các mô hình đủ điều kiện trong một bối cảnh tương thích. Phạm vi bao phủ dưới 20% sẽ loại bỏ thứ hạng chính xác và gán nhãn điểm dựa trên dữ liệu hạn chế. Conservative Frontier sử dụng khoảng cách có ý nghĩa đóng băng, delta theta 0.28 và cổng đủ điều kiện gốc. Sắp xếp số trong danh mục không tạo ra #N ngữ cảnh chéo.

Các bản dựng sử dụng 6,000 các bản vẽ Monte Carlo xác định, hoặc 12,000 trong vùng ngưỡng hiện có. ID bản ghi ổn định xác định seed. Tính toán khoa học chạy ngoại tuyến sau khi thay đổi master chuẩn; đọc khi chạy chỉ được xác thực JSON . Ảnh chụp lịch sử và byte hiệu chuẩn gốc được giữ nguyên.

Không có dấu hoa thị nghĩa là các đầu vào và yêu cầu xác nhận liên quan đã được đáp ứng. Một phần * nghĩa là việc xác nhận chưa đầy đủ; Ước tính * nghĩa là đầu vào cần thiết chưa biết hoặc chất lượng vẫn là ưu tiên. Không biết không có nghĩa là xấu. Chất lượng một yếu tố và kinh tế từng token không thể đại diện cho mọi nhiệm vụ thực tế; kết quả ưu tiên không trở thành tiêu chuẩn khách quan.