Đạo đức & thiên lệch AI,
được đo lường hằng đêm —
không chỉ là lời tuyên bố.

Sáu tiêu chí đánh giá LLM, mỗi tiêu chí chấm 0–100 trên một trace được lấy mẫu: độc hại, thiên lệch nhân khẩu học, nhất quán cảm xúc, công bằng, thông tin sai lệch và rò rỉ quyền riêng tư. Báo cáo hiển thị điểm tổng thể với ngưỡng Tốt (80) và Rủi ro (60), xu hướng 30 ngày, mức chênh so với lần chạy trước trên trung bình trượt 7 ngày, và điểm trung bình theo từng tác tử để một tác tử suy giảm không bị che khuất trong tổng điểm của dự án.

Một tác vụ chạy hằng ngày lúc 03:00 UTC và lấy mẫu khoảng 17% số trace của ngày hôm trước trên toàn dự án. Việc lấy mẫu là một hàm băm xác định trên ID trace thay vì lựa chọn chọn lọc, nên điểm số phản ánh lưu lượng đại diện thay vì các ví dụ được chọn tay. Bộ đánh giá là một LLM, nên điểm số có thể khác nhau giữa các lần chạy.

Bất kỳ trace nào đạt dưới 60 ở bất kỳ bộ đánh giá nào đều bị gắn cờ để xem xét và được liệt kê trên báo cáo. Mỗi dòng bị gắn cờ lưu một đoạn trích của prompt và phản hồi (khoảng 500 ký tự) kèm liên kết đến trace, nên một phát hiện không bao giờ chỉ là một con số mà thiếu cuộc hội thoại phía sau.

Không. Việc đánh giá hoàn toàn bất đồng bộ và chạy sau sự kiện trên các trace đã lưu. Không có gì trong báo cáo này nằm trong luồng yêu cầu, làm tăng độ trễ cho một lệnh gọi mô hình hay chặn một phản hồi.

Rào chắn bảo vệ thực thi những gì một chính sách có thể định nghĩa trước — một lần khớp guard, một từ khóa, một vi phạm phạm vi — và xử lý ngay trong luồng, theo thời gian thực. Thiên lệch và bất công hiếm khi tự lộ diện rõ ràng như vậy. Báo cáo Đạo đức & thiên lệch đo lường chúng liên tục sau sự kiện, trên lưu lượng mà các tác tử của bạn thực sự phục vụ. Mức độ bao phủ khung hiện chưa dựa trên các kết quả này.