Red-team các tác tử AI của bạn
trước khi kẻ tấn công
làm điều đó thay bạn.

Project Moonshot là bộ công cụ kiểm thử LLM mở của AI Verify Foundation, tổ chức kiểm thử quản trị AI của Singapore. Bộ công cụ cung cấp một danh mục các bài đo chuẩn — được tổ chức thành cookbook và recipe bao gồm an toàn, thiên lệch, khả năng chống jailbreak, rò rỉ quyền riêng tư và năng lực — cùng các attack module red-team đối kháng. Obiguard chạy danh mục đó ngay trong dự án của bạn, trên các AI Agent bạn đã đăng ký.

Một lần chạy đo chuẩn gửi một danh mục prompt cố định — một cookbook hoặc một recipe đơn lẻ — và chấm điểm các câu trả lời, nên kết quả có thể so sánh giữa các lần chạy và giữa các mô hình. Red-team dùng các attack module thăm dò tác tử một cách thích ứng; mỗi mô-đun tự quyết định logic kết thúc của mình thay vì dùng số lượng prompt cố định, nên nó khám phá chứ không đo lường. Hầu hết các đội dùng đo chuẩn để theo dõi hồi quy theo thời gian và dùng attack module để tìm ra điều mới.

Điểm số đến từ thang chấm điểm riêng của từng recipe, và các thang này không hoàn toàn giống nhau. Hầu hết recipe càng cao càng tốt, trong đó A là 80–100 và E là 0–19. Các recipe AdvGLUE và toxicity đảo ngược điều đó, vì điểm thô của chúng đo tỷ lệ tấn công thành công hoặc độ độc hại thay vì hiệu năng. Các recipe MLCommons hoàn toàn không dùng chữ cái mà chia thành các mức từ Low Risk đến High Risk. Obiguard luôn hiển thị điểm cùng thang đo của nó, vì một điểm thô không có thang đo thì vô nghĩa.

Bất kỳ AI Agent nào đã đăng ký trong dự án. Obiguard xác định tác tử tới trình kết nối nhà cung cấp và mô hình của nó, và chèn thông tin xác thực phía máy chủ cho mỗi lần chạy, nên cổng thông tin không bao giờ xử lý token của nhà cung cấp. Bạn chọn kiểm thử system prompt hiện tại của tác tử, một prompt khác từ sổ đăng ký, hoặc một prompt tùy chỉnh — đó là cách các đội đo chuẩn một thay đổi prompt trước khi nó đến môi trường production.

Không. Các lần chạy được điều phối như các phiên đo chuẩn hoặc red-team riêng biệt nhắm vào mô hình mục tiêu; chúng không nằm trên đường yêu cầu trực tiếp của bạn và không tiêu tốn ngân sách thực thi chính sách của bạn. Trang Đánh giá đọc tình trạng từ lần chạy hoàn tất gần nhất của mỗi mục tiêu, nên một lần chạy cũ với mô hình đã bị thay thế không thể làm lệch điểm tổng.

Có. Mỗi lần chạy được lưu giữ theo dự án cùng mục tiêu, prompt được kiểm thử, phiên bản danh mục, điểm số thu được và mọi recipe thất bại, và được hiển thị trong cổng thông tin. Hồ sơ đó là bằng chứng của việc kiểm thử đối kháng mà bạn có thể trao cho kiểm toán viên. Một lần chạy hoàn tất trong 90 ngày gần nhất được tính là bằng chứng cho NIST MEASURE 2.7 trong Ánh xạ khung; Kiểm thử & Đảm bảo của MGF vẫn đòi hỏi kiểm thử bởi bên thứ ba, nên nó vẫn ở trạng thái chưa bao phủ.