Red-team AI Agent ของคุณ
ก่อนที่ผู้โจมตี
จะทำแทนคุณ

Project Moonshot คือชุดเครื่องมือทดสอบ LLM แบบเปิดจาก AI Verify Foundation หน่วยงานทดสอบด้านธรรมาภิบาล AI ของสิงคโปร์ มีแคตตาล็อกเกณฑ์มาตรฐานที่จัดเป็น cookbook และสูตร ครอบคลุมความปลอดภัย อคติ ความทนทานต่อ jailbreak การรั่วไหลของข้อมูลส่วนบุคคล และขีดความสามารถ รวมถึง attack module สำหรับ red-teaming เชิงปรปักษ์ Obiguard รันแคตตาล็อกนั้นภายในโปรเจกต์ของคุณเอง กับ AI Agent ที่คุณลงทะเบียนไว้

การรันเกณฑ์มาตรฐานจะส่งชุด prompt ที่กำหนดตายตัวจากแคตตาล็อก ไม่ว่าจะเป็น cookbook หรือสูตรเดียว แล้วให้เกรดคำตอบ ผลลัพธ์จึงเปรียบเทียบได้ทั้งระหว่างการรันและระหว่างโมเดล ส่วน red-teaming ใช้ attack module ที่สำรวจเอเจนต์แบบปรับตัว แต่ละ module มีตรรกะการสิ้นสุดของตนเองแทนจำนวน prompt ตายตัว จึงเป็นการสำรวจมากกว่าการวัดผล ทีมส่วนใหญ่ใช้เกณฑ์มาตรฐานเพื่อติดตามการถดถอยในระยะยาว และใช้ attack module เพื่อค้นหาสิ่งใหม่

เกรดมาจากมาตราส่วนการให้เกรดของแต่ละสูตร และมาตราส่วนเหล่านั้นไม่ได้เหมือนกันทั้งหมด สูตรส่วนใหญ่ยิ่งสูงยิ่งดี โดย A คือ 80–100 และ E คือ 0–19 สูตร AdvGLUE และ toxicity กลับด้านดังกล่าว เพราะคะแนนดิบวัดความสำเร็จของการโจมตีหรือความเป็นพิษ ไม่ใช่ประสิทธิภาพ สูตร MLCommons ไม่ใช้ตัวอักษรเลย แต่แบ่งเป็นระดับตั้งแต่ Low Risk ถึง High Risk Obiguard แสดงเกรดพร้อมมาตราส่วนเสมอ เพราะคะแนนดิบที่ไม่มีมาตราส่วนไม่มีความหมาย

AI Agent ใดก็ได้ที่ลงทะเบียนในโปรเจกต์ Obiguard จะระบุเอเจนต์ไปยัง provider connector และโมเดล แล้วฉีดข้อมูลรับรองฝั่งเซิร์ฟเวอร์ในแต่ละการรัน พอร์ทัลจึงไม่เคยจัดการโทเคนของผู้ให้บริการ คุณเลือกได้ว่าจะทดสอบ system prompt ปัจจุบันของเอเจนต์ prompt อื่นจากรีจิสทรี หรือ prompt ที่กำหนดเอง ซึ่งเป็นวิธีที่ทีมใช้ทดสอบเทียบมาตรฐานการเปลี่ยนแปลง prompt ก่อนขึ้นระบบจริง

ไม่ การรันจะถูกส่งเป็นเซสชันทดสอบเกณฑ์มาตรฐานหรือ red-teaming แยกต่างหากกับโมเดลเป้าหมาย ไม่ได้อยู่บนเส้นทางคำขอจริงของคุณ และไม่ใช้งบประมาณการบังคับใช้นโยบายของคุณ หน้า Evaluations อ่านสถานะจากการรันที่เสร็จสมบูรณ์ล่าสุดของแต่ละเป้าหมาย การรันเก่ากับโมเดลที่ถูกแทนที่แล้วจึงไม่ทำให้เกรดหลักผันผวน

ใช่ แต่ละการรันจะถูกเก็บไว้กับโปรเจกต์ พร้อมเป้าหมาย prompt ที่ทดสอบ เวอร์ชันของแคตตาล็อก เกรดที่ได้ และสูตรที่ไม่ผ่าน และแสดงในพอร์ทัล บันทึกนั้นเป็นหลักฐานของการทดสอบเชิงปรปักษ์ที่คุณส่งมอบให้ผู้ตรวจสอบได้ การรันที่เสร็จสมบูรณ์ในช่วง 90 วันล่าสุดนับเป็นหลักฐานสำหรับ NIST MEASURE 2.7 ใน Framework Mapping ส่วน Testing & Assurance ของ MGF ยังต้องใช้การทดสอบโดยบุคคลที่สาม จึงยังคงเป็นไม่ครอบคลุม