Red-team agen AI Anda
sebelum penyerang
melakukannya untuk Anda.

Project Moonshot adalah toolkit pengujian LLM terbuka dari AI Verify Foundation, badan pengujian tata kelola AI Singapura. Toolkit ini menyediakan katalog tolok ukur — disusun sebagai cookbook dan resep yang mencakup keselamatan, bias, ketahanan terhadap jailbreak, kebocoran privasi, dan kapabilitas — ditambah modul serangan red-teaming adversarial. Obiguard menjalankan katalog tersebut di dalam proyek Anda sendiri, terhadap Agen AI yang telah Anda daftarkan.

Uji tolok ukur mengirim katalog prompt yang tetap — sebuah cookbook atau satu resep — dan menilai jawabannya, sehingga hasilnya dapat dibandingkan antar proses dan antar model. Red-teaming menggunakan modul serangan yang menyelidiki agen secara adaptif; setiap modul memiliki logika penghentiannya sendiri, bukan jumlah prompt yang tetap, sehingga bersifat menjelajah, bukan mengukur. Sebagian besar tim menggunakan uji tolok ukur untuk melacak regresi dari waktu ke waktu dan modul serangan untuk menemukan hal baru.

Nilai berasal dari skala penilaian masing-masing resep, dan skala tersebut tidak semuanya sama. Sebagian besar resep semakin tinggi semakin baik, di mana A adalah 80–100 dan E adalah 0–19. Resep AdvGLUE dan toksisitas membaliknya, karena skor mentahnya mengukur keberhasilan serangan atau toksisitas, bukan kinerja. Resep MLCommons tidak menggunakan huruf sama sekali dan dikelompokkan dari Risiko Rendah hingga Risiko Tinggi. Obiguard selalu menampilkan nilai beserta skalanya, karena skor mentah tanpa skalanya tidak bermakna.

Agen AI mana pun yang terdaftar di proyek. Obiguard menentukan konektor penyedia dan model dari agen tersebut dan menyuntikkan kredensial di sisi server pada setiap proses, sehingga portal tidak pernah menangani token penyedia. Anda memilih apakah akan menguji system prompt agen saat ini, prompt lain dari registri, atau prompt kustom — begitulah cara tim menguji tolok ukur perubahan prompt sebelum mencapai produksi.

Tidak. Proses dikirim sebagai sesi tolok ukur atau red-teaming terpisah terhadap model target; tidak berada di jalur permintaan langsung Anda dan tidak menghabiskan anggaran penegakan kebijakan Anda. Halaman Evaluasi membaca postur dari proses terakhir yang selesai per target, sehingga proses lama terhadap model yang sudah diganti tidak dapat mengubah nilai utama.

Ya. Setiap proses disimpan pada proyek beserta targetnya, prompt yang diuji, versi katalog, nilai yang dihasilkan, dan resep yang gagal, lalu ditampilkan di portal. Catatan itu adalah bukti pengujian adversarial yang dapat Anda serahkan kepada auditor. Proses yang selesai dalam 90 hari terakhir dihitung sebagai bukti untuk NIST MEASURE 2.7 dalam Pemetaan Kerangka Kerja; MGF Testing & Assurance masih mensyaratkan pengujian pihak ketiga, sehingga tetap belum tercakup.