Red-team ejen AI anda
sebelum penyerang
melakukannya untuk anda.

Project Moonshot ialah kit alat ujian LLM terbuka daripada AI Verify Foundation, badan ujian tadbir urus AI Singapura. Ia menyediakan katalog tanda aras — disusun sebagai cookbook dan resipi yang merangkumi keselamatan, bias, ketahanan jailbreak, kebocoran privasi dan keupayaan — serta modul serangan red-teaming adversarial. Obiguard menjalankan katalog itu di dalam projek anda sendiri, terhadap Ejen AI yang telah anda daftarkan.

Larian tanda aras menghantar katalog prompt yang tetap — satu cookbook atau satu resipi — dan menggred jawapan, jadi keputusan boleh dibandingkan antara larian dan antara model. Red-teaming menggunakan modul serangan yang menyiasat ejen secara adaptif; setiap modul mempunyai logik penamatnya sendiri dan bukannya bilangan prompt yang tetap, jadi ia meneroka dan bukannya mengukur. Kebanyakan pasukan menggunakan tanda aras untuk menjejak regresi dari semasa ke semasa dan modul serangan untuk menemui sesuatu yang baharu.

Gred datang daripada skala gredan setiap resipi, dan skala itu tidak semuanya sama. Kebanyakan resipi semakin tinggi semakin baik, di mana A ialah 80–100 dan E ialah 0–19. Resipi AdvGLUE dan toksisiti membalikkannya, kerana skor mentah mereka mengukur kejayaan serangan atau toksisiti dan bukannya prestasi. Resipi MLCommons langsung tidak menggunakan huruf dan dibahagikan kepada Risiko Rendah hingga Risiko Tinggi. Obiguard sentiasa memaparkan gred bersama skalanya, kerana skor mentah tanpa skalanya tidak bermakna.

Mana-mana Ejen AI yang didaftarkan dalam projek. Obiguard menyelesaikan ejen itu kepada penyambung penyedia dan modelnya serta menyuntik kelayakan di sisi pelayan bagi setiap larian, jadi portal tidak pernah mengendalikan token penyedia. Anda memilih sama ada hendak menguji prompt sistem semasa ejen, prompt lain daripada pendaftaran, atau prompt tersuai — begitulah cara pasukan menanda aras perubahan prompt sebelum ia sampai ke pengeluaran.

Tidak. Larian dihantar sebagai sesi tanda aras atau red-teaming yang berasingan terhadap model sasaran; ia tidak berada pada laluan permintaan langsung anda dan tidak menggunakan bajet penguatkuasaan dasar anda. Halaman Penilaian membaca postur daripada larian selesai terkini bagi setiap sasaran, jadi larian lama terhadap model yang telah diganti tidak dapat mengubah-ubah gred utama.

Ya. Setiap larian disimpan terhadap projek bersama sasarannya, prompt yang diuji, versi katalog, gred yang terhasil, dan sebarang resipi yang gagal, dan ia dipaparkan dalam portal. Rekod itu ialah bukti ujian adversarial yang boleh anda serahkan kepada juruaudit. Larian selesai dalam 90 hari terakhir dikira sebagai bukti bagi NIST MEASURE 2.7 dalam Pemetaan Rangka Kerja; Testing & Assurance MGF masih memerlukan ujian pihak ketiga, jadi ia kekal tidak dilindungi.