在攻击者动手之前，
先对您的 AI 智能体
做红队测试。

Project Moonshot 是 AI Verify Foundation（新加坡的 AI 治理测试机构）推出的开放 LLM 测试工具包。它提供基准测试目录——按 cookbook 和 recipe 组织，涵盖安全性、偏见、越狱抵御、隐私泄露和能力——以及对抗性红队攻击模块。Obiguard 在您自己的项目内运行该目录，针对您已注册的 AI 智能体进行测试。

基准测试运行会发送固定的提示词目录——一个 cookbook 或单个 recipe——并对答案评级，因此不同运行之间、不同模型之间的结果具有可比性。红队测试使用自适应探测智能体的攻击模块；每个模块都有自己的终止逻辑，而不是固定的提示词数量，因此它是探索而非衡量。多数团队用基准测试跟踪长期的回归情况，用攻击模块去发现新问题。

评级来自每个 recipe 自身的评级量表，而这些量表并不完全相同。多数 recipe 越高越好，其中 A 为 80–100，E 为 0–19。AdvGLUE 和毒性 recipe 则相反，因为它们的原始分数衡量的是攻击成功率或毒性，而不是性能。MLCommons recipe 完全不使用字母，而是划分为从低风险到高风险的等级。Obiguard 始终连同量表一起呈现评级，因为脱离量表的原始分数毫无意义。

项目中注册的任何 AI 智能体。Obiguard 会将智能体解析为其提供商连接器和模型，并在每次运行时于服务器端注入凭据，因此门户从不接触提供商令牌。您可以选择测试智能体当前的系统提示词、注册表中的其他提示词，或自定义提示词——团队正是借此在提示词变更进入生产环境之前对其进行基准测试。

不会。运行是作为针对目标模型的独立基准测试或红队测试会话分派的；它们不在您的实时请求路径上，也不会消耗您的策略执行额度。评估页面根据每个目标最近一次完成的运行来读取态势，因此针对已被替换模型的旧运行不会拖动首要评级。

会。每次运行都会连同其目标、被测提示词、目录版本、所得评级以及任何失败的 recipe 一并保留在项目下，并在门户中显示。该记录是您可以交给审计人员的对抗性测试证据。最近 90 天内完成的运行，在框架映射中计为 NIST MEASURE 2.7 的证据；MGF 的 Testing & Assurance 仍要求第三方测试，因此仍未覆盖。