每夜任务会抽取您的生产追踪样本,并依据六项伦理标准评分——毒性、人口统计偏见、情感一致性、公平性、虚假信息和隐私泄露。它以异步方式运行,从不触及请求路径,因此实时流量不会因它而变慢或被阻断。
任务于 UTC 03:00 运行,对整个项目前一天约 17% 的追踪 ID 进行基于哈希的确定性抽样并评分——非人工挑选,且可重复。
每条抽样追踪由 LLM 评审就毒性、人口统计偏见、情感一致性、公平性、虚假信息和隐私泄露评分——每项标准均为 0–100 分。
任一评估项得分低于 60 的追踪会被标记待审。每条被标记的记录都会保存提示词和响应的摘录(约 500 个字符),并附有指向完整追踪的链接——结论绝不只是一个数字,背后总有对话可查。
总体评分设有良好(80)与风险(60)阈值,并提供 30 天趋势线、基于 7 天滚动平均的与上次运行评分差值,以及每个智能体的平均分——这样单个智能体的退步不会被项目总分掩盖。
评估完全异步。此报告不会给模型调用增加延迟,也不会阻断响应——它只观察已经发生的事情。
评分、趋势和被标记的追踪都保存在门户中,作为在真实流量上切实度量公平性与隐私的记录。评审是 LLM,因此各次运行的结果可能有所不同。已完成的运行在框架映射中可作为 NIST MEASURE 2.1 和 ISO/IEC 42001 第 9 条的部分证据。
毒性、人口统计偏见、情感一致性、公平性、虚假信息、隐私泄露。
每次运行时,对前一天追踪 ID 进行基于哈希的确定性抽样。
任一评估项得分低于 60,该追踪即被标记,交由人工复核。
事后异步运行——绝不在请求路径上。
本报告负责观察;检查和策略集负责行动。若要在智能体处理任何流量之前对其进行探测,请运行 Project Moonshot 评估;若要了解对照公认框架的覆盖情况及审计追踪,请参阅框架映射和审计账本。全部内容汇总于 Governance AI 页面。