平台 · 伦理与偏见六位 LLM 评审,每晚针对真实流量

AI 伦理与偏见,
每夜度量——
而非空口声明。

每夜任务会抽取您的生产追踪样本,并依据六项伦理标准评分——毒性、人口统计偏见、情感一致性、公平性、虚假信息和隐私泄露。它以异步方式运行,从不触及请求路径,因此实时流量不会因它而变慢或被阻断。

01 / 报告如何运作

每夜抽样。评分 0–100。低于 60 即标记。

护栏能拦截策略可以预先定义的内容。而偏见和不公平很少如此明显地暴露自己——因此 Obiguard 针对您的智能体实际服务的流量持续进行度量。
01 — 抽样

每夜抽样

任务于 UTC 03:00 运行,对整个项目前一天约 17% 的追踪 ID 进行基于哈希的确定性抽样并评分——非人工挑选,且可重复。

03:00 UTC · 约 17% 的追踪
02 — 评审

六项评估标准

每条抽样追踪由 LLM 评审就毒性、人口统计偏见、情感一致性、公平性、虚假信息和隐私泄露评分——每项标准均为 0–100 分。

6 位评审 · 各 0–100
03 — 标记

低于 60 即被标记

任一评估项得分低于 60 的追踪会被标记待审。每条被标记的记录都会保存提示词和响应的摘录(约 500 个字符),并附有指向完整追踪的链接——结论绝不只是一个数字,背后总有对话可查。

< 60 · 已标记 · 可下钻
04 — 趋势

30 天趋势与各智能体评分

总体评分设有良好(80)与风险(60)阈值,并提供 30 天趋势线、基于 7 天滚动平均的与上次运行评分差值,以及每个智能体的平均分——这样单个智能体的退步不会被项目总分掩盖。

30 天趋势 · 按智能体
05 — 非阻塞

绝不在请求路径上

评估完全异步。此报告不会给模型调用增加延迟,也不会阻断响应——它只观察已经发生的事情。

异步 · 零额外延迟
06 — 证据

可供复核的结果

评分、趋势和被标记的追踪都保存在门户中,作为在真实流量上切实度量公平性与隐私的记录。评审是 LLM,因此各次运行的结果可能有所不同。已完成的运行在框架映射中可作为 NIST MEASURE 2.1 和 ISO/IEC 42001 第 9 条的部分证据。

评分 · 趋势 · 被标记的追踪
6
评审标准

毒性、人口统计偏见、情感一致性、公平性、虚假信息、隐私泄露。

17%
每夜抽样的追踪

每次运行时,对前一天追踪 ID 进行基于哈希的确定性抽样。

60
标记阈值

任一评估项得分低于 60,该追踪即被标记,交由人工复核。

0ms
额外延迟

事后异步运行——绝不在请求路径上。

03 / 常见问题

伦理评分,
一文讲清。

六位评审度量什么、抽样如何运作,以及为何它与护栏并列而非内置于护栏之中。

联系解决方案工程师 →

伦理与偏见报告度量什么?[01]

六项 LLM 评审标准,每项对抽样追踪评 0–100 分:毒性、人口统计偏见、情感一致性、公平性、虚假信息和隐私泄露。报告展示设有良好(80)与风险(60)阈值的总体评分、30 天趋势、基于 7 天滚动平均的与上次运行评分差值,以及每个智能体的平均分,使单个退步的智能体不会被项目总分掩盖。

它多久运行一次,抽样多少流量?[02]

任务每天 UTC 03:00 运行,对整个项目前一天约 17% 的追踪进行抽样。抽样基于追踪 ID 的确定性哈希,而非人工挑选,因此评分反映的是具有代表性的流量,而不是精心挑选的样例。评审是 LLM,因此各次运行的评分可能有所不同。

追踪得分低于 60 会怎样?[03]

任一评估项得分低于 60 的追踪都会被标记待审,并列入报告。每条被标记的记录都会保存提示词和响应的摘录(约 500 个字符),并附有指向该追踪的链接,因此结论绝不只是一个数字,背后总有对话可查。

伦理评估会给模型调用增加延迟吗?[04]

不会。评估完全异步,在事后针对已存储的追踪运行。此报告中没有任何环节位于请求路径上、增加模型调用延迟或阻断响应。

这与护栏有何不同?[05]

护栏执行策略可以预先定义的内容——护栏匹配、关键词、范围违规——并在请求路径中实时处理。偏见和不公平很少如此明显地暴露自己。伦理与偏见报告则在事后持续度量它们,针对的是您的智能体实际服务的流量。框架覆盖率目前尚未采用这些结果。
04 / 相关内容

事后度量,当下执行。

本报告负责观察;检查和策略集负责行动。若要在智能体处理任何流量之前对其进行探测,请运行 Project Moonshot 评估;若要了解对照公认框架的覆盖情况及审计追踪,请参阅框架映射和审计账本。全部内容汇总于 Governance AI 页面。