平台 · 倫理與偏見六位 LLM 評審,每晚針對真實流量

AI 倫理與偏見,
每夜度量——
而非空口宣告。

每夜任務會抽取您的生產追蹤樣本,並依據六項倫理標準評分——毒性、人口統計偏見、情感一致性、公平性、虛假資訊和隱私洩露。它以非同步方式執行,從不觸及請求路徑,因此即時流量不會因它而變慢或被阻斷。

01 / 報告如何運作

每夜抽樣。評分 0–100。低於 60 即標記。

護欄能攔截策略可以預先定義的內容。而偏見和不公平很少如此明顯地暴露自己——因此 Obiguard 針對您的智慧體實際服務的流量持續進行度量。
01 — 抽樣

每夜抽樣

任務於 UTC 03:00 執行,對整個專案前一天約 17% 的追蹤 ID 進行基於雜湊的確定性抽樣並評分——非人工挑選,且可重複。

03:00 UTC · 約 17% 的追蹤
02 — 評審

六項評估標準

每條抽樣追蹤由 LLM 評審就毒性、人口統計偏見、情感一致性、公平性、虛假資訊和隱私洩露評分——每項標準均為 0–100 分。

6 位評審 · 各 0–100
03 — 標記

低於 60 即被標記

任一評估項得分低於 60 的追蹤會被標記待審。每條被標記的記錄都會儲存提示詞和回應的摘錄(約 500 個字元),並附有指向完整追蹤的連結——結論絕不只是一個數字,背後總有對話可查。

< 60 · 已標記 · 可下鑽
04 — 趨勢

30 天趨勢與各智慧體評分

總體評分設有良好(80)與風險(60)閾值,並提供 30 天趨勢線、基於 7 天滾動平均的與上次執行評分差值,以及每個智慧體的平均分——這樣單個智慧體的退步不會被專案總分掩蓋。

30 天趨勢 · 按智慧體
05 — 非阻塞

絕不在請求路徑上

評估完全非同步。此報告不會給模型呼叫增加延遲,也不會阻斷回應——它只觀察已經發生的事情。

非同步 · 零額外延遲
06 — 證據

可供複核的結果

評分、趨勢和被標記的追蹤都儲存在門戶中,作為在真實流量上切實度量公平性與隱私的記錄。評審是 LLM,因此各次執行的結果可能有所不同。已完成的執行在框架對映中可作為 NIST MEASURE 2.1 和 ISO/IEC 42001 第 9 條的部分證據。

評分 · 趨勢 · 被標記的追蹤
6
評審標準

毒性、人口統計偏見、情感一致性、公平性、虛假資訊、隱私洩露。

17%
每夜抽樣的追蹤

每次執行時,對前一天追蹤 ID 進行基於雜湊的確定性抽樣。

60
標記閾值

任一評估項得分低於 60,該追蹤即被標記,交由人工複核。

0ms
額外延遲

事後非同步執行——絕不在請求路徑上。

03 / 常見問題

倫理評分,
一文講清。

六位評審度量什麼、抽樣如何運作,以及為何它與護欄並列而非內置於護欄之中。

聯絡解決方案工程師 →

倫理與偏見報告度量什麼?[01]

六項 LLM 評審標準,每項對抽樣追蹤評 0–100 分:毒性、人口統計偏見、情感一致性、公平性、虛假資訊和隱私洩露。報告展示設有良好(80)與風險(60)閾值的總體評分、30 天趨勢、基於 7 天滾動平均的與上次執行評分差值,以及每個智慧體的平均分,使單個退步的智慧體不會被專案總分掩蓋。

它多久執行一次,抽樣多少流量?[02]

任務每天 UTC 03:00 執行,對整個專案前一天約 17% 的追蹤進行抽樣。抽樣基於追蹤 ID 的確定性雜湊,而非人工挑選,因此評分反映的是具有代表性的流量,而不是精心挑選的樣例。評審是 LLM,因此各次執行的評分可能有所不同。

追蹤得分低於 60 會怎樣?[03]

任一評估項得分低於 60 的追蹤都會被標記待審,並列入報告。每條被標記的記錄都會儲存提示詞和回應的摘錄(約 500 個字元),並附有指向該追蹤的連結,因此結論絕不只是一個數字,背後總有對話可查。

倫理評估會給模型呼叫增加延遲嗎?[04]

不會。評估完全非同步,在事後針對已儲存的追蹤執行。此報告中沒有任何環節位於請求路徑上、增加模型呼叫延遲或阻斷回應。

這與護欄有何不同?[05]

護欄執行策略可以預先定義的內容——護欄匹配、關鍵詞、範圍違規——並在請求路徑中即時處理。偏見和不公平很少如此明顯地暴露自己。倫理與偏見報告則在事後持續度量它們,針對的是您的智慧體實際服務的流量。框架覆蓋率目前尚未採用這些結果。
04 / 相關內容

事後度量,當下執行。

本報告負責觀察;檢查和策略集負責行動。若要在智慧體處理任何流量之前對其進行探測,請執行 Project Moonshot 評估;若要了解對照公認框架的覆蓋情況及審計追蹤,請參閱框架對映和審計賬本。全部內容彙總於 Governance AI 頁面。