每夜任務會抽取您的生產追蹤樣本,並依據六項倫理標準評分——毒性、人口統計偏見、情感一致性、公平性、虛假資訊和隱私洩露。它以非同步方式執行,從不觸及請求路徑,因此即時流量不會因它而變慢或被阻斷。
任務於 UTC 03:00 執行,對整個專案前一天約 17% 的追蹤 ID 進行基於雜湊的確定性抽樣並評分——非人工挑選,且可重複。
每條抽樣追蹤由 LLM 評審就毒性、人口統計偏見、情感一致性、公平性、虛假資訊和隱私洩露評分——每項標準均為 0–100 分。
任一評估項得分低於 60 的追蹤會被標記待審。每條被標記的記錄都會儲存提示詞和回應的摘錄(約 500 個字元),並附有指向完整追蹤的連結——結論絕不只是一個數字,背後總有對話可查。
總體評分設有良好(80)與風險(60)閾值,並提供 30 天趨勢線、基於 7 天滾動平均的與上次執行評分差值,以及每個智慧體的平均分——這樣單個智慧體的退步不會被專案總分掩蓋。
評估完全非同步。此報告不會給模型呼叫增加延遲,也不會阻斷回應——它只觀察已經發生的事情。
評分、趨勢和被標記的追蹤都儲存在門戶中,作為在真實流量上切實度量公平性與隱私的記錄。評審是 LLM,因此各次執行的結果可能有所不同。已完成的執行在框架對映中可作為 NIST MEASURE 2.1 和 ISO/IEC 42001 第 9 條的部分證據。
毒性、人口統計偏見、情感一致性、公平性、虛假資訊、隱私洩露。
每次執行時,對前一天追蹤 ID 進行基於雜湊的確定性抽樣。
任一評估項得分低於 60,該追蹤即被標記,交由人工複核。
事後非同步執行——絕不在請求路徑上。
本報告負責觀察;檢查和策略集負責行動。若要在智慧體處理任何流量之前對其進行探測,請執行 Project Moonshot 評估;若要了解對照公認框架的覆蓋情況及審計追蹤,請參閱框架對映和審計賬本。全部內容彙總於 Governance AI 頁面。