Platform · Etika & BiasEnam hakim LLM, setiap malam, pada trafik sebenar

Etika & bias AI,
diukur setiap malam —
bukan sekadar didakwa.

Tugas malam mengambil sampel jejak pengeluaran anda dan memarkahkannya berdasarkan enam kriteria etika — ketoksikan, bias demografi, konsistensi sentimen, keadilan, maklumat salah dan kebocoran privasi. Ia berjalan secara tak segerak dan tidak pernah menyentuh laluan permintaan, jadi trafik langsung tidak pernah diperlahankan atau disekat olehnya.

01 / Cara laporan berfungsi

Disampel setiap malam. Dimarkah 0–100. Ditanda jika di bawah 60.

Pagar pengadang menangkap apa yang boleh ditakrifkan oleh sesuatu dasar terlebih dahulu. Bias dan ketidakadilan jarang menonjolkan diri dengan begitu jelas — jadi Obiguard mengukurnya secara berterusan, pada trafik yang sebenarnya dilayani oleh ejen anda.
01 — SAMPEL

Sampel setiap malam

Satu tugas berjalan pada 03:00 UTC dan memarkahkan sampel berasaskan hash yang deterministik, kira-kira 17% daripada ID jejak hari sebelumnya merentasi projek — bukan dipilih sendiri, dan boleh diulang.

03:00 UTC · ~17% jejak
02 — HAKIM

Enam kriteria penilai

Setiap jejak yang disampel dimarkahkan oleh hakim LLM berdasarkan ketoksikan, bias demografi, konsistensi sentimen, keadilan, maklumat salah dan kebocoran privasi — setiap kriteria pada skala 0–100.

6 hakim · 0–100 setiap satu
03 — TANDA

Apa-apa di bawah 60 ditandakan

Jejak yang dimarkahkan di bawah 60 oleh mana-mana satu penilai ditandakan untuk semakan. Setiap baris yang ditandakan menyimpan petikan prom dan respons (kira-kira 500 aksara) dengan pautan ke jejak penuh — dapatan tidak pernah hanya sekadar nombor tanpa perbualan di sebaliknya.

< 60 · ditandakan · lihat butiran
04 — TREND

Trend 30 hari dan skor bagi setiap ejen

Skor keseluruhan dengan ambang Baik (80) dan Risiko (60), garis trend 30 hari, perbezaan skor berbanding larian terdahulu pada purata bergerak 7 hari, dan purata bagi setiap ejen — supaya satu ejen yang merosot tidak tersembunyi dalam jumlah projek.

Trend 30 hari · bagi setiap ejen
05 — TIDAK MENYEKAT

Tidak pernah pada laluan permintaan

Penilaian sepenuhnya tak segerak. Tiada apa-apa dalam laporan ini menambah kependaman pada panggilan model atau menyekat respons — ia memerhati apa yang sudah berlaku.

Tak segerak · tiada kependaman tambahan
06 — BUKTI

Keputusan yang boleh anda semak

Skor, trend dan jejak yang ditandakan disimpan dalam portal sebagai rekod bahawa keadilan dan privasi sebenarnya diukur pada trafik langsung. Hakimnya ialah LLM, jadi keputusan boleh berbeza antara larian. Larian yang selesai dikira sebagai bukti separa untuk NIST MEASURE 2.1 dan klausa 9 ISO/IEC 42001 dalam Pemetaan Rangka Kerja.

Skor · trend · jejak yang ditandakan
6
Kriteria hakim

Ketoksikan, bias demografi, konsistensi sentimen, keadilan, maklumat salah, kebocoran privasi.

17%
Jejak disampel setiap malam

Sampel berasaskan hash yang deterministik daripada ID jejak hari sebelumnya, diambil pada setiap larian.

60
Ambang penandaan

Skor di bawah 60 pada mana-mana penilai dan jejak itu ditandakan untuk semakan manusia.

0ms
Kependaman tambahan

Berjalan secara tak segerak selepas kejadian — tidak pernah pada laluan permintaan.

03 / Soalan Lazim

Pemarkahan etika,
dijelaskan.

Apa yang diukur oleh enam hakim, cara persampelan berfungsi, dan sebab ia berada di sebelah pagar pengadang dan bukan di dalamnya.

Berbincang dengan SE →

Apakah yang diukur oleh laporan Etika & Bias?[01]

Enam kriteria hakim LLM, setiap satu dimarkahkan 0–100 pada jejak yang disampel: ketoksikan, bias demografi, konsistensi sentimen, keadilan, maklumat salah dan kebocoran privasi. Laporan menunjukkan skor keseluruhan dengan ambang Baik (80) dan Risiko (60), trend 30 hari, perbezaan skor berbanding larian terdahulu pada purata bergerak 7 hari, dan purata bagi setiap ejen supaya satu ejen yang merosot tidak tersembunyi dalam jumlah projek.

Berapa kerap ia berjalan, dan berapa banyak trafik yang disampel?[02]

Satu tugas berjalan setiap hari pada 03:00 UTC dan mensampel kira-kira 17% daripada jejak hari sebelumnya merentasi projek. Persampelan ialah hash deterministik bagi ID jejak dan bukannya pemilihan terpilih, jadi skor mencerminkan trafik yang mewakili dan bukan contoh yang dipilih sendiri. Hakimnya ialah LLM, jadi skor boleh berbeza antara larian.

Apa yang berlaku apabila jejak dimarkahkan di bawah 60?[03]

Mana-mana jejak yang dimarkahkan di bawah 60 oleh mana-mana satu penilai ditandakan untuk semakan dan disenaraikan dalam laporan. Setiap baris yang ditandakan menyimpan petikan prom dan respons (kira-kira 500 aksara) dengan pautan ke jejak, jadi dapatan tidak pernah hanya sekadar nombor tanpa perbualan di sebaliknya.

Adakah penilaian etika menambah kependaman pada panggilan model?[04]

Tidak. Penilaian sepenuhnya tak segerak dan berjalan selepas kejadian terhadap jejak yang tersimpan. Tiada apa-apa dalam laporan ini berada pada laluan permintaan, menambah kependaman pada panggilan model, atau menyekat respons.

Apakah bezanya dengan pagar pengadang?[05]

Pagar pengadang menguatkuasakan apa yang boleh ditakrifkan oleh sesuatu dasar terlebih dahulu — padanan pengadang, kata kunci, pelanggaran skop — dan bertindak ke atasnya dalam laluan, secara masa nyata. Bias dan ketidakadilan jarang menonjolkan diri dengan begitu jelas. Laporan Etika & Bias mengukurnya secara berterusan selepas kejadian, pada trafik yang sebenarnya dilayani oleh ejen anda. Liputan rangka kerja belum menggunakan keputusan ini.
04 / Berkaitan

Diukur selepas kejadian. Dikuatkuasakan pada saat itu.

Laporan ini memerhati; pemeriksaan dan Set Dasar bertindak. Untuk menguji ejen sebelum ia melayani sebarang trafik, jalankan penilaian Project Moonshot; untuk liputan terhadap rangka kerja yang diiktiraf dan jejak audit, lihat pemetaan rangka kerja dan Lejar audit. Semuanya ada pada halaman Governance AI.