Platform · Etika & BiasEnam LLM judge, setiap malam, pada lalu lintas nyata

Etika & bias AI,
diukur setiap malam —
bukan sekadar klaim.

Q: Apa yang diukur oleh laporan Etika & Bias?

Enam kriteria LLM judge, masing-masing dinilai 0–100 pada trace yang disampel: toksisitas, bias demografis, konsistensi sentimen, keadilan, misinformasi, dan kebocoran privasi. Laporan menampilkan skor keseluruhan dengan ambang Baik (80) dan Risiko (60), tren 30 hari, selisih skor terhadap proses sebelumnya pada rata-rata bergulir 7 hari, dan rata-rata per agen sehingga satu agen yang menurun tidak tersembunyi di dalam total proyek.

Q: Seberapa sering berjalan, dan berapa banyak lalu lintas yang disampel?

Pekerjaan berjalan setiap hari pada pukul 03:00 UTC dan mengambil sampel sekitar 17% dari trace hari sebelumnya di seluruh proyek. Pengambilan sampel menggunakan hash deterministik dari ID trace, bukan pemilihan manual, sehingga skor mencerminkan lalu lintas yang representatif, bukan contoh yang dipilih sendiri. Judge-nya adalah LLM, sehingga skor dapat berbeda antar proses.

Q: Apa yang terjadi ketika trace mendapat skor di bawah 60?

Setiap trace dengan skor di bawah 60 pada evaluator mana pun ditandai untuk ditinjau dan dicantumkan dalam laporan. Setiap baris yang ditandai menyimpan kutipan prompt dan respons (sekitar 500 karakter) dengan tautan ke trace, sehingga temuan tidak pernah berupa angka tanpa percakapan di baliknya.

Q: Apakah evaluasi etika menambah latensi pada panggilan model?

Tidak. Evaluasi sepenuhnya asinkron dan berjalan setelah kejadian terhadap trace yang tersimpan. Tidak ada bagian dari laporan ini yang berada di jalur permintaan, menambah latensi pada panggilan model, atau memblokir respons.

Q: Apa bedanya dengan guardrail?

Guardrail menegakkan apa yang dapat ditentukan oleh kebijakan di muka — kecocokan guard, kata kunci, pelanggaran cakupan — dan bertindak atasnya dalam alur, secara real time. Bias dan ketidakadilan jarang muncul sejelas itu. Laporan Etika & Bias mengukurnya secara berkelanjutan setelah kejadian, pada lalu lintas yang benar-benar dilayani agen Anda. Cakupan kerangka kerja belum menggunakan hasil ini.

Pekerjaan malam hari mengambil sampel trace produksi Anda dan menilainya terhadap enam kriteria etika — toksisitas, bias demografis, konsistensi sentimen, keadilan, misinformasi, dan kebocoran privasi. Berjalan secara asinkron dan tidak pernah menyentuh jalur permintaan, sehingga lalu lintas langsung tidak pernah diperlambat atau diblokir olehnya.

01 / Cara kerja laporan

Disampel setiap malam. Dinilai 0–100. Ditandai jika di bawah 60.

Guardrail menangkap apa yang dapat ditentukan oleh kebijakan di muka. Bias dan ketidakadilan jarang muncul sejelas itu — sehingga Obiguard mengukurnya secara berkelanjutan, pada lalu lintas yang benar-benar dilayani agen Anda.

01 — SAMPEL

Sampel setiap malam

Pekerjaan berjalan pada pukul 03:00 UTC dan menilai sampel deterministik berbasis hash sekitar 17% dari ID trace hari sebelumnya di seluruh proyek — tidak dipilih manual, dan dapat diulang.

03:00 UTC · ~17% trace

02 — JUDGE

Enam kriteria evaluator

Setiap trace yang disampel dinilai oleh LLM judge untuk toksisitas, bias demografis, konsistensi sentimen, keadilan, misinformasi, dan kebocoran privasi — setiap kriteria pada skala 0–100.

6 judge · masing-masing 0–100

03 — TANDAI

Apa pun di bawah 60 ditandai

Trace dengan skor di bawah 60 pada salah satu evaluator ditandai untuk ditinjau. Setiap baris yang ditandai menyimpan kutipan prompt dan respons (sekitar 500 karakter) dengan tautan ke trace lengkap — temuan tidak pernah berupa angka tanpa percakapan di baliknya.

< 60 · ditandai · telusuri lebih dalam

04 — TREN

Tren 30 hari dan skor per agen

Skor keseluruhan dengan ambang Baik (80) dan Risiko (60), garis tren 30 hari, selisih skor terhadap proses sebelumnya pada rata-rata bergulir 7 hari, dan rata-rata per agen — sehingga satu agen yang menurun tidak tersembunyi di dalam total proyek.

Tren 30 hari · per agen

05 — TIDAK MEMBLOKIR

Tidak pernah di jalur permintaan

Evaluasi sepenuhnya asinkron. Tidak ada yang dalam laporan ini menambah latensi pada panggilan model atau memblokir respons — laporan hanya mengamati apa yang sudah terjadi.

Asinkron · tanpa tambahan latensi

06 — BUKTI

Hasil yang dapat Anda tinjau

Skor, tren, dan trace yang ditandai disimpan di portal sebagai catatan bahwa keadilan dan privasi benar-benar diukur pada lalu lintas langsung. Judge-nya adalah LLM, sehingga hasil dapat berbeda antar proses. Proses yang selesai dihitung sebagai bukti parsial untuk NIST MEASURE 2.1 dan klausul 9 ISO/IEC 42001 dalam Pemetaan Kerangka Kerja.

Skor · tren · trace yang ditandai

Kriteria judge

Toksisitas, bias demografis, konsistensi sentimen, keadilan, misinformasi, kebocoran privasi.

17%

Trace disampel setiap malam

Sampel deterministik berbasis hash dari ID trace hari sebelumnya, diambil pada setiap proses.

Ambang penandaan

Skor di bawah 60 pada evaluator mana pun dan trace ditandai untuk tinjauan manusia.

0ms

Latensi tambahan

Berjalan secara asinkron setelah kejadian — tidak pernah di jalur permintaan.

03 / FAQ

Penilaian etika,
dijelaskan.

Apa yang diukur oleh keenam judge, bagaimana pengambilan sampel bekerja, dan mengapa ini berdampingan dengan guardrail, bukan di dalamnya.

Bicara dengan SE →

Apa yang diukur oleh laporan Etika & Bias?[01]