จริยธรรมและอคติของ AI
วัดผลทุกคืน —
ไม่ใช่แค่คำกล่าวอ้าง

เกณฑ์ของ LLM judge หกข้อ โดยแต่ละข้อให้คะแนน 0–100 บน trace ที่สุ่มมา ได้แก่ ความเป็นพิษ อคติทางประชากร ความสอดคล้องของอารมณ์ความรู้สึก ความเป็นธรรม ข้อมูลเท็จ และการรั่วไหลของข้อมูลส่วนบุคคล รายงานแสดงคะแนนรวมพร้อมเกณฑ์ Good (80) และ Risk (60) แนวโน้ม 30 วัน ส่วนต่างคะแนนเทียบกับรอบก่อนหน้าบนค่าเฉลี่ยเคลื่อนที่ 7 วัน และค่าเฉลี่ยรายเอเจนต์ เพื่อไม่ให้เอเจนต์ที่แย่ลงถูกซ่อนอยู่ในคะแนนรวมของโปรเจกต์

งานจะทำงานทุกวันเวลา 03:00 UTC และสุ่มตัวอย่างประมาณ 17% ของ trace จากวันก่อนหน้าทั่วทั้งโปรเจกต์ การสุ่มใช้ค่าแฮชของ trace ID แบบกำหนดแน่นอนแทนการคัดเลือกด้วยมือ คะแนนจึงสะท้อนทราฟฟิกที่เป็นตัวแทนจริง ไม่ใช่ตัวอย่างที่เลือกมาเฉพาะ เนื่องจาก judge เป็น LLM คะแนนจึงอาจแตกต่างกันในแต่ละรอบ

trace ใดก็ตามที่ได้คะแนนต่ำกว่า 60 ในเกณฑ์ใดเกณฑ์หนึ่งจะถูกแจ้งเตือนเพื่อตรวจสอบและแสดงในรายงาน แต่ละรายการที่ถูกแจ้งเตือนจะเก็บข้อความตัดตอนของ prompt และคำตอบ (ประมาณ 500 ตัวอักษร) พร้อมลิงก์ไปยัง trace ผลการประเมินจึงไม่ใช่แค่ตัวเลขที่ปราศจากบทสนทนาประกอบ

ไม่เพิ่ม การประเมินทำงานแบบอะซิงโครนัสทั้งหมดและทำหลังเหตุการณ์เกิดขึ้นบน trace ที่จัดเก็บไว้ ไม่มีส่วนใดของรายงานนี้อยู่บนเส้นทางของคำขอ เพิ่มความหน่วงให้การเรียกโมเดล หรือขัดขวางการตอบกลับ

Guardrail บังคับใช้สิ่งที่นโยบายกำหนดไว้ล่วงหน้า เช่น การตรงกับ guard คีย์เวิร์ด หรือการละเมิดขอบเขต และดำเนินการในเส้นทางของคำขอแบบเรียลไทม์ ส่วนอคติและความไม่เป็นธรรมแทบไม่เคยแสดงตัวชัดเจนเช่นนั้น รายงานจริยธรรมและอคติจึงวัดผลอย่างต่อเนื่องหลังเหตุการณ์ บนทราฟฟิกที่ Agent ของคุณให้บริการจริง ทั้งนี้ ความครอบคลุมของกรอบมาตรฐานยังไม่ได้นำผลเหล่านี้มาใช้