தளம் · நெறிமுறை & சார்புஆறு LLM judge-கள், ஒவ்வோர் இரவும், உண்மையான போக்குவரத்தில்

AI நெறிமுறை & சார்பு,
ஒவ்வோர் இரவும் அளவிடப்படுகிறது —
வெறும் கூற்றாக அல்ல.

Q: நெறிமுறை & சார்பு அறிக்கை எதை அளவிடுகிறது?

மாதிரியெடுக்கப்பட்ட trace-இல் ஒவ்வொன்றும் 0–100 என மதிப்பிடப்படும் ஆறு LLM judge அளவுகோல்கள்: நச்சுத்தன்மை, மக்கள்தொகை சார்பு, உணர்வு நிலைத்தன்மை, நியாயத்தன்மை, தவறான தகவல் மற்றும் தனியுரிமைக் கசிவு. அறிக்கை Good (80) மற்றும் Risk (60) வரம்புகளுடன் மொத்த மதிப்பெண், 30 நாள் போக்கு, 7 நாள் நகரும் சராசரியில் முந்தைய இயக்கத்துடனான மதிப்பெண் வேறுபாடு, மற்றும் ஒவ்வொரு முகவருக்கும் சராசரியைக் காட்டுகிறது; இதனால் சரிவடையும் ஒரு முகவர் திட்டத்தின் மொத்தத்துக்குள் மறைந்துவிடாது.

Q: இது எத்தனை முறை இயங்குகிறது, எவ்வளவு போக்குவரத்தை மாதிரியெடுக்கிறது?

ஒரு பணி தினமும் 03:00 UTC-க்கு இயங்கி, திட்டம் முழுவதும் முந்தைய நாளின் trace-களில் சுமார் 17%-ஐ மாதிரியெடுக்கிறது. மாதிரியெடுத்தல் என்பது தேர்ந்தெடுக்கப்பட்ட தேர்வு அல்ல, trace ID-களின் உறுதியான hash என்பதால், மதிப்பெண் கையால் தேர்ந்தெடுத்த எடுத்துக்காட்டுகளை அல்ல, பிரதிநிதித்துவப் போக்குவரத்தைப் பிரதிபலிக்கிறது. judge ஒரு LLM என்பதால், இயக்கங்களுக்கு இடையே மதிப்பெண்கள் மாறுபடலாம்.

Q: ஒரு trace 60-க்குக் கீழ் மதிப்பெண் பெற்றால் என்ன நடக்கும்?

எந்த ஒரு மதிப்பீட்டாளரிலும் 60-க்குக் கீழ் மதிப்பெண் பெறும் எந்த trace-உம் மதிப்பாய்வுக்காகக் குறியிடப்பட்டு அறிக்கையில் பட்டியலிடப்படும். குறியிடப்பட்ட ஒவ்வொரு வரிசையும் ப்ராம்ப்ட் மற்றும் பதிலின் ஒரு பகுதியை (சுமார் 500 எழுத்துகள்) trace-க்கான இணைப்புடன் சேமிக்கிறது; எனவே அதன் பின்னால் உள்ள உரையாடல் இல்லாமல் கண்டறிதல் வெறும் எண்ணாக இருக்காது.

Q: நெறிமுறை மதிப்பீடு மாடல் அழைப்புகளுக்குத் தாமதத்தைச் சேர்க்குமா?

இல்லை. மதிப்பீடு முழுமையாக ஒத்திசைவற்றது; சேமிக்கப்பட்ட trace-களுக்கு எதிராக நிகழ்ந்த பின் இயங்குகிறது. இந்த அறிக்கையில் எதுவும் கோரிக்கைப் பாதையில் இல்லை, மாடல் அழைப்புக்குத் தாமதத்தைச் சேர்ப்பதில்லை, பதிலைத் தடுப்பதும் இல்லை.

Q: இது பாதுகாப்பு வேலிகளிலிருந்து எவ்வாறு வேறுபடுகிறது?

முன்கூட்டியே கொள்கையால் வரையறுக்கக்கூடியவற்றை — guard பொருத்தம், keyword, வரம்பு மீறல் — பாதுகாப்பு வேலிகள் செயல்படுத்தி, பாதையிலேயே நிகழ்நேரத்தில் நடவடிக்கை எடுக்கின்றன. சார்பும் நியாயமின்மையும் அவ்வளவு தெளிவாக வெளிப்படுவது அரிது. நெறிமுறை & சார்பு அறிக்கை, உங்கள் முகவர்கள் உண்மையில் சேவை செய்த போக்குவரத்தில் அவற்றை நிகழ்ந்த பின் தொடர்ந்து அளவிடுகிறது. கட்டமைப்பு உள்ளடக்கம் இந்த முடிவுகளை இன்னும் பயன்படுத்துவதில்லை.

ஓர் இரவுப் பணி உங்கள் உற்பத்தி trace-களை மாதிரியெடுத்து, ஆறு நெறிமுறை அளவுகோல்களுக்கு எதிராக மதிப்பெண் இடுகிறது — நச்சுத்தன்மை, மக்கள்தொகை சார்பு, உணர்வு நிலைத்தன்மை, நியாயத்தன்மை, தவறான தகவல் மற்றும் தனியுரிமைக் கசிவு. இது ஒத்திசைவின்றி இயங்குகிறது, கோரிக்கைப் பாதையைத் தொடுவதே இல்லை; எனவே நேரலைப் போக்குவரத்து இதனால் மெதுவாவதோ தடுக்கப்படுவதோ இல்லை.

01 / அறிக்கை எவ்வாறு செயல்படுகிறது

ஒவ்வோர் இரவும் மாதிரியெடுக்கப்படும். 0–100 மதிப்பெண். 60-க்குக் கீழ் குறியிடப்படும்.

கொள்கையால் முன்கூட்டியே வரையறுக்கக்கூடியதை பாதுகாப்பு வேலிகள் பிடிக்கின்றன. சார்பும் நியாயமின்மையும் அவ்வளவு தெளிவாக வெளிப்படுவது அரிது — எனவே உங்கள் முகவர்கள் உண்மையில் சேவை செய்த போக்குவரத்தில் Obiguard அவற்றைத் தொடர்ந்து அளவிடுகிறது.

01 — மாதிரி

இரவு நேர மாதிரி

ஒரு பணி 03:00 UTC-க்கு இயங்கி, திட்டம் முழுவதும் முந்தைய நாளின் trace ID-களில் சுமார் 17%-ஐ, hash அடிப்படையிலான உறுதியான மாதிரியாக மதிப்பிடுகிறது — கையால் தேர்ந்தெடுக்கப்பட்டது அல்ல, மீண்டும் உருவாக்கத்தக்கது.

03:00 UTC · ~17% trace-கள்

02 — JUDGE

ஆறு மதிப்பீட்டு அளவுகோல்கள்

மாதிரியெடுக்கப்பட்ட ஒவ்வொரு trace-உம் LLM judge-களால் நச்சுத்தன்மை, மக்கள்தொகை சார்பு, உணர்வு நிலைத்தன்மை, நியாயத்தன்மை, தவறான தகவல் மற்றும் தனியுரிமைக் கசிவுக்காக மதிப்பிடப்படுகிறது — ஒவ்வோர் அளவுகோலும் 0–100 அளவில்.

6 judge-கள் · ஒவ்வொன்றும் 0–100

03 — குறியீடு

60-க்குக் கீழ் உள்ள எதுவும் குறியிடப்படும்

எந்த ஒரு மதிப்பீட்டாளரிடமும் 60-க்குக் கீழ் மதிப்பெண் பெறும் trace மதிப்பாய்வுக்காகக் குறியிடப்படும். குறியிடப்பட்ட ஒவ்வொரு வரிசையும் ப்ராம்ப்ட் மற்றும் பதிலின் ஒரு பகுதியை (சுமார் 500 எழுத்துகள்) முழு trace-க்கான இணைப்புடன் சேமிக்கிறது — அதன் பின்னால் உள்ள உரையாடல் இல்லாமல் கண்டறிதல் வெறும் எண்ணாக இருக்காது.

< 60 · குறியிடப்பட்டது · ஆழ்ந்து பார்க்கலாம்

04 — போக்கு

30 நாள் போக்கு மற்றும் முகவர் வாரியான மதிப்பெண்கள்

Good (80) மற்றும் Risk (60) வரம்புகளுடன் மொத்த மதிப்பெண், 30 நாள் போக்குக் கோடு, 7 நாள் நகரும் சராசரியில் முந்தைய இயக்கத்துடனான மதிப்பெண் வேறுபாடு, மற்றும் ஒவ்வொரு முகவருக்கும் சராசரி — இதனால் ஒரு முகவரின் சரிவு திட்டத்தின் மொத்தத்துக்குள் மறைந்துவிடாது.

30 நாள் போக்கு · ஒவ்வொரு முகவருக்கும்

05 — தடையற்றது

கோரிக்கைப் பாதையில் ஒருபோதும் இல்லை

மதிப்பீடு முழுமையாக ஒத்திசைவற்றது. இந்த அறிக்கையில் எதுவும் மாடல் அழைப்புக்குத் தாமதத்தைச் சேர்க்காது, பதிலைத் தடுக்காது — ஏற்கனவே நடந்ததை மட்டுமே கவனிக்கிறது.

ஒத்திசைவற்றது · கூடுதல் தாமதம் இல்லை

06 — சான்று

நீங்கள் மதிப்பாய்வு செய்யக்கூடிய முடிவுகள்

மதிப்பெண்கள், போக்குகள் மற்றும் குறியிடப்பட்ட trace-கள், நேரலைப் போக்குவரத்தில் நியாயத்தன்மையும் தனியுரிமையும் உண்மையில் அளவிடப்படுகின்றன என்பதற்கான பதிவாக போர்ட்டலில் வைக்கப்படுகின்றன. judge ஒரு LLM என்பதால், இயக்கங்களுக்கு இடையே முடிவுகள் மாறுபடலாம். முடிந்த இயக்கங்கள், கட்டமைப்பு வரைபடமாக்கலில் NIST MEASURE 2.1 மற்றும் ISO/IEC 42001 பிரிவு 9-க்கு பகுதிச் சான்றாகக் கணக்கிடப்படுகின்றன.

மதிப்பெண்கள் · போக்கு · குறியிடப்பட்ட trace-கள்

Judge அளவுகோல்கள்

நச்சுத்தன்மை, மக்கள்தொகை சார்பு, உணர்வு நிலைத்தன்மை, நியாயத்தன்மை, தவறான தகவல், தனியுரிமைக் கசிவு.

17%

இரவில் மாதிரியெடுக்கப்படும் trace-கள்

ஒவ்வோர் இயக்கத்திலும் எடுக்கப்படும், முந்தைய நாளின் trace ID-களின் hash அடிப்படையிலான உறுதியான மாதிரி.

குறியிடும் வரம்பு

எந்த ஒரு மதிப்பீட்டாளரிலும் 60-க்குக் கீழ் மதிப்பெண் பெற்றால், trace மனித மதிப்பாய்வுக்காகக் குறியிடப்படும்.

0ms

கூடுதல் தாமதம்

நிகழ்ந்த பின் ஒத்திசைவின்றி இயங்குகிறது — கோரிக்கைப் பாதையில் ஒருபோதும் இல்லை.

03 / கேள்விகள்

நெறிமுறை மதிப்பெண்,
விளக்கம்.

ஆறு judge-களும் எதை அளவிடுகின்றன, மாதிரியெடுத்தல் எவ்வாறு செயல்படுகிறது, இது ஏன் பாதுகாப்பு வேலிகளுக்குள் அல்லாமல் அவற்றுக்குப் பக்கத்தில் உள்ளது.

SE-யுடன் பேசுங்கள் →

நெறிமுறை & சார்பு அறிக்கை எதை அளவிடுகிறது?[01]

மாதிரியெடுக்கப்பட்ட trace-இல் ஒவ்வொன்றும் 0–100 என மதிப்பிடப்படும் ஆறு LLM judge அளவுகோல்கள்: நச்சுத்தன்மை, மக்கள்தொகை சார்பு, உணர்வு நிலைத்தன்மை, நியாயத்தன்மை, தவறான தகவல் மற்றும் தனியுரிமைக் கசிவு. அறிக்கை Good (80) மற்றும் Risk (60) வரம்புகளுடன் மொத்த மதிப்பெண், 30 நாள் போக்கு, 7 நாள் நகரும் சராசரியில் முந்தைய இயக்கத்துடனான மதிப்பெண் வேறுபாடு, மற்றும் ஒவ்வொரு முகவருக்கும் சராசரியைக் காட்டுகிறது; இதனால் சரிவடையும் ஒரு முகவர் திட்டத்தின் மொத்தத்துக்குள் மறைந்துவிடாது.

இது எத்தனை முறை இயங்குகிறது, எவ்வளவு போக்குவரத்தை மாதிரியெடுக்கிறது?[02]