உங்கள் AI முகவர்களை
தாக்குபவர் செய்வதற்கு முன்
நீங்களே red-team செய்யுங்கள்.

Project Moonshot என்பது சிங்கப்பூரின் AI நிர்வாகச் சோதனை அமைப்பான AI Verify Foundation-இன் திறந்த LLM சோதனைக் கருவித்தொகுப்பு. இது cookbook-கள் மற்றும் recipe-களாக ஒழுங்கமைக்கப்பட்ட benchmark-களின் பட்டியலை வழங்குகிறது — பாதுகாப்பு, சார்பு, ஜெயில்பிரேக் எதிர்ப்பு, தனியுரிமைக் கசிவு மற்றும் திறனை உள்ளடக்கியது — அத்துடன் எதிர்த்தரப்பு red-teaming தாக்குதல் தொகுதிகளையும். நீங்கள் பதிவு செய்த AI முகவர்களுக்கு எதிராக, உங்கள் சொந்தத் திட்டத்துக்குள் அந்தப் பட்டியலை Obiguard இயக்குகிறது.

benchmark இயக்கம் நிலையான ப்ராம்ப்ட் பட்டியலை — ஒரு cookbook அல்லது ஒரு recipe — அனுப்பி பதில்களைத் தரப்படுத்துகிறது; எனவே முடிவுகள் இயக்கங்களுக்கு இடையேயும் மாடல்களுக்கு இடையேயும் ஒப்பிடத்தக்கவை. Red-teaming தாக்குதல் தொகுதிகளைப் பயன்படுத்தி முகவரைத் தகவமைந்து ஆய்வு செய்கிறது; ஒவ்வொரு தொகுதியும் நிலையான ப்ராம்ப்ட் எண்ணிக்கைக்குப் பதிலாகத் தனது சொந்த முடிவு தர்க்கத்தைக் கொண்டுள்ளதால், அது அளவிடுவதை விட ஆராய்கிறது. பெரும்பாலான குழுக்கள் காலப்போக்கில் பின்னடைவைக் கண்காணிக்க benchmark-களையும், புதிதாக ஒன்றைக் கண்டறிய தாக்குதல் தொகுதிகளையும் பயன்படுத்துகின்றன.

தரங்கள் ஒவ்வொரு recipe-இன் சொந்தத் தர அளவிலிருந்து வருகின்றன; அந்த அளவுகள் அனைத்தும் ஒரே மாதிரியானவை அல்ல. பெரும்பாலான recipe-களில் அதிகமே சிறந்தது; அங்கு A என்பது 80–100, E என்பது 0–19. AdvGLUE மற்றும் நச்சுத்தன்மை recipe-கள் இதைத் தலைகீழாக்குகின்றன, ஏனெனில் அவற்றின் மூல மதிப்பெண் செயல்திறனை அல்ல, தாக்குதல் வெற்றியை அல்லது நச்சுத்தன்மையை அளவிடுகிறது. MLCommons recipe-கள் எழுத்துகளையே பயன்படுத்துவதில்லை; அதற்குப் பதிலாக Low Risk முதல் High Risk வரை பிரிக்கப்படுகின்றன. அளவு இல்லாத மூல மதிப்பெண் பொருளற்றது என்பதால், Obiguard தரத்தை எப்போதும் அதன் அளவுடன் காட்டுகிறது.

திட்டத்தில் பதிவு செய்யப்பட்ட எந்த AI முகவருக்கு எதிராகவும். Obiguard முகவரை அதன் வழங்குநர் இணைப்பி மற்றும் மாடலுக்குத் தீர்மானித்து, ஒவ்வோர் இயக்கத்துக்கும் நற்சான்றை சேவையகப் பக்கத்தில் உட்செலுத்துகிறது; எனவே போர்ட்டல் வழங்குநர் token-ஐ ஒருபோதும் கையாள்வதில்லை. முகவரின் தற்போதைய system prompt, பதிவேட்டிலுள்ள வேறொரு ப்ராம்ப்ட் அல்லது தனிப்பயன் ப்ராம்ப்ட் — எதைச் சோதிக்க வேண்டும் என்பதை நீங்களே தேர்ந்தெடுக்கிறீர்கள்; இவ்வாறுதான் குழுக்கள் ப்ராம்ப்ட் மாற்றம் உற்பத்தியை அடையும் முன் அதை benchmark செய்கின்றன.

இல்லை. இயக்கங்கள் இலக்கு மாடலுக்கு எதிராகத் தனி benchmarking அல்லது red-teaming அமர்வுகளாக அனுப்பப்படுகின்றன; அவை உங்கள் நேரலைக் கோரிக்கைப் பாதையில் இல்லை, உங்கள் கொள்கைச் செயல்படுத்தல் ஒதுக்கீட்டையும் பயன்படுத்துவதில்லை. ஒவ்வோர் இலக்குக்கும் முடிந்த சமீபத்திய இயக்கத்திலிருந்து மதிப்பீடுகள் பக்கம் நிலையைப் படிக்கிறது; எனவே பின்னர் மாற்றப்பட்ட மாடலுக்கு எதிரான பழைய இயக்கம் முக்கியத் தரத்தை இழுத்துச் செல்ல முடியாது.

ஆம். ஒவ்வோர் இயக்கமும் அதன் இலக்கு, சோதிக்கப்பட்ட ப்ராம்ப்ட், பட்டியல் பதிப்பு, விளைந்த தரம் மற்றும் தோல்வியுற்ற recipe-களுடன் திட்டத்துடன் பாதுகாக்கப்பட்டு, போர்ட்டலில் காட்டப்படுகிறது. அந்தப் பதிவு, நீங்கள் தணிக்கையாளரிடம் ஒப்படைக்கக்கூடிய எதிர்த்தரப்புச் சோதனைக்கான சான்று. கடந்த 90 நாட்களில் முடிந்த ஓர் இயக்கம், கட்டமைப்பு வரைபடமாக்கலில் NIST MEASURE 2.7-க்குச் சான்றாகக் கணக்கிடப்படுகிறது; MGF Testing & Assurance இன்னும் மூன்றாம் தரப்புச் சோதனையைக் கோருவதால், அது உள்ளடக்கப்படாமலே இருக்கும்.