AI நீதிபதிகள் சீரானவர்கள் ஆனால் தவறானவர்கள்—அது ஏன் ஒரு பிரச்சினை

AI நீதிபதி பிரச்சினை

தரம் எதுவாக இருந்தாலும், ஒரே மாணவனின் வேலைக்கு எப்போதும் A என மதிப்பிடும் ஒரு ஆசிரியரைக் கற்பனை செய்து பாருங்கள். ஒவ்வொரு முறையும் நீங்கள் அந்த மாணவனின் கட்டுரையை அவரிடம் காண்பிக்கும் போது, அவர் அதற்கு A வழங்குகிறார். அவர் முற்றிலும் சீரானவர்-நம்பகமானவர் கூட. ஆனால் அவரும் தொடர்ந்து தவறாகவே செய்கிறார். இதுவே அடிப்படையில் ஒரு பெரிய புதிய தணிக்கை கண்டறிந்துள்ளது: மற்ற AI அமைப்புகளை மதிப்பிடுவதற்கு நாம் பயன்படுத்தும் AI அமைப்புகள் நம்பகமானவை ஆனால் செல்லுபடியாகக்கூடியவை அல்ல. அவை பலமுறை அதே பதில்களைத் தருகின்றன, ஆனால் அந்த பதில்கள் யதார்த்தத்துடன் பொருந்தவில்லை.

ஜூலை 2026 இல், இந்த வேறுபாடு முன்னெப்போதையும் விட முக்கியமானது. நாம் பெரிய அளவில் AI-ஐ மதிப்பிடுவதற்கு AI-ஐப் பயன்படுத்தத் தொடங்கியுள்ளோம். எந்த AI அமைப்புகள் சிறந்தவை, எவற்றை நடைமுறைப்படுத்த வேண்டும், எவற்றுக்கு நிதியளிக்க வேண்டும் என்பதை நமக்குச் சொல்ல இந்த தானியங்கி நீதிபதிகளை நாங்கள் நம்புகிறோம். ஆனால் அந்த நீதிபதிகள் அடிப்படையில் உடைந்திருந்தால், நாங்கள் மோசமான தகவல்களின் அடிப்படையில் முடிவுகளை எடுக்கிறோம்.

AI நீதிபதிகள் என்றால் என்ன?

அமைப்பு இதோ: நீங்கள் ஒரு புதிய AI மாதிரியை உருவாக்குகிறீர்கள், மேலும் அது உண்மையிலேயே நல்லதா என்பதை நீங்கள் அறிய விரும்புகிறீர்கள். ஒரு முழுமையான மனித மதிப்பீட்டின் மூலம் அதை இயக்குவது விலை உயர்ந்தது மற்றும் மெதுவானது. எனவே, அதற்குப் பதிலாக, AI இன் வெளியீடு மற்றும் அடிப்படைப் பதில் ஆகிய இரண்டையும் மற்றொரு AI-க்கு—ஒரு நீதிபதிக்கு—கொடுத்து, இரண்டில் எது சிறந்தது என மதிப்பிடுமாறு கேட்கிறீர்கள். இது இப்போது நிலையான நடைமுறையாக உள்ளது.

இது தர்க்கரீதியானதாகத் தெரிகிறது. ஒரு AI உரையப் படிக்க முடியும், விருப்பங்களை ஒப்பிட முடியும் மற்றும் முடிவுகளை மதிப்பிட முடியும். Chatbot Arena போன்ற பெரிய வரையறைகள் இந்த அணுகுமுறையைப் பயன்படுத்துகின்றன. கல்விக் கட்டுரைகள் அதைப் பயன்படுத்துகின்றன. எந்த மாதிரிகளை வெளியிட வேண்டும் என்பதைத் தீர்மானிக்க நிறுவனங்கள் அதைப் பயன்படுத்துகின்றன. பிரச்சனை என்னவென்றால், நீதிபதி உண்மையில் சரியானவர் என்பதை நாம் ஒருபோதும் உறுதிப்படுத்தவில்லை - நீதிபதி நிலையான பதில்களை அளித்தால், அது நம்பகமானதாக இருக்க வேண்டும் என்று நாம் கருதினோம்.

நம்பகமானவை எதிராக செல்லுபடியாகும்

இங்குதான் மொழி தொழில்நுட்ப ரீதியாக மாறுகிறது, ஆனால் அது முக்கியமானது. நம்பகத்தன்மை என்பது மீண்டும் மீண்டும் செய்யக்கூடியது என்பதாகும்: நீங்கள் நீதிபதியிடம் ஒரே கேள்வியை இரண்டு முறை கேட்டால், அவர் அதே பதிலை அளிக்கிறாரா? செல்லுபடியாகும் தன்மை என்பது சரியான தன்மை என்று பொருள்படும்: அந்த பதில் உண்மையில் சரியானதா?

நீங்கள் சரியான நம்பகத்தன்மை மற்றும் பூஜ்ஜிய செல்லுபடியாகும் தன்மையைக் கொண்டிருக்கலாம். எப்போதும் 98 டிகிரியைக் காட்டும் உடைந்த வெப்பமானி முற்றிலும் நம்பகமானது. ஆனால் அது செல்லுபடியற்றது - உண்மையான வெப்பநிலை 72 டிகிரியாக இருக்கலாம்.

அதுதான் கண்டுபிடிப்பு: இந்த தணிக்கையில் உள்ள AI நீதிபதிகள் நம்பகமானவர்கள். அவர்கள் மிகவும் நம்பகமானவர்கள். ஆனால் அவை செல்லுபடியாகக்கூடியவை அல்ல. அவை தொடர்ந்து தவறான விருப்பத்தையே தேர்வு செய்கின்றன.

தணிக்கை: அரை மில்லியன் தீர்ப்புகள்

மற்ற AI அமைப்புகளை மதிப்பிடும் AI அமைப்புகளால் வழங்கப்பட்ட 500,000-க்கும் மேற்பட்ட தனிப்பட்ட தீர்ப்புகளை இந்த தணிக்கை உள்ளடக்கியது. ஆராய்ச்சியாளர்கள் அந்தத் தீர்ப்புகளில் உள்ள வடிவங்களைக் கவனித்தனர் மற்றும் மனிதர்கள் உண்மையில் சிறந்தது என்று நினைத்தவற்றுடன் அவற்றை குறுக்கு சரிபார்த்தனர். அவர்கள் வியக்கத்தக்க ஒன்றைக் கண்டனர்: AI நீதிபதிகள் வலுவான சீரான தன்மையைக் காட்டினர் - அவர்கள் ஒரே விருப்பத்தை மீண்டும் மீண்டும் தேர்ந்தெடுப்பார்கள் - ஆனால் அந்த விருப்பம் மனிதர்கள் சிறந்தது என்று ஒப்புக்கொண்டது அல்ல.

வடிவங்களில் இருந்து ஒரு எடுத்துக்காட்டு: சூழலைப் பொருட்படுத்தாமல் ஒரு AI நீதிபதி எப்போதும் "பதில் A"-க்கு சாதகமாக இருக்கலாம். நீங்கள் அதற்கு 100 வெவ்வேறு ஜோடிகளைக் கொடுத்தால், அது அவற்றில் 70-ல் A-ஐத் தேர்ந்தெடுக்கலாம், A சிறந்தது என்பதால் அல்ல, ஆனால் அது A-ஐ நோக்கி ஒரு முறையான சார்புநிலையைக் கொண்டுள்ளது என்பதால். அதுவே சரியான தன்மையற்ற சீரான தன்மை.

இது ஏன் நடந்தது

நீதிபதிகள் ஏன் நம்பகமானவர்கள் ஆனால் செல்லுபடியற்றவர்கள்? சில காரணங்கள்:

பயிற்சி தரவுகளில் சார்பு. சில வடிவங்கள் "நல்லவை" என்று பெயரிடப்பட்ட எடுத்துக்காட்டுகளில் AI நீதிபதிக்கு பயிற்சி அளிக்கப்பட்டது. அவை உண்மையில் ஒரு பதிலை சிறந்ததாக மாற்றாவிட்டாலும், அந்த வடிவங்களைக் கண்டறிந்து அவற்றுக்கு வெகுமதி அளிக்க அது கற்றுக்கொண்டது.

ப்ராக்ஸி அளவீடுகள். நீதிபதி உண்மையான தரத்திற்குப் பதிலாக அளவிடக்கூடிய அம்சங்களுக்கு (நீளம் அல்லது சில வார்த்தைகளின் பயன்பாடு போன்றவை) உகந்ததாக ஆக்கக் கற்றுக்கொண்டிருக்கலாம். ஒரு சுற்றலான பதில் அதிகமாக மதிப்பெண் பெறலாம், ஏனெனில் அது நீண்டது, அது நன்றாக இருக்கிறது என்பதற்காக அல்ல.

ஆழமற்ற பகுத்தறிவு. AI நீதிபதிகளால் பெரும்பாலும் மனிதர்கள் பயன்படுத்தும் ஆழமான, சூழல் சார்ந்த பகுத்தறிவைச் செய்ய முடியாது. ஒரு பதிலை உண்மையில் மதிப்புமிக்கதாக மாற்றுவது என்ன என்பதைப் புரிந்துகொள்வதற்குப் பதிலாக அவை மேற்பரப்பு வடிவங்களைக் கண்டறிகின்றன.

பின்னூட்ட சுழல்கள். தரப்படுத்தல்கள் ஒரு குறிப்பிட்ட AI நீதிபதியைப் பயன்படுத்தத் தொடங்கியவுடன், மக்கள் உண்மையிலேயே நல்ல அமைப்புகளை உருவாக்குவதற்குப் பதிலாக நீதிபதியுடன் விளையாடத் தொடங்குகிறார்கள். நீதிபதியின் விருப்பங்களே இலக்காக மாறுகின்றன, உண்மையான தரம் அல்ல.

இதன் அர்த்தம் என்ன

அரை மில்லியன் தீர்ப்புகள் குறைபாடுடையதாக இருந்தால், அது வெளிப்புறமாக அலைகளை உருவாக்குகிறது. மாதிரிகளை ஒப்பிட இந்த நீதிபதிகளைப் பயன்படுத்திய கட்டுரைகள் தவறான முடிவுகளை எடுத்திருக்கலாம். இந்த நீதிபதிகளைப் பயன்படுத்தி அமைப்புகளை வரிசைப்படுத்திய தரப்படுத்தல்கள் அவற்றை தவறாக வரிசைப்படுத்தியிருக்கலாம். இந்த தரப்படுத்தல்களின் அடிப்படையில் மாதிரிகளைத் தேர்ந்தெடுத்த நிறுவனங்கள் தவறானதைத் தேர்ந்தெடுத்திருக்கலாம்.

AI-ஐ எவ்வாறு மதிப்பிடுகிறோம் என்பதைப் பற்றி நாம் மறுபரிசீலனை செய்ய வேண்டும் என்பதையும் இது குறிக்கிறது. சீரான தன்மை என்பது சரியான தன்மைக்கு மாற்று அல்ல. ஒரு தானியங்கி அமைப்பு ஒவ்வொரு முறையும் உங்களுக்கு ஒரே பதிலை அளிக்கிறது என்பதற்காக அந்த பதில் நம்பகமானது என்று அர்த்தமல்ல.

இந்த தணிக்கை ஒரு உண்மைச் சோதனை. AI நீதிபதியின் சீரான தன்மை அதன் செல்லுபடியாகும் தன்மையை நிரூபிக்கிறது என்று நாங்கள் செய்துகொண்ட ஒரு அனுமானம் தவறு என்பதை இது நிரூபித்தது.

முன்னோக்கிச் செல்வது

AI அமைப்புகளை உருவாக்கும் அல்லது தேர்ந்தெடுக்கும் எவருக்கும் உள்ள உட்குறிப்பு: எப்போதும் உங்கள் மதிப்பீட்டாளர்களைச் சரிபார்க்கவும். ஒரு நீதிபதி சீரானவராக இருப்பதால், அது சரியானது என்று கருத வேண்டாம். தானியங்கி நீதிபதிகளை மனித தீர்ப்புக்கு எதிராக குறுக்குச் சரிபார்க்கவும். வலுவான விருப்பங்களைக் காட்டும் நீதிபதிகள் (எப்போதும் ஒரே விருப்பத்தைத் தேர்ந்தெடுப்பது) குறித்து குறிப்பாக சந்தேகம் கொள்ளுங்கள். மேலும், குறைபாடுள்ள நீதிபதிகள் மீது உருவாக்கப்பட்ட தரப்படுத்தல்கள் உங்களைத் தவறாக வழிநடத்தலாம் என்பதை அறிந்து கொள்ளுங்கள்.

இது AI-யில் அளவிடுதல் பற்றிய ஒரு பரந்த பாடமாகும். உள்நாட்டில் சீரான அமைப்புகளை உருவாக்குவதில் நாங்கள் சிறந்து விளங்கியுள்ளோம். ஆனால் சீரான தன்மை எளிதானது - செல்லுபடியாகும் தன்மை கடினமானது. உங்கள் அளவீடுகள் யதார்த்தத்துடன் பொருந்துகின்றனவா என்பதை உண்மையில் சரிபார்க்க இது தேவைப்படுகிறது.

முடிவுரை

AI-ஐ எவ்வாறு மதிப்பிடுகிறோம் என்பதில் AI நீதிபதிகள் ஒரு குறுக்குவழியாக மாறிவிட்டனர். அந்த குறுக்குவழி ஒரு செங்குத்துப் பாறைக்கு இட்டுச் செல்கிறது என்பதைத் தணிக்கை காட்டுகிறது: இந்த அமைப்புகள் மீண்டும் மீண்டும் செய்யக்கூடியவை ஆனால் தவறானவை. நம்பகத்தன்மையை நாம் நம்பகத்தன்மையுடன் குழப்பிக்கொண்டுள்ளோம், மேலும் அந்த குழப்பம் AI அமைப்புகளை நாம் எவ்வாறு தரவரிசைப்படுத்துகிறோம் மற்றும் தேர்வு செய்கிறோம் என்பதில் பொதிந்துள்ளது. முன்னோக்கிச் செல்லும்போது, பாடம் எளிமையானது: இரண்டு முறை அளவிடவும், ஒரு முறை நம்பவும். சீரான தன்மை மட்டும் போதாது.

தகுதிகள்

• AI அமைப்புகள் தற்போது எவ்வாறு தரப்படுத்தப்படுகின்றன என்பதில் ஒரு முக்கியமான குறைபாட்டை வெளிப்படுத்துகிறது
• ஒரு பெரிய, புள்ளிவிவர ரீதியாக குறிப்பிடத்தக்க மாதிரி (500,000-க்கும் மேற்பட்ட தீர்ப்புகள்) அடிப்படையில்
• நம்பகத்தன்மை மற்றும் செல்லுபடியாகும் தன்மைக்கு இடையிலான வேறுபாட்டைத் தெளிவாக விளக்குகிறது
• குறைபாடுள்ள நீதிபதிகளுக்கு எதிரான பின்னூட்ட சுழல்கள் மற்றும் உகப்பாக்கத்தின் அபாயத்தை முன்னிலைப்படுத்துகிறது
• மதிப்பீட்டு அமைப்புகளின் கடுமையான சரிபார்ப்பை ஊக்குவிக்கிறது

குறைகள்

• நீதிபதி சிக்கலைத் தீர்ப்பதற்கான தீர்வுகளை முன்மொழியவில்லை
• தெளிவான முன்னோக்கிச் செல்லும் பாதையை வழங்காமல் கவலைகளை எழுப்புகிறது
• மனித நீதிபதிகளுக்கும் இதே போன்ற சார்புகள் உள்ளதா என்பதைப் பற்றி பேசவில்லை
• எந்த குறிப்பிட்ட AI நீதிபதி அமைப்புகள் சோதிக்கப்பட்டன என்பது குறித்த வரையறுக்கப்பட்ட விவாதம்
• நடைமுறையில் நீதிபதிகளை எவ்வாறு சரிபார்ப்பது என்பது குறித்த எந்த வழிகாட்டுதலும் இல்லை

எச்சரிக்கை

இந்தக் கட்டுரை பொதுவான எடுத்துக்காட்டுகளைப் பயன்படுத்துகிறது (Chatbot Arena மற்றும் கற்பனையான தரப்படுத்தல் பெயர்கள் போன்றவை). அனைத்து நிறுவனம், அமைப்பு மற்றும் தயாரிப்புப் பெயர்களும் விளக்கப் புனைப்பெயர்களாகும். உண்மையான தணிக்கை குறிப்பிட்ட AI நீதிபதிகள் மற்றும் தரப்படுத்தல்களைப் பயன்படுத்தியது—சரியான விவரங்களுக்கு மூலக் கட்டுரையைப் படிக்கவும். இந்தத் தணிக்கையில் காணப்பட்ட நம்பகத்தன்மை-எதிராக-செல்லுபடியாகும் இடைவெளி உண்மையானது, ஆனால் சிக்கலின் அளவும் நோக்கமும் நீங்கள் எந்த நீதிபதி அமைப்புகள் மற்றும் மதிப்பீட்டு முறைகளை நம்பியிருக்கிறீர்கள் என்பதைப் பொறுத்து மாறுபடலாம். ஏதேனும் மதிப்பீட்டு அமைப்பை அதன் அடிப்படையில் முடிவுகளை எடுப்பதற்கு முன்பு எப்போதும் உங்கள் சொந்த தரவுகளுடன் சரிபார்க்கவும். முதலில் உற்பத்தி அல்லாத சூழலில் சோதிக்கவும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

• நம்பகமான AI நீதிபதிக்கும் செல்லுபடியாகும் நீதிபதிக்கும் உள்ள வேறுபாடு என்ன?
• AI நீதிபதிகள் தவறாக இருந்தால் ஏன் நிலையான பதில்களைத் தருகிறார்கள்?
• இது AI தரப்படுத்தல்கள் மற்றும் முன்னிலைப் பலகைகளை எவ்வாறு பாதிக்கிறது?
• மற்ற AI அமைப்புகளை விட மனிதர்கள் AI-ஐச் சிறப்பாக மதிப்பிட முடியுமா?
• ஒரு AI நீதிபதியை பக்கச்சார்பானதாக அல்லது நம்பகத்தன்மையற்றதாக மாற்றுவது எது?
• நிறுவனங்கள் தங்களது AI மதிப்பீட்டு அமைப்புகளை எவ்வாறு சரிபார்க்கலாம்?
• அனைத்து AI-நீதிபதி அமைப்புகளும் சமமாக நம்பகத்தன்மையற்றவையா?
• ஒரு AI மதிப்பீட்டு தரப்படுத்தலை நம்புவதற்கு முன் நான் எதைச் சரிபார்க்க வேண்டும்?

குறிச்சொற்கள்

#AIevaluation #machinelearning #AIbias #benchmarking #LLMs #reliability #validity #AItrustworthy