एआई जज (AI Judges) सुसंगत हैं लेकिन गलत हैं—यह एक समस्या क्यों है

एआई जज की समस्या

एक ऐसी शिक्षिका की कल्पना करें जो हमेशा एक ही छात्र के काम पर गुणवत्ता की परवाह किए बिना 'A' ग्रेड देती है। हर बार जब आप उसे उस छात्र का निबंध दिखाते हैं, तो वह उसे 'A' देती है। वह पूरी तरह से सुसंगत है—यहाँ तक कि विश्वसनीय भी। लेकिन वह लगातार गलत भी है। अनिवार्य रूप से यही एक बड़े नए ऑडिट में पाया गया है: जिन एआई सिस्टम का हम अन्य एआई सिस्टम को आंकने के लिए उपयोग कर रहे हैं वे विश्वसनीय हैं लेकिन वैध नहीं हैं। वे बार-बार एक ही उत्तर देते हैं, लेकिन वे उत्तर वास्तविकता से मेल नहीं खाते हैं।

जुलाई 2026 में, यह अंतर पहले से कहीं अधिक मायने रखता है। हमने बड़े पैमाने पर एआई का मूल्यांकन करने के लिए एआई का उपयोग करना शुरू कर दिया है। हम यह बताने के लिए इन स्वचालित जजों पर भरोसा करते हैं कि कौन से एआई सिस्टम अच्छे हैं, किन्हें तैनात किया जाना चाहिए, और किन्हें वित्तपोषित किया जाना चाहिए। लेकिन अगर वे जज ही मौलिक रूप से त्रुटिपूर्ण हैं, तो हम गलत जानकारी पर निर्णय ले रहे हैं।

एआई जज क्या हैं?

यहाँ सेटअप है: आप एक नया एआई मॉडल बनाते हैं, और आप जानना चाहते हैं कि क्या यह वास्तव में अच्छा है। इसे पूर्ण मानव मूल्यांकन से गुजारना महंगा और धीमा है। इसलिए इसके बजाय, आप एआई के आउटपुट और एक बेसलाइन प्रतिक्रिया दोनों को एक अन्य एआई—एक जज—को देते हैं और उसे यह स्कोर करने के लिए कहते हैं कि कौन सा बेहतर है। यह अब मानक अभ्यास है।

यह तार्किक लगता है। एक एआई पाठ पढ़ सकता है, विकल्पों की तुलना कर सकता है, और परिणामों को स्कोर कर सकता है। Chatbot Arena जैसे बड़े बेंचमार्क इस दृष्टिकोण का उपयोग करते हैं। अकादमिक शोध पत्र इसका उपयोग करते हैं। कंपनियां यह तय करने के लिए इसका उपयोग करती हैं कि किन मॉडलों को शिप करना है। समस्या यह है कि हमने वास्तव में कभी पुष्टि नहीं की कि जज वास्तव में सही था—हमने बस यह मान लिया कि यदि जज ने सुसंगत उत्तर दिए, तो वह भरोसेमंद होना चाहिए।

विश्वसनीय बनाम वैध

यहीं पर भाषा तकनीकी हो जाती है, लेकिन यह महत्वपूर्ण है। विश्वसनीयता (Reliability) का अर्थ है दोहराव: यदि आप जज से एक ही प्रश्न दो बार पूछते हैं, तो क्या वह एक ही उत्तर देता है? वैधता (Validity) का अर्थ है सही होना: क्या वह उत्तर वास्तव में सही है?

आपके पास पूर्ण विश्वसनीयता और शून्य वैधता हो सकती है। एक टूटा हुआ थर्मामीटर जो हमेशा 98 डिग्री पढ़ता है वह पूरी तरह से विश्वसनीय है। लेकिन यह वैध नहीं है—वास्तविक तापमान 72 डिग्री हो सकता है।

यही निष्कर्ष है: इस ऑडिट में एआई जज विश्वसनीय हैं। वे बहुत विश्वसनीय हैं। लेकिन वे वैध नहीं हैं। वे लगातार गलत विकल्प चुन रहे हैं।

ऑडिट: आधा मिलियन निर्णय (Half a Million Judgments)

ऑडिट में अन्य एआई सिस्टम की ग्रेडिंग करने वाले एआई सिस्टम द्वारा किए गए 500,000 से अधिक व्यक्तिगत निर्णयों को शामिल किया गया। शोधकर्ताओं ने उन निर्णयों में पैटर्न देखे और उन्हें इस बात से क्रॉस-चेक किया कि मनुष्य वास्तव में क्या बेहतर मानते हैं। उन्होंने कुछ चौंकाने वाला पाया: एआई जजों ने मजबूत सुसंगतता दिखाई—वे बार-बार एक ही विकल्प चुनते थे—लेकिन वह विकल्प वह नहीं था जिसे इंसानों ने बेहतर माना।

पैटर्न से एक उदाहरण: एक एआई जज संदर्भ की परवाह किए बिना हमेशा "उत्तर A" का पक्ष ले सकता है। यदि आप इसे 100 अलग-अलग जोड़े (pairs) देते हैं, तो यह उनमें से 70 में A को चुन सकता है, इसलिए नहीं कि A बेहतर है, बल्कि इसलिए कि A के प्रति इसका व्यवस्थित पूर्वाग्रह है। वह बिना सही हुए सुसंगत होना है।

ऐसा क्यों हुआ

जज विश्वसनीय तो हैं लेकिन अमान्य क्यों हैं? कुछ कारण:

प्रशिक्षण डेटा में पूर्वाग्रह (Bias in training data). एआई जज को ऐसे उदाहरणों पर प्रशिक्षित किया गया था जहाँ कुछ पैटर्नों को "अच्छा" लेबल किया गया था। इसने उन पैटर्नों को पहचानना और उन्हें पुरस्कृत करना सीख लिया, भले ही वे वास्तव में प्रतिक्रिया को बेहतर नहीं बनाते हों।

प्रॉक्सी मेट्रिक्स (Proxy metrics). जज ने वास्तविक गुणवत्ता के बजाय मापने योग्य विशेषताओं (जैसे लंबाई, या कुछ शब्दों का उपयोग) के लिए अनुकूलित करना सीख लिया होगा। एक लंबी-चौड़ी प्रतिक्रिया उच्च स्कोर कर सकती है क्योंकि यह लंबी है, इसलिए नहीं कि यह अच्छी है।

उथला तर्क (Shallow reasoning). एआई जज अक्सर वह गहरा, प्रासंगिक तर्क नहीं कर सकते जिसका उपयोग मनुष्य करते हैं। वे यह समझने के बजाय सतही पैटर्न देखते हैं कि वास्तव में क्या उत्तर को मूल्यवान बनाता है।

फीडबैक लूप (Feedback loops). एक बार जब बेंचमार्क किसी विशेष एआई जज का उपयोग करना शुरू कर देते हैं, तो लोग वास्तव में अच्छे सिस्टम बनाने के बजाय जज को चकमा देना शुरू कर देते हैं। जज की प्राथमिकताएं लक्ष्य बन जाती हैं, वास्तविक गुणवत्ता नहीं।

इसका क्या अर्थ है

यदि आधा मिलियन निर्णय त्रुटिपूर्ण हैं, तो इसका प्रभाव बाहर की ओर पड़ता है। मॉडलों की तुलना करने के लिए इन जजों का उपयोग करने वाले शोध पत्रों ने गलत निष्कर्ष निकाले होंगे। इन जजों का उपयोग करके सिस्टम को रैंक करने वाले बेंचमार्क ने उन्हें गलत तरीके से रैंक किया होगा। जिन कंपनियों ने इन बेंचमार्क के आधार पर मॉडल चुने, हो सकता है कि उन्होंने गलत मॉडल चुना हो।

इसका मतलब यह भी है कि हमें एआई का मूल्यांकन करने के तरीके पर पुनर्विचार करने की आवश्यकता है। सुसंगतता (consistency) सही होने का विकल्प नहीं है। सिर्फ इसलिए कि एक स्वचालित प्रणाली आपको हर बार एक ही उत्तर देती है, इसका मतलब यह नहीं है कि वह उत्तर भरोसेमंद है।

ऑडिट एक रियलिटी चेक था। इसने साबित कर दिया कि हमने जो धारणा बनाई थी—कि एक एआई जज की सुसंगतता उसकी वैधता साबित करती है—वह गलत थी।

आगे बढ़ना (Moving Forward)

एआई सिस्टम बनाने या चुनने वाले किसी भी व्यक्ति के लिए निहितार्थ: हमेशा अपने मूल्यांकनकर्ताओं को मान्य करें। यह मत मानिए कि क्योंकि एक जज सुसंगत है, वह सही है। मानव निर्णय के विरुद्ध स्वचालित जजों को क्रॉस-चेक करें। विशेष रूप से उन जजों के प्रति संशयवादी रहें जो मजबूत प्राथमिकताएं दिखाते हैं (हमेशा एक ही विकल्प चुनना)। और इस बात से अवगत रहें कि त्रुटिपूर्ण जजों पर निर्मित बेंचमार्क आपको गुमराह कर सकते हैं।

यह एआई में मापन (measurement) के बारे में एक व्यापक सबक भी है। हम आंतरिक रूप से सुसंगत सिस्टम बनाने में अच्छे हो गए हैं। लेकिन सुसंगतता आसान है—वैधता कठिन है। इसके लिए वास्तव में यह जांचना आवश्यक है कि क्या आपके माप वास्तविकता से मेल खाते हैं।

निष्कर्ष (Conclusion)

हम एआई का मूल्यांकन कैसे करते हैं, इसमें एआई जज एक शॉर्टकट बन गए हैं। ऑडिट से पता चलता है कि वह शॉर्टकट खाई में ले जाता है: ये सिस्टम दोहराने योग्य तो हैं लेकिन गलत हैं। हमने विश्वसनीयता (reliability) को भरोसे (trustworthiness) के साथ भ्रमित कर दिया है, और वह भ्रम इस बात में समा गया है कि हम एआई सिस्टम को कैसे रैंक और चुनते हैं। आगे बढ़ते हुए, सबक सरल है: दो बार मापें, एक बार भरोसा करें। सुसंगतता ही पर्याप्त नहीं है।

खूबियां (Merits)

• यह वर्तमान में एआई सिस्टम को बेंचमार्क करने के तरीके में एक महत्वपूर्ण खामी को उजागर करता है
• एक विशाल, सांख्यिकीय रूप से महत्वपूर्ण नमूने (500,000 से अधिक निर्णयों) पर आधारित है
• विश्वसनीयता (reliability) और वैधता (validity) के बीच के अंतर को स्पष्ट रूप से समझाता है
• त्रुटिपूर्ण जजों के विरुद्ध फीडबैक लूप और अनुकूलन (optimization) के जोखिम पर प्रकाश डालता है
• मूल्यांकन प्रणालियों के अधिक कठोर सत्यापन को प्रोत्साहित करता है

कमियां (Demerits)

• जज की समस्या को ठीक करने के लिए समाधान प्रस्तावित नहीं करता है
• आगे बढ़ने का स्पष्ट रास्ता पेश किए बिना चिंताएं पैदा करता है
• यह संबोधित नहीं करता कि क्या मानव जजों में भी समान पूर्वाग्रह हैं
• किन विशिष्ट एआई जज प्रणालियों का परीक्षण किया गया, इस पर सीमित चर्चा
• व्यवहार में जजों को कैसे मान्य किया जाए, इस पर कोई मार्गदर्शन नहीं

सावधानी (Caution)

यह लेख सामान्य उदाहरणों (जैसे Chatbot Arena और काल्पनिक बेंचमार्क नामों) का उपयोग करता है। सभी कंपनी, सिस्टम और उत्पाद नाम उदाहरणात्मक प्लेसहोल्डर हैं। वास्तविक ऑडिट में विशिष्ट एआई जजों और बेंचमार्क का उपयोग किया गया—सटीक विवरण के लिए स्रोत पत्र पढ़ें। इस ऑडिट में पाया गया विश्वसनीयता-बनाम-वैधता अंतर वास्तविक है, लेकिन समस्या का आकार और दायरा इस बात पर निर्भर हो सकता है कि आप किन जज प्रणालियों और मूल्यांकन पद्धतियों पर भरोसा कर रहे हैं। इसके आधार पर निर्णय लेने से पहले हमेशा किसी भी मूल्यांकन प्रणाली को अपने स्वयं के डेटा के साथ मान्य करें। पहले एक गैर-उत्पादन वातावरण में परीक्षण करें।

अक्सर पूछे जाने वाले प्रश्न (Frequently asked questions)

• एक विश्वसनीय एआई जज और एक वैध जज के बीच क्या अंतर है?
• यदि एआई जज गलत हैं तो वे सुसंगत उत्तर क्यों देते हैं?
• यह एआई बेंचमार्क और लीडरबोर्ड को कैसे प्रभावित करता है?
• क्या इंसान अन्य एआई सिस्टम की तुलना में एआई का बेहतर मूल्यांकन कर सकते हैं?
• एआई जज को क्या पक्षपाती या अविश्वसनीय बनाता है?
• कंपनियां अपनी एआई मूल्यांकन प्रणालियों को कैसे मान्य कर सकती हैं?
• क्या सभी एआई-एज-जज (AI-as-judge) सिस्टम समान रूप से अविश्वसनीय हैं?
• एआई मूल्यांकन बेंचमार्क पर भरोसा करने से पहले मुझे क्या जांचना चाहिए?

टैग (Tags)

#AIevaluation #machinelearning #AIbias #benchmarking #LLMs #reliability #validity #AItrustworthy