एक Tesla T4 पर छह सर्विंग इंजन: एक Turing GPU पर Gemma 4 E2B

आज के तकनीकी परिदृश्य में, यह समझना बेहद महत्वपूर्ण है कि विभिन्न इन्फरेंस सर्विंग इंजन Tesla T4 GPU जैसे हार्डवेयर पर कैसा प्रदर्शन करते हैं। यह विषय विशेष रूप से प्रासंगिक है क्योंकि कई संगठन क्लाउड प्लेटफ़ॉर्म पर अपने AI वर्कलोड को ऑप्टिमाइज़ करने पर विचार कर रहे हैं। यह लेख Tesla T4 GPU पर Gemma 4 E2B मॉडल चलाने वाले छह इंजनों की तुलना की पड़ताल करता है।

Tesla T4 GPU का अवलोकन

Tesla T4 एक NVIDIA डेटा-सेंटर ग्राफ़िक्स कार्ड है जिसे कई क्लाउड प्रदाता अभी भी ऑफ़र करते हैं। यह Turing आर्किटेक्चर पर आधारित है और उपलब्ध सबसे किफ़ायती विकल्पों में से एक होने के लिए जाना जाता है। हालाँकि, इसकी कुछ सीमाएँ हैं, जैसे कि bf16 (एक डेटा प्रकार) जैसी कुछ उन्नत सुविधाओं के लिए समर्थन की कमी और प्रति ब्लॉक केवल 64 KiB शेयर्ड मेमोरी।

परीक्षण किए गए इंजन

यह लेख निम्नलिखित छह इन्फरेंस सर्विंग इंजनों की तुलना करता है:

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• प्लेन PyTorch इंजन
• Google का LiteRT-LM

प्रत्येक इंजन Google के Quantization-Aware Training (QAT) 4-बिट वेट्स का उपयोग करके Gemma 4 E2B मॉडल को सर्व करता है। यह परीक्षण Tesla T4 GPU वाले Google Cloud Compute Engine वर्चुअल मशीन (VM) पर आयोजित किए गए थे।

परफ़ॉर्मेंस मेट्रिक्स

प्रत्येक इंजन का मूल्यांकन कई परफ़ॉर्मेंस मेट्रिक्स के आधार पर किया गया, जिसमें थ्रूपुट (प्रति सेकंड प्रोसेस किए गए टोकन की संख्या) और उत्तर की गुणवत्ता शामिल है। यहाँ कुछ प्रमुख निष्कर्ष दिए गए हैं:

सिंगल रिक्वेस्ट थ्रूपुट

बिना किसी ड्राफ़्टर का उपयोग किए, इंजनों ने निम्नलिखित टोकन प्रोसेसिंग दरें हासिल कीं:

• vLLM: 193.0 टोकन प्रति सेकंड
• llama.cpp: 113.5 टोकन प्रति सेकंड
• SGLang: 108.8 टोकन प्रति सेकंड
• mistral.rs: 121.1 टोकन प्रति सेकंड
• LiteRT-LM: 44.6 टोकन प्रति सेकंड

बैच प्रोसेसिंग परफ़ॉर्मेंस

विशिष्ट इनपुट और आउटपुट टोकन कॉन्फ़िगरेशन के साथ 64 अनुरोधों को प्रोसेस करते समय, थ्रूपुट में भिन्नता देखी गई:

• vLLM: 1,165.5 टोकन प्रति सेकंड
• SGLang: 908.6 टोकन प्रति सेकंड
• mistral.rs: 238.0 टोकन प्रति सेकंड
• llama.cpp: 633.0 टोकन प्रति सेकंड
• LiteRT-LM: 308.0 टोकन प्रति सेकंड

उत्तर की गुणवत्ता

GSM8K बेंचमार्क का उपयोग करके इंजनों के उत्तर की गुणवत्ता का भी आकलन किया गया। पाँच CUDA इंजनों के लिए स्कोर 0.8954 से 0.9030 के बीच था, जबकि LiteRT-LM का स्कोर 0.8734 पर थोड़ा कम रहा।

तकनीकी विशिष्टताएँ

परीक्षणों के सेटअप में शामिल थे:

• GPU: NVIDIA Tesla T4 (Turing आर्किटेक्चर, sm_75)
• प्रति ब्लॉक शेयर्ड मेमोरी: 64 KiB
• ड्राइवर वर्ज़न: 620.70.06
• मॉडल वेट्स: Google के QAT 4-बिट वेट्स

निष्कर्ष

यह तुलना Tesla T4 GPU पर विभिन्न इन्फरेंस सर्विंग इंजनों के बीच परफ़ॉर्मेंस अंतर को रेखांकित करती है। यद्यपि vLLM ने सर्वश्रेष्ठ थ्रूपुट दिखाया, गति और सटीकता के संदर्भ में सभी इंजनों की अपनी खूबियाँ और कमज़ोरियाँ थीं।

लाभ

• कई इंजनों की स्पष्ट तुलना प्रदान करता है।
• उन परफ़ॉर्मेंस मेट्रिक्स पर प्रकाश डालता है जो AI वर्कलोड के लिए महत्वपूर्ण हैं।
• Tesla T4 GPU की क्षमताओं के बारे में जानकारी प्रदान करता है।

कमियाँ

• केवल छह इंजनों तक सीमित, जो सभी उपलब्ध विकल्पों का प्रतिनिधित्व नहीं कर सकते हैं।
• विशिष्ट उपयोग के मामलों और वर्कलोड के आधार पर परफ़ॉर्मेंस भिन्न हो सकता है।

सावधानी

यह लेख शैक्षणिक उद्देश्यों के लिए है। व्यावहारिक अनुप्रयोगों में किसी भी प्लेसहोल्डर मान को वास्तविक डेटा से बदला जाना चाहिए। पाठकों को उन पर भरोसा करने से पहले मूल स्रोत से दावों की पुष्टि करनी चाहिए।

अक्सर पूछे जाने वाले प्रश्न

• Tesla T4 GPU क्या है? — Tesla T4 एक NVIDIA डेटा-सेंटर GPU है जिसे AI वर्कलोड के लिए डिज़ाइन किया गया है, जो अपनी किफ़ायत और दक्षता के लिए जाना जाता है।
• इन्फरेंस सर्विंग इंजन क्या हैं? — ये ऐसे सॉफ़्टवेयर फ़्रेमवर्क हैं जो मशीन लर्निंग मॉडल को इनपुट डेटा के आधार पर प्रेडिक्शन सर्व करने की अनुमति देते हैं।
• Gemma 4 E2B मॉडल क्या है? — यह विभिन्न AI कार्यों के लिए उपयोग किया जाने वाला एक मशीन लर्निंग मॉडल है, जिसका इस तुलना में मूल्यांकन किया गया है।
• QAT मॉडल के परफ़ॉर्मेंस को कैसे बेहतर बनाता है? — Quantization-Aware Training (QAT) मॉडल को कम प्रिसिजन के लिए ऑप्टिमाइज़ करने में मदद करता है, जिससे सटीकता का खास नुकसान किए बिना परफ़ॉर्मेंस में सुधार होता है।
• परफ़ॉर्मेंस परीक्षणों के परिणाम क्या रहे? — परीक्षणों में छह इंजनों में अलग-अलग थ्रूपुट दरें और उत्तर की गुणवत्ता देखी गई।
• उत्तर की गुणवत्ता क्यों महत्वपूर्ण है? — उत्तर की उच्च गुणवत्ता यह सुनिश्चित करती है कि मॉडल द्वारा किए गए प्रेडिक्शन सटीक और विश्वसनीय हों, जो वास्तविक दुनिया के अनुप्रयोगों के लिए महत्वपूर्ण है।