ஒரு Tesla T4-இல் ஆறு Serving Engines: ஒரு Turing GPU-இல் Gemma 4 E2B

இன்றைய தொழில்நுட்ப உலகில், Tesla T4 GPU போன்ற வன்பொருளில் பல்வேறு inference serving என்ஜின்கள் எவ்வாறு செயல்படுகின்றன என்பதைப் புரிந்துகொள்வது மிகவும் முக்கியமானது. மேலும் பல நிறுவனங்கள் கிளவுட் தளங்களில் தங்கள் AI பணிச்சுமைகளை மேம்படுத்த முற்படும் நிலையில், இத்தலைப்பு குறிப்பாகப் பொருத்தமானதாகும். இக்கட்டுரை Tesla T4 GPU-இல் Gemma 4 E2B மாடலை இயக்கும் ஆறு என்ஜின்களின் ஒப்பீட்டை ஆராய்கிறது.

Tesla T4 GPU பற்றிய கண்ணோட்டம்

Tesla T4 என்பது பல கிளவுட் வழங்குநர்கள் இன்னும் வழங்கி வரும் ஒரு NVIDIA தரவு மைய கிராபிக்ஸ் கார்டு ஆகும். இது Turing கட்டமைப்பை அடிப்படையாகக் கொண்டது மற்றும் கிடைக்கக்கூடிய மிகவும் சிக்கனமான தேர்வுகளில் ஒன்றாக அறியப்படுகிறது. இருப்பினும், bf16 (ஒரு தரவு வகை) போன்ற சில மேம்பட்ட அம்சங்களுக்கான ஆதரவு இல்லாமை மற்றும் ஒரு பிளாக்கிற்கு 64 KiB பகிர்வு நினைவகம் மட்டுமே இருப்பது போன்ற சில வரம்புகள் இதில் உள்ளன.

சோதிக்கப்பட்ட என்ஜின்கள்

இக்கட்டுரை பின்வரும் ஆறு inference serving என்ஜின்களை ஒப்பிடுகிறது:

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• Plain PyTorch என்ஜின்
• Google-இன் LiteRT-LM

ஒவ்வொரு என்ஜினும் Google-இன் Quantization-Aware Training (QAT) 4-bit வெயிட்களைப் பயன்படுத்தி Gemma 4 E2B மாடலை வழங்குகிறது. இந்த சோதனைகள் Tesla T4 GPU கொண்ட ஒரு Google Cloud Compute Engine விர்ச்சுவல் மெஷினில் (VM) நடத்தப்பட்டன.

செயல்திறன் அளவீடுகள்

த்ரூபுட் (வினாடிக்கு செயலாக்கப்பட்ட டோக்கன்களின் எண்ணிக்கை) மற்றும் பதிலின் தரம் உள்ளிட்ட பல செயல்திறன் அளவீடுகளின் அடிப்படையில் ஒவ்வொரு என்ஜினும் மதிப்பீடு செய்யப்பட்டது. சில முக்கிய கண்டுபிடிப்புகள் இதோ:

ஒற்றைக் கோரிக்கை த்ரூபுட்

drafter எதையும் பயன்படுத்தாமல், என்ஜின்கள் பின்வரும் டோக்கன் செயலாக்க விகிதங்களை எட்டின:

• vLLM: வினாடிக்கு 193.0 டோக்கன்கள்
• llama.cpp: வினாடிக்கு 113.5 டோக்கன்கள்
• SGLang: வினாடிக்கு 108.8 டோக்கன்கள்
• mistral.rs: வினாடிக்கு 121.1 டோக்கன்கள்
• LiteRT-LM: வினாடிக்கு 44.6 டோக்கன்கள்

தொகுதி செயலாக்கச் செயல்திறன்

குறிப்பிட்ட உள்ளீடு மற்றும் வெளியீடு டோக்கன் உள்ளமைவுகளுடன் 64 கோரிக்கைகளை செயலாக்கும்போது, த்ரூபுட் மாறுபட்டது:

• vLLM: வினாடிக்கு 1,165.5 டோக்கன்கள்
• SGLang: வினாடிக்கு 908.6 டோக்கன்கள்
• mistral.rs: வினாடிக்கு 238.0 டோக்கன்கள்
• llama.cpp: வினாடிக்கு 633.0 டோக்கன்கள்
• LiteRT-LM: வினாடிக்கு 308.0 டோக்கன்கள்

பதிலின் தரம்

GSM8K பெஞ்ச்மார்க்கைப் பயன்படுத்தி என்ஜின்களின் பதிலளிக்கும் தரமும் மதிப்பிடப்பட்டது. ஐந்து CUDA என்ஜின்களுக்கான மதிப்பெண்கள் 0.8954 முதல் 0.9030 வரை இருந்தன, அதே நேரத்தில் LiteRT-LM சற்றே குறைவாக 0.8734 மதிப்பெண் பெற்றது.

தொழில்நுட்ப விவரக்குறிப்புகள்

சோதனைகளுக்கான அமைப்பில் பின்வருவன அடங்கும்:

• GPU: NVIDIA Tesla T4 (Turing கட்டமைப்பு, sm_75)
• ஒரு பிளாக்கிற்கான பகிர்வு நினைவகம்: 64 KiB
• டிரைவர் பதிப்பு: 620.70.06
• மாடல் வெயிட்கள்: Google-இன் QAT 4-bit வெயிட்கள்

முடிவுரை

இந்த ஒப்பீடு Tesla T4 GPU-இல் பல்வேறு inference serving என்ஜின்களுக்கு இடையேயான செயல்திறன் வேறுபாடுகளை எடுத்துக்காட்டுகிறது. vLLM சிறந்த த்ரூபுட்டைக் காட்டிய போதிலும், வேகம் மற்றும் துல்லியத்தின் அடிப்படையில் அனைத்து என்ஜின்களும் தத்தமக்கான பலங்களையும் பலவீனங்களையும் கொண்டிருந்தன.

நன்மைகள்

• பல என்ஜின்களின் தெளிவான ஒப்பீட்டை வழங்குகிறது.
• AI பணிச்சுமைகளுக்கு முக்கியமான செயல்திறன் அளவீடுகளை எடுத்துக்காட்டுகிறது.
• Tesla T4 GPU-இன் திறன்கள் பற்றிய நுண்ணறிவுகளை வழங்குகிறது.

குறைபாடுகள்

• ஆறு என்ஜின்களுக்கு மட்டுமே வரம்பிற்குட்பட்டது, இது கிடைக்கக்கூடிய அனைத்து தேர்வுகளையும் பிரதிநிதித்துவப்படுத்தாமல் இருக்கலாம்.
• குறிப்பிட்ட பயன்பாட்டு வழக்குகள் மற்றும் பணிச்சுமைகளின் அடிப்படையில் செயல்திறன் மாறுபடலாம்.

எச்சரிக்கை

இக்கட்டுரை கல்வி நோக்கங்களுக்காக மட்டுமே உருவாக்கப்பட்டுள்ளது. நடைமுறைப் பயன்பாடுகளில் ஏதேனும் ஒதுக்கிட மதிப்புகள் (placeholder values) இருந்தால், அவை உண்மையான தரவுகளால் மாற்றப்பட வேண்டும். வாசகர்கள் தகவல்களை நம்புவதற்கு முன் அசல் மூலத்துடன் கூற்றுகளைச் சரிபார்க்க வேண்டும்.

அடிக்கடி கேட்கப்படும் கேள்விகள்

• Tesla T4 GPU என்றால் என்ன? — Tesla T4 என்பது AI பணிச்சுமைகளுக்காக வடிவமைக்கப்பட்ட ஒரு NVIDIA தரவு மைய GPU ஆகும், இது அதன் சிக்கனத்திற்கும் செயல்திறனுக்கும் பெயர் பெற்றது.
• Inference serving என்ஜின்கள் என்றால் என்ன? — இவை உள்ளீட்டுத் தரவின் அடிப்படையில் கணிப்புகளை வழங்க மெஷின் லேர்னிங் மாடல்களை அனுமதிக்கும் மென்பொருள் கட்டமைப்புகள் ஆகும்.
• Gemma 4 E2B மாடல் என்றால் என்ன? — இது பல்வேறு AI பணிகளுக்குப் பயன்படுத்தப்படும் ஒரு மெஷின் லேர்னிங் மாடல் ஆகும், இது இந்த ஒப்பீட்டில் மதிப்பீடு செய்யப்பட்டுள்ளது.
• QAT எவ்வாறு மாடல் செயல்திறனை மேம்படுத்துகிறது? — Quantization-Aware Training (QAT) துல்லியத்தை கணிசமாக இழக்காமல் செயல்திறனை மேம்படுத்தி, குறைந்த துல்லியத்திற்கு மாடல்களை உகந்ததாக்க உதவுகிறது.
• செயல்திறன் சோதனைகளின் முடிவுகள் என்னவாக இருந்தன? — இந்த சோதனைகள் ஆறு என்ஜின்களிலும் மாறுபட்ட த்ரூபுட் விகிதங்களையும் பதிலின் தரத்தையும் காட்டின.
• பதிலின் தரம் ஏன் முக்கியமானது? — உயர் பதிலின் தரம், மாடல் மூலம் செய்யப்படும் கணிப்புகள் துல்லியமாகவும் நம்பகமானதாகவும் இருப்பதை உறுதி செய்கிறது, இது நிஜ உலகப் பயன்பாடுகளுக்கு மிகவும் அவசியமானது.