ഒരു Tesla T4-ൽ ആറ് സെർവിംഗ് എഞ്ചിനുകൾ: Turing GPU-ൽ Gemma 4 E2B

ഇന്നത്തെ സാങ്കേതിക രംഗത്ത്, Tesla T4 GPU പോലുള്ള ഹാർഡ്‌വെയറുകളിൽ വിവിധ ഇൻഫറൻസ് സെർവിംഗ് എഞ്ചിനുകൾ എങ്ങനെ പ്രവർത്തിക്കുന്നു എന്ന് മനസ്സിലാക്കുന്നത് നിർണായകമാണ്. കൂടുതൽ ഓർഗനൈസേഷനുകൾ ക്ലൗഡ് പ്ലാറ്റ്‌ഫോമുകളിൽ തങ്ങളുടെ AI വർക്ക്‌ലോഡുകൾ ഒപ്റ്റിമൈസ് ചെയ്യാൻ ആഗ്രഹിക്കുന്നതിനാൽ ഈ വിഷയം വളരെ പ്രസക്തമാണ്. ഒരു Tesla T4 GPU-ൽ Gemma 4 E2B മോഡൽ പ്രവർത്തിപ്പിക്കുന്ന ആറ് എഞ്ചിനുകളുടെ ഒരു താരതമ്യം ഈ ലേഖനം പരിശോധിക്കുന്നു.

Tesla T4 GPU-ന്റെ അവലോകനം

പല ക്ലൗഡ് പ്രൊവൈഡർമാരും ഇപ്പോഴും വാഗ്ദാനം ചെയ്യുന്ന ഒരു NVIDIA ഡാറ്റാ-സെന്റർ ഗ്രാഫിക്‌സ് കാർഡാണ് Tesla T4. ഇത് Turing ആർക്കിടെക്ചറിനെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്, ലഭ്യമായതിൽ വെച്ച് ഏറ്റവും താങ്ങാനാവുന്ന ഓപ്ഷനുകളിൽ ഒന്നായാണ് ഇത് അറിയപ്പെടുന്നത്. എന്നിരുന്നാലും, bf16 (ഒരു ഡാറ്റാ തരം) പോലുള്ള ചില നൂതന ഫീച്ചറുകൾക്കുള്ള പിന്തുണയുടെ അഭാവം, ഓരോ ബ്ലോക്കിനും 64 KiB ഷെയർഡ് മെമ്മറി മാത്രമുള്ളത് തുടങ്ങിയ ചില പരിമിതികൾ ഇതിനുണ്ട്.

പരിശോധിച്ച എഞ്ചിനുകൾ

ഈ ലേഖനം ഇനിപ്പറയുന്ന ആറ് ഇൻഫറൻസ് സെർവിംഗ് എഞ്ചിനുകളെ താരതമ്യം ചെയ്യുന്നു:

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• പ്ലെയിൻ PyTorch എഞ്ചിൻ
• Google-ന്റെ LiteRT-LM

Google-ന്റെ Quantization-Aware Training (QAT) 4-bit വെയ്റ്റുകൾ ഉപയോഗിച്ച് ഓരോ എഞ്ചിനും Gemma 4 E2B മോഡൽ സെർവ് ചെയ്യുന്നു. ഒരു Tesla T4 GPU ഉള്ള Google Cloud Compute Engine വെർച്വൽ മെഷീനിലാണ് (VM) ഈ പരിശോധനകൾ നടത്തിയത്.

പെർഫോമൻസ് മെട്രിക്സുകൾ

ത്രൂപുട്ട് (ഓരോ സെക്കൻഡിലും പ്രോസസ്സ് ചെയ്യുന്ന ടോക്കണുകളുടെ എണ്ണം), ഉത്തരത്തിന്റെ ഗുണനിലവാരം എന്നിവയുൾപ്പെടെയുള്ള നിരവധി പെർഫോമൻസ് മെട്രിക്സുകളുടെ അടിസ്ഥാനത്തിലാണ് ഓരോ എഞ്ചിനും വിലയിരുത്തപ്പെട്ടത്. ചില പ്രധാന കണ്ടെത്തലുകൾ ഇതാ:

സിംഗിൾ റിക്വസ്റ്റ് ത്രൂപുട്ട്

ഒരു ഡ്രാഫ്റ്റർ ഉപയോഗിക്കാതെ, എഞ്ചിനുകൾ ഇനിപ്പറയുന്ന ടോക്കൺ പ്രോസസ്സിംഗ് നിരക്കുകൾ നേടി:

• vLLM: സെക്കൻഡിൽ 193.0 ടോക്കണുകൾ
• llama.cpp: സെക്കൻഡിൽ 113.5 ടോക്കണുകൾ
• SGLang: സെക്കൻഡിൽ 108.8 ടോക്കണുകൾ
• mistral.rs: സെക്കൻഡിൽ 121.1 ടോക്കണുകൾ
• LiteRT-LM: സെക്കൻഡിൽ 44.6 ടോക്കണുകൾ

ബാച്ച് പ്രോസസ്സിംഗ് പെർഫോമൻസ്

നിർദ്ദിഷ്ട ഇൻപുട്ട്, ഔട്ട്പുട്ട് ടോക്കൺ കോൺഫിഗറേഷനുകളോടെ 64 അഭ്യർത്ഥനകൾ പ്രോസസ്സ് ചെയ്യുമ്പോൾ, ത്രൂപുട്ടിൽ വ്യത്യാസമുണ്ടായി:

• vLLM: സെക്കൻഡിൽ 1,165.5 ടോക്കണുകൾ
• SGLang: സെക്കൻഡിൽ 908.6 ടോക്കണുകൾ
• mistral.rs: സെക്കൻഡിൽ 238.0 ടോക്കണുകൾ
• llama.cpp: സെക്കൻഡിൽ 633.0 ടോക്കണുകൾ
• LiteRT-LM: സെക്കൻഡിൽ 308.0 ടോക്കണുകൾ

ഉത്തരത്തിന്റെ ഗുണനിലവാരം

GSM8K ബെഞ്ച്മാർക്ക് ഉപയോഗിച്ച് എഞ്ചിനുകളുടെ ഉത്തരങ്ങളുടെ ഗുണനിലവാരവും വിലയിരുത്തി. അഞ്ച് CUDA എഞ്ചിനുകൾക്ക് സ്കോറുകൾ 0.8954 മുതൽ 0.9030 വരെയായിരുന്നു, എന്നാൽ LiteRT-LM-ന്റെ സ്കോർ അല്പം കുറഞ്ഞ് 0.8734 ആയിരുന്നു.

സാങ്കേതിക സവിശേഷതകൾ

ടെസ്റ്റുകൾക്കായുള്ള സജ്ജീകരണത്തിൽ ഉൾപ്പെട്ടവ:

• GPU: NVIDIA Tesla T4 (Turing ആർക്കിടെക്ചർ, sm_75)
• ഓരോ ബ്ലോക്കിനും ഷെയർഡ് മെമ്മറി: 64 KiB
• ഡ്രൈവർ വേർഷൻ: 620.70.06
• മോഡൽ വെയ്റ്റുകൾ: Google-ന്റെ QAT 4-bit വെയ്റ്റുകൾ

ഉപസംഹാരം

ഒരു Tesla T4 GPU-ൽ വിവിധ ഇൻഫറൻസ് സെർവിംഗ് എഞ്ചിനുകൾ തമ്മിലുള്ള പെർഫോമൻസ് വ്യത്യാസങ്ങൾ ഈ താരതമ്യം വ്യക്തമാക്കുന്നു. vLLM ഏറ്റവും മികച്ച ത്രൂപുട്ട് പ്രകടിപ്പിച്ചപ്പോൾ, വേഗതയുടെയും കൃത്യതയുടെയും കാര്യത്തിൽ എല്ലാ എഞ്ചിനുകൾക്കും അവരുടേതായ ഗുണങ്ങളും ദോഷങ്ങളും ഉണ്ടായിരുന്നു.

നേട്ടങ്ങൾ

• ഒന്നിലധികം എഞ്ചിനുകളുടെ വ്യക്തമായ താരതമ്യം നൽകുന്നു.
• AI വർക്ക്‌ലോഡുകൾക്ക് നിർണായകമായ പെർഫോമൻസ് മെട്രിക്സുകൾ എടുത്തു കാണിക്കുന്നു.
• Tesla T4 GPU-ന്റെ ശേഷികളെക്കുറിച്ചുള്ള ഉൾക്കാഴ്ചകൾ നൽകുന്നു.

പോരായ്മകൾ

• ആറ് എഞ്ചിനുകളിലേക്ക് മാത്രമായി പരിമിതപ്പെടുത്തിയിരിക്കുന്നു, ഇത് ലഭ്യമായ എല്ലാ ഓപ്ഷനുകളെയും പ്രതിനിധീകരിക്കണമെന്നില്ല.
• പ്രത്യേക ഉപയോഗ സാഹചര്യങ്ങളെയും വർക്ക്‌ലോഡുകളെയും അടിസ്ഥാനമാക്കി പെർഫോമൻസിൽ വ്യത്യാസമുണ്ടാകാം.

ശ്രദ്ധിക്കുക

ഈ ലേഖനം വിദ്യാഭ്യാസപരമായ ആവശ്യങ്ങൾക്കുള്ളതാണ്. പ്രായോഗിക ആപ്ലിക്കേഷനുകളിൽ പ്ലേസ്ഹോൾഡർ മൂല്യങ്ങൾക്ക് പകരം യഥാർത്ഥ ഡാറ്റ നൽകേണ്ടതുണ്ട്. വായനക്കാർ അവയെ ആശ്രയിക്കുന്നതിനുമുമ്പ് യഥാർത്ഥ ഉറവിടവുമായി ഒത്തുനോക്കി അവകാശവാദങ്ങൾ സ്ഥിരീകരിക്കേണ്ടതാണ്.

പതിവായി ചോദിക്കുന്ന ചോദ്യങ്ങൾ

• എന്താണ് Tesla T4 GPU? — താങ്ങാനാവുന്ന വിലയ്ക്കും കാര്യക്ഷമതയ്ക്കും പേരുകേട്ട, AI വർക്ക്‌ലോഡുകൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്ന ഒരു NVIDIA ഡാറ്റാ-സെന്റർ GPU ആണ് Tesla T4.
• എന്താണ് ഇൻഫറൻസ് സെർവിംഗ് എഞ്ചിനുകൾ? — ഇൻപുട്ട് ഡാറ്റയെ അടിസ്ഥാനമാക്കി പ്രവചനങ്ങൾ നൽകാൻ മെഷീൻ ലേണിംഗ് മോഡലുകളെ അനുവദിക്കുന്ന സോഫ്റ്റ്‌വെയർ ഫ്രെയിംവർക്കുകളാണിവ.
• എന്താണ് Gemma 4 E2B മോഡൽ? — ഈ താരതമ്യത്തിൽ വിലയിരുത്തപ്പെട്ട, വിവിധ AI ടാസ്‌ക്കുകൾക്കായി ഉപയോഗിക്കുന്ന ഒരു മെഷീൻ ലേണിംഗ് മോഡലാണിത്.
• QAT എങ്ങനെയാണ് മോഡലിന്റെ പെർഫോമൻസ് മെച്ചപ്പെടുത്തുന്നത്? — കൃത്യതയിൽ കാര്യമായ വിട്ടുവീഴ്ചയില്ലാതെ പെർഫോമൻസ് മെച്ചപ്പെടുത്തിക്കൊണ്ട്, കുറഞ്ഞ പ്രിസിഷനായി മോഡലുകളെ ഒപ്റ്റിമൈസ് ചെയ്യാൻ Quantization-Aware Training (QAT) സഹായിക്കുന്നു.
• പെർഫോമൻസ് ടെസ്റ്റുകളുടെ ഫലങ്ങൾ എന്തായിരുന്നു? — ആറ് എഞ്ചിനുകളിലും വ്യത്യസ്ത ത്രൂപുട്ട് നിരക്കുകളും ഉത്തരത്തിന്റെ ഗുണനിലവാരവും ഈ ടെസ്റ്റുകൾ കാണിച്ചു.
• എന്തുകൊണ്ടാണ് ഉത്തരത്തിന്റെ ഗുണനിലവാരം പ്രധാനമായിരിക്കുന്നത്? — ഉയർന്ന ഉത്തര ഗുണനിലവാരം മോഡൽ നൽകുന്ന പ്രവചനങ്ങൾ കൃത്യവും വിശ്വസനീയവുമാണെന്ന് ഉറപ്പാക്കുന്നു, ഇത് യഥാർത്ഥ ലോക ആപ്ലിക്കേഷനുകളിൽ നിർണായകമാണ്.