ಒಂದೇ Tesla T4 ನಲ್ಲಿ ಆರು ಸರ್ವಿಂಗ್ ಇಂಜಿನ್‌ಗಳು: Turing GPU ನಲ್ಲಿ Gemma 4 E2B

ಇಂದಿನ ತಂತ್ರಜ್ಞಾನ ಲೋಕದಲ್ಲಿ, Tesla T4 GPU ನಂತಹ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ವಿಭಿನ್ನ ಇನ್ಫರೆನ್ಸ್ ಸರ್ವಿಂಗ್ ಇಂಜಿನ್‌ಗಳು ಹೇಗೆ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆ ಎಂಬುದನ್ನು ಅರ್ಥಮಾಡಿಕೊಳ್ಳುವುದು ನಿರ್ಣಾಯಕವಾಗಿದೆ. ಹೆಚ್ಚಿನ ಸಂಸ್ಥೆಗಳು ಕ್ಲೌಡ್ ಪ್ಲಾಟ್‌ಫಾರ್ಮ್‌ಗಳಲ್ಲಿ ತಮ್ಮ AI ವರ್ಕ್‌ಲೋಡ್‌ಗಳನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲು ನೋಡುತ್ತಿರುವುದರಿಂದ ಈ ವಿಷಯವು ವಿಶೇಷವಾಗಿ ಪ್ರಸ್ತುತವಾಗಿದೆ. ಈ ಲೇಖನವು Tesla T4 GPU ನಲ್ಲಿ Gemma 4 E2B ಮಾಡೆಲ್ ಅನ್ನು ಚಲಾಯಿಸುವ ಆರು ಇಂಜಿನ್‌ಗಳ ಹೋಲಿಕೆಯನ್ನು ಅನ್ವೇಷಿಸುತ್ತದೆ.

Tesla T4 GPU ನ ಅವಲೋಕನ

Tesla T4 ಎಂಬುದು ಅನೇಕ ಕ್ಲೌಡ್ ಪೂರೈಕೆದಾರರು ಇಂದಿಗೂ ಒದಗಿಸುವ ಒಂದು NVIDIA ಡೇಟಾ-ಸೆಂಟರ್ ಗ್ರಾಫಿಕ್ಸ್ ಕಾರ್ಡ್ ಆಗಿದೆ. ಇದು Turing ಆರ್ಕಿಟೆಕ್ಚರ್ ಅನ್ನು ಆಧರಿಸಿದೆ ಮತ್ತು ಲಭ್ಯವಿರುವ ಅತ್ಯಂತ ಕೈಗೆಟುಕುವ ಆಯ್ಕೆಗಳಲ್ಲಿ ಒಂದೆಂದು ಹೆಸರುವಾಸಿಯಾಗಿದೆ. ಆದಾಗ್ಯೂ, ಇದು bf16 (ಒಂದು ಡೇಟಾ ಪ್ರಕಾರ) ನಂತಹ ಕೆಲವು ಸುಧಾರಿತ ವೈಶಿಷ್ಟ್ಯಗಳಿಗೆ ಬೆಂಬಲದ ಕೊರತೆ ಮತ್ತು ಪ್ರತಿ ಬ್ಲಾಕ್‌ಗೆ ಕೇವಲ 64 KiB ಹಂಚಿಕೆಯ ಮೆಮೊರಿ ಹೊಂದಿರುವಂತಹ ಕೆಲವು ಮಿತಿಗಳನ್ನು ಹೊಂದಿದೆ.

ಪರೀಕ್ಷಿಸಲಾದ ಇಂಜಿನ್‌ಗಳು

ಈ ಲೇಖನವು ಈ ಕೆಳಗಿನ ಆರು ಇನ್ಫರೆನ್ಸ್ ಸರ್ವಿಂಗ್ ಇಂಜಿನ್‌ಗಳನ್ನು ಹೋಲಿಸುತ್ತದೆ:

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• Plain PyTorch engine
• Google's LiteRT-LM

ಪ್ರತಿಯೊಂದು ಇಂಜಿನ್ Google ನ Quantization-Aware Training (QAT) 4-bit ತೂಕಗಳನ್ನು ಬಳಸಿಕೊಂಡು Gemma 4 E2B ಮಾಡೆಲ್ ಅನ್ನು ಸರ್ವ್ ಮಾಡುತ್ತದೆ. ಈ ಪರೀಕ್ಷೆಗಳನ್ನು Tesla T4 GPU ಹೊಂದಿರುವ Google Cloud Compute Engine ವರ್ಚುವಲ್ ಮೆಷಿನ್ (VM) ನಲ್ಲಿ ನಡೆಸಲಾಯಿತು.

ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೆಟ್ರಿಕ್ಸ್‌

ಥ್ರೂಪುಟ್ (ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ ಪ್ರಕ್ರಿಯೆಗೊಳಿಸಲಾದ ಟೋಕನ್‌ಗಳ ಸಂಖ್ಯೆ) ಮತ್ತು ಉತ್ತರದ ಗುಣಮಟ್ಟ ಸೇರಿದಂತೆ ಹಲವಾರು ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೆಟ್ರಿಕ್ಸ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ ಪ್ರತಿಯೊಂದು ಇಂಜಿನ್ ಅನ್ನು ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗಿದೆ. ಇಲ್ಲಿ ಕೆಲವು ಪ್ರಮುಖ ಸಂಶೋಧನೆಗಳಿವೆ:

ಏಕ ವಿನಂತಿಯ ಥ್ರೂಪುಟ್

ಡ್ರಾಫ್ಟರ್ (drafter) ಬಳಸದೆ, ಇಂಜಿನ್‌ಗಳು ಈ ಕೆಳಗಿನ ಟೋಕನ್ ಪ್ರಕ್ರಿಯೆ ದರಗಳನ್ನು ಸಾಧಿಸಿವೆ:

• vLLM: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 193.0 ಟೋಕನ್‌ಗಳು
• llama.cpp: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 113.5 ಟೋಕನ್‌ಗಳು
• SGLang: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 108.8 ಟೋಕನ್‌ಗಳು
• mistral.rs: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 121.1 ಟೋಕನ್‌ಗಳು
• LiteRT-LM: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 44.6 ಟೋಕನ್‌ಗಳು

ಬ್ಯಾಚ್ ಪ್ರೊಸೆಸಿಂಗ್ ಕಾರ್ಯಕ್ಷಮತೆ

ನಿರ್ದಿಷ್ಟ ಇನ್‌ಪುಟ್ ಮತ್ತು ಔಟ್‌ಪುಟ್ ಟೋಕನ್ ಕಾನ್ಫಿಗರೇಶನ್‌ಗಳೊಂದಿಗೆ 64 ವಿನಂತಿಗಳನ್ನು ಪ್ರಕ್ರಿಯೆಗೊಳಿಸುವಾಗ, ಥ್ರೂಪುಟ್ ಈ ಕೆಳಗಿನಂತೆ ವ್ಯತ್ಯಾಸಗೊಂಡಿತು:

• vLLM: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 1,165.5 ಟೋಕನ್‌ಗಳು
• SGLang: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 908.6 ಟೋಕನ್‌ಗಳು
• mistral.rs: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 238.0 ಟೋಕನ್‌ಗಳು
• llama.cpp: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 633.0 ಟೋಕನ್‌ಗಳು
• LiteRT-LM: ಪ್ರತಿ ಸೆಕೆಂಡಿಗೆ 308.0 ಟೋಕನ್‌ಗಳು

ಉತ್ತರದ ಗುಣಮಟ್ಟ

GSM8K ಬೆಂಚ್‌ಮಾರ್ಕ್ ಬಳಸಿ ಇಂಜಿನ್‌ಗಳ ಉತ್ತರದ ಗುಣಮಟ್ಟವನ್ನೂ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಯಿತು. ಐದು CUDA ಇಂಜಿನ್‌ಗಳಿಗೆ ಸ್ಕೋರ್‌ಗಳು 0.8954 ರಿಂದ 0.9030 ರಷ್ಟಿದ್ದರೆ, LiteRT-LM ಸ್ವಲ್ಪ ಕಡಿಮೆಯಾಗಿ 0.8734 ಸ್ಕೋರ್ ಮಾಡಿದೆ.

ತಾಂತ್ರಿಕ ವಿಶೇಷಣಗಳು

ಪರೀಕ್ಷೆಗಳ ಸೆಟಪ್ ಈ ಕೆಳಗಿನವುಗಳನ್ನು ಒಳಗೊಂಡಿತ್ತು:

• GPU: NVIDIA Tesla T4 (Turing architecture, sm_75)
• ಪ್ರತಿ ಬ್ಲಾಕ್‌ಗೆ ಹಂಚಿಕೆಯ ಮೆಮೊರಿ: 64 KiB
• ಡ್ರೈವರ್ ಆವೃತ್ತಿ: 620.70.06
• ಮಾಡೆಲ್ ತೂಕಗಳು: Google ನ QAT 4-bit ತೂಕಗಳು

ತೀರ್ಮಾನ

ಈ ಹೋಲಿಕೆಯು Tesla T4 GPU ನಲ್ಲಿ ವಿವಿಧ ಇನ್ಫರೆನ್ಸ್ ಸರ್ವಿಂಗ್ ಇಂಜಿನ್‌ಗಳ ನಡುವಿನ ಕಾರ್ಯಕ್ಷಮತೆಯ ವ್ಯತ್ಯಾಸಗಳನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ. vLLM ಅತ್ಯುತ್ತಮ ಥ್ರೂಪುಟ್ ಅನ್ನು ತೋರಿಸಿದೆಯಾದರೂ, ಎಲ್ಲಾ ಇಂಜಿನ್‌ಗಳು ವೇಗ ಮತ್ತು ನಿಖರತೆಯ ದೃಷ್ಟಿಯಿಂದ ತಮ್ಮದೇ ಆದ ಸಾಮರ್ಥ್ಯ ಮತ್ತು ದೌರ್ಬಲ್ಯಗಳನ್ನು ಹೊಂದಿದ್ದವು.

ಅನುಕೂಲಗಳು

• ಬಹು ಇಂಜಿನ್‌ಗಳ ಸ್ಪಷ್ಟ ಹೋಲಿಕೆಯನ್ನು ಒದಗಿಸುತ್ತದೆ.
• AI ವರ್ಕ್‌ಲೋಡ್‌ಗಳಿಗೆ ನಿರ್ಣಾಯಕವಾದ ಕಾರ್ಯಕ್ಷಮತೆಯ ಮೆಟ್ರಿಕ್ಸ್‌ಗಳನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ.
• Tesla T4 GPU ನ ಸಾಮರ್ಥ್ಯಗಳ ಒಳನೋಟಗಳನ್ನು ನೀಡುತ್ತದೆ.

ಅನಾನುಕೂಲಗಳು

• ಕೇವಲ ಆರು ಇಂಜಿನ್‌ಗಳಿಗೆ ಸೀಮಿತವಾಗಿದೆ, ಇದು ಲಭ್ಯವಿರುವ ಎಲ್ಲಾ ಆಯ್ಕೆಗಳನ್ನು ಪ್ರತಿನಿಧಿಸದಿರಬಹುದು.
• ನಿರ್ದಿಷ್ಟ ಬಳಕೆಯ ಸಂದರ್ಭಗಳು ಮತ್ತು ವರ್ಕ್‌ಲೋಡ್‌ಗಳ ಆಧಾರದ ಮೇಲೆ ಕಾರ್ಯಕ್ಷಮತೆ ಬದಲಾಗಬಹುದು.

ಎಚ್ಚರಿಕೆ

ಈ ಲೇಖನವು ಶೈಕ್ಷಣಿಕ ಉದ್ದೇಶಗಳಿಗಾಗಿ ಮಾತ್ರ ಉದ್ದೇಶಿಸಲಾಗಿದೆ. ಪ್ರಾಯೋಗಿಕ ಅನ್ವಯಗಳಲ್ಲಿ ಯಾವುದೇ ಪ್ಲೇಸ್‌ಹೋಲ್ಡರ್ ಮೌಲ್ಯಗಳನ್ನು ನೈಜ ಡೇಟಾದೊಂದಿಗೆ ಬದಲಾಯಿಸಬೇಕು. ಓದುಗರು ಅವುಗಳನ್ನು ಅವಲಂಬಿಸುವ ಮೊದಲು ಮೂಲ ಆಕರದೊಂದಿಗೆ ಕ್ಲೈಮ್‌ಗಳನ್ನು ಪರಿಶೀಲಿಸಬೇಕು.

ಪದೇ ಪದೇ ಕೇಳಲಾಗುವ ಪ್ರಶ್ನೆಗಳು

• Tesla T4 GPU ಎಂದರೇನು? — Tesla T4 ಎಂಬುದು AI ವರ್ಕ್‌ಲೋಡ್‌ಗಳಿಗಾಗಿ ವಿನ್ಯಾಸಗೊಳಿಸಲಾದ ಒಂದು NVIDIA ಡೇಟಾ-ಸೆಂಟರ್ GPU ಆಗಿದೆ, ಇದು ಅದರ ಮಿತವ್ಯಯ ಮತ್ತು ದಕ್ಷತೆಗೆ ಹೆಸರುವಾಸಿಯಾಗಿದೆ.
• ಇನ್ಫರೆನ್ಸ್ ಸರ್ವಿಂಗ್ ಇಂಜಿನ್‌ಗಳು ಎಂದರೇನು? — ಇವು ಇನ್‌ಪುಟ್ ಡೇಟಾವನ್ನು ಆಧರಿಸಿ ಪ್ರಿಡಿಕ್ಷನ್‌ಗಳನ್ನು ನೀಡಲು ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಮಾಡೆಲ್‌ಗಳಿಗೆ ಅನುಮತಿಸುವ ಸಾಫ್ಟ್‌ವೇರ್ ಫ್ರೇಮ್‌ವರ್ಕ್‌ಗಳಾಗಿವೆ.
• Gemma 4 E2B ಮಾಡೆಲ್ ಎಂದರೇನು? — ಇದು ವಿವಿಧ AI ಕಾರ್ಯಗಳಿಗಾಗಿ ಬಳಸಲಾಗುವ ಒಂದು ಮೆಷಿನ್ ಲರ್ನಿಂಗ್ ಮಾಡೆಲ್ ಆಗಿದೆ, ಇದನ್ನು ಈ ಹೋಲಿಕೆಯಲ್ಲಿ ಮೌಲ್ಯಮಾಪನ ಮಾಡಲಾಗಿದೆ.
• QAT ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಹೇಗೆ ಸುಧಾರಿಸುತ್ತದೆ? — Quantization-Aware Training (QAT) ಕಡಿಮೆ ನಿಖರತೆಗಾಗಿ ಮಾಡೆಲ್‌ಗಳನ್ನು ಆಪ್ಟಿಮೈಸ್ ಮಾಡಲು ಸಹಾಯ ಮಾಡುತ್ತದೆ, ನಿಖರತೆಯನ್ನು ಗಣನೀಯವಾಗಿ ತ್ಯಾಗ ಮಾಡದೆ ಕಾರ್ಯಕ್ಷಮತೆಯನ್ನು ಸುಧಾರಿಸುತ್ತದೆ.
• ಕಾರ್ಯಕ್ಷಮತೆಯ ಪರೀಕ್ಷೆಗಳ ಫಲಿತಾಂಶಗಳು ಏನಾಗಿದ್ದವು? — ಪರೀಕ್ಷೆಗಳು ಆರು ಇಂಜಿನ್‌ಗಳಲ್ಲಿ ವಿಭಿನ್ನ ಥ್ರೂಪುಟ್ ದರಗಳು ಮತ್ತು ಉತ್ತರದ ಗುಣಮಟ್ಟವನ್ನು ತೋರಿಸಿವೆ.
• ಉತ್ತರದ ಗುಣಮಟ್ಟ ಏಕೆ ಮುಖ್ಯ? — ಉತ್ತರದ ಹೆಚ್ಚಿನ ಗುಣಮಟ್ಟವು ಮಾಡೆಲ್ ಮಾಡಿದ ಪ್ರಿಡಿಕ್ಷನ್‌ಗಳು ನಿಖರ ಮತ್ತು ವಿಶ್ವಾಸಾರ್ಹವಾಗಿವೆ ಎಂದು ಖಚಿತಪಡಿಸುತ್ತದೆ, ಇದು ನೈಜ-ಜಗತ್ತಿನ ಅನ್ವಯಗಳಿಗೆ ನಿರ್ಣಾಯಕವಾಗಿದೆ.