ଗୋଟିଏ Tesla T4 ରେ ଛଅଟି ସର୍ଭିଂ ଇଞ୍ଜିନ୍: ଏକ Turing GPU ରେ Gemma 4 E2B

ଆଜିର ପ୍ରଯୁକ୍ତିବିଦ୍ୟା କ୍ଷେତ୍ରରେ, Tesla T4 GPU ଭଳି ହାର୍ଡୱେର୍‌ରେ ବିଭିନ୍ନ ଇନଫରେନ୍ସ ସର୍ଭିଂ ଇଞ୍ଜିନ୍ କିପରି ପ୍ରଦର୍ଶନ କରନ୍ତି ତାହା ବୁଝିବା ଅତ୍ୟନ୍ତ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ। ଏହି ବିଷୟଟି ବିଶେଷ ଭାବରେ ପ୍ରାସଙ୍ଗିକ କାରଣ ଅଧିକରୁ ଅଧିକ ସଂଗଠନ କ୍ଲାଉଡ୍ ପ୍ଲାଟଫର୍ମରେ ସେମାନଙ୍କର AI ୱାର୍କଲୋଡ୍‌ଗୁଡ଼ିକୁ ଅପ୍ଟିମାଇଜ୍ କରିବାକୁ ଚାହୁଁଛନ୍ତି। ଏହି ଆର୍ଟିକିଲ୍ ଏକ Tesla T4 GPU ରେ Gemma 4 E2B ମଡେଲ୍ ଚଲାଉଥିବା ଛଅଟି ଇଞ୍ଜିନ୍‌ର ତୁଳନା ଅନୁସନ୍ଧାନ କରେ।

Tesla T4 GPU ର ସଂକ୍ଷିପ୍ତ ବିବରଣୀ

Tesla T4 ହେଉଛି ଏକ NVIDIA ଡାଟା-ସେଣ୍ଟର୍ ଗ୍ରାଫିକ୍ସ କାର୍ଡ ଯାହାକୁ ଅନେକ କ୍ଲାଉଡ୍ ପ୍ରଦାନକାରୀ ଏବେ ମଧ୍ୟ ପ୍ରଦାନ କରୁଛନ୍ତି। ଏହା Turing ଆର୍କିଟେକଚର୍ ଉପରେ ଆଧାରିତ ଏବଂ ଉପଲବ୍ଧ ସବୁଠାରୁ ଶସ୍ତା ବିକଳ୍ପଗୁଡ଼ିକ ମଧ୍ୟରୁ ଗୋଟିଏ ଭାବରେ ଜଣାଶୁଣା। ତଥାପି, ଏହାର କିଛି ସୀମାବଦ୍ଧତା ରହିଛି, ଯେପରିକି bf16 (ଏକ ଡାଟା ଟାଇପ୍) ଭଳି କେତେକ ଉନ୍ନତ ଫିଚର୍ସ ପାଇଁ ସପୋର୍ଟର ଅଭାବ ଏବଂ ପ୍ରତି ବ୍ଲକ୍‌ରେ କେବଳ 64 KiB ସେୟାର୍ଡ ମେମୋରୀ।

ପରୀକ୍ଷଣ କରାଯାଇଥିବା ଇଞ୍ଜିନ୍‌ଗୁଡ଼ିକ

ଏହି ଆର୍ଟିକିଲ୍ ନିମ୍ନଲିଖିତ ଛଅଟି ଇନଫରେନ୍ସ ସର୍ଭିଂ ଇଞ୍ଜିନ୍‌ର ତୁଳନା କରେ:

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• Plain PyTorch ଇଞ୍ଜିନ୍
• Google ର LiteRT-LM

ପ୍ରତ୍ୟେକ ଇଞ୍ଜିନ୍ Google ର Quantization-Aware Training (QAT) 4-bit weights ବ୍ୟବହାର କରି Gemma 4 E2B ମଡେଲ୍ ସର୍ଭ କରେ। ଏହି ପରୀକ୍ଷଣଗୁଡ଼ିକ ଏକ Tesla T4 GPU ଥିବା Google Cloud Compute Engine ଭର୍ଚୁଆଲ୍ ମେସିନ୍ (VM) ରେ କରାଯାଇଥିଲା।

କାର୍ଯ୍ୟଦକ୍ଷତା ମେଟ୍ରିକ୍ସ

ଥ୍ରୁପୁଟ୍ (ପ୍ରତି ସେକେଣ୍ଡରେ ପ୍ରୋସେସ୍ ହୋଇଥିବା ଟୋକେନ୍ ସଂଖ୍ୟା) ଏବଂ ଉତ୍ତରର ଗୁଣବତ୍ତା ସହିତ ଅନେକ କାର୍ଯ୍ୟଦକ୍ଷତା ମେଟ୍ରିକ୍ସ ଆଧାରରେ ପ୍ରତ୍ୟେକ ଇଞ୍ଜିନ୍‌ର ମୂଲ୍ୟାଙ୍କନ କରାଯାଇଥିଲା। ଏଠାରେ କିଛି ମୁଖ୍ୟ ଫଳାଫଳ ଦିଆଗଲା:

ସିଙ୍ଗଲ୍ ରିକ୍ୱେଷ୍ଟ୍ ଥ୍ରୁପୁଟ୍

ଏକ drafter ବ୍ୟବହାର ନକରି, ଇଞ୍ଜିନ୍‌ଗୁଡ଼ିକ ନିମ୍ନଲିଖିତ ଟୋକେନ୍ ପ୍ରୋସେସିଂ ହାର ହାସଲ କରିଥିଲେ:

• vLLM: ପ୍ରତି ସେକେଣ୍ଡରେ 193.0 ଟୋକେନ୍
• llama.cpp: ପ୍ରତି ସେକେଣ୍ଡରେ 113.5 ଟୋକେନ୍
• SGLang: ପ୍ରତି ସେକେଣ୍ଡରେ 108.8 ଟୋକେନ୍
• mistral.rs: ପ୍ରତି ସେକେଣ୍ଡରେ 121.1 ଟୋକେନ୍
• LiteRT-LM: ପ୍ରତି ସେକେଣ୍ଡରେ 44.6 ଟୋକେନ୍

ବ୍ୟାଚ୍ ପ୍ରୋସେସିଂ କାର୍ଯ୍ୟଦକ୍ଷତା

ନିର୍ଦ୍ଦିଷ୍ଟ ଇନପୁଟ୍ ଏବଂ ଆଉଟପୁଟ୍ ଟୋକେନ୍ କନଫିଗୁରେସନ୍ ସହିତ 64 ଟି ରିକ୍ୱେଷ୍ଟ୍ ପ୍ରୋସେସ୍ କରିବା ସମୟରେ, ଥ୍ରୁପୁଟ୍ ଭିନ୍ନ ଥିଲା:

• vLLM: ପ୍ରତି ସେକେଣ୍ଡରେ 1,165.5 ଟୋକେନ୍
• SGLang: ପ୍ରତି ସେକେଣ୍ଡରେ 908.6 ଟୋକେନ୍
• mistral.rs: ପ୍ରତି ସେକେଣ୍ଡରେ 238.0 ଟୋକେନ୍
• llama.cpp: ପ୍ରତି ସେକେଣ୍ଡରେ 633.0 ଟୋକେନ୍
• LiteRT-LM: ପ୍ରତି ସେକେଣ୍ଡରେ 308.0 ଟୋକେନ୍

ଉତ୍ତରର ଗୁଣବତ୍ତା

GSM8K ବେଞ୍ଚମାର୍କ ବ୍ୟବହାର କରି ଇଞ୍ଜିନ୍‌ଗୁଡ଼ିକର ଉତ୍ତର ଗୁଣବତ୍ତା ମଧ୍ୟ ମୂଲ୍ୟାଙ୍କନ କରାଯାଇଥିଲା। ପାଞ୍ଚଟି CUDA ଇଞ୍ଜିନ୍ ପାଇଁ ସ୍କୋର 0.8954 ରୁ 0.9030 ମଧ୍ୟରେ ଥିବାବେଳେ, LiteRT-LM ସାମାନ୍ୟ କମ୍ 0.8734 ସ୍କୋର କରିଥିଲା।

ବୈଷୟିକ ନିର୍ଦ୍ଦିଷ୍ଟତା

ପରୀକ୍ଷଣ ପାଇଁ ସେଟଅପ୍‌ରେ ଅନ୍ତର୍ଭୁକ୍ତ ଥିଲା:

• GPU: NVIDIA Tesla T4 (Turing architecture, sm_75)
• ପ୍ରତି ବ୍ଲକ୍ ସେୟାର୍ଡ ମେମୋରୀ: 64 KiB
• ଡ୍ରାଇଭର୍ ଭର୍ସନ: 620.70.06
• ମଡେଲ୍ ୱେଟ୍ସ: Google ର QAT 4-bit weights

ନିଷ୍କର୍ଷ

ଏହି ତୁଳନା ଏକ Tesla T4 GPU ରେ ବିଭିନ୍ନ ଇନଫରେନ୍ସ ସର୍ଭିଂ ଇଞ୍ଜିନ୍ ମଧ୍ୟରେ କାର୍ଯ୍ୟଦକ୍ଷତାର ପାର୍ଥକ୍ୟକୁ ଆଲୋକପାତ କରେ। ଯଦିଓ vLLM ସର୍ବୋତ୍ତମ ଥ୍ରୁପୁଟ୍ ପ୍ରଦର୍ଶନ କରିଥିଲା, ଗତି ଏବଂ ସଠିକତା ଦୃଷ୍ଟିରୁ ସମସ୍ତ ଇଞ୍ଜିନ୍‌ର ନିଜସ୍ୱ ଶକ୍ତି ଏବଂ ଦୁର୍ବଳତା ରହିଥିଲା।

ସୁବିଧାଗୁଡ଼ିକ

• ଏକାଧିକ ଇଞ୍ଜିନ୍‌ର ଏକ ସ୍ପଷ୍ଟ ତୁଳନା ପ୍ରଦାନ କରେ।
• AI ୱାର୍କଲୋଡ୍ ପାଇଁ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ କାର୍ଯ୍ୟଦକ୍ଷତା ମେଟ୍ରିକ୍ସ ଉପରେ ଆଲୋକପାତ କରେ।
• Tesla T4 GPU ର କ୍ଷମତା ବିଷୟରେ ଧାରଣା ପ୍ରଦାନ କରେ।

ଅସୁବିଧାଗୁଡ଼ିକ

• କେବଳ ଛଅଟି ଇଞ୍ଜିନ୍ ମଧ୍ୟରେ ସୀମିତ, ଯାହା ସମସ୍ତ ଉପଲବ୍ଧ ବିକଳ୍ପକୁ ପ୍ରତିନିଧିତ୍ୱ କରିନପାରେ।
• ନିର୍ଦ୍ଦିଷ୍ଟ ବ୍ୟବହାର ଏବଂ ୱାର୍କଲୋଡ୍ ଆଧାରରେ କାର୍ଯ୍ୟଦକ୍ଷତା ଭିନ୍ନ ହୋଇପାରେ।

ସତର୍କତା

ଏହି ଆର୍ଟିକିଲ୍ ଶିକ୍ଷଣୀୟ ଉଦ୍ଦେଶ୍ୟରେ ଉଦ୍ଦିଷ୍ଟ। ବ୍ୟବହାରିକ ପ୍ରୟୋଗଗୁଡ଼ିକରେ ଯେକୌଣସି ପ୍ଲେସହୋଲ୍ଡର୍ ମୂଲ୍ୟକୁ ପ୍ରକୃତ ତଥ୍ୟ ସହିତ ବଦଳାଯିବା ଆବଶ୍ୟକ। ପାଠକମାନେ ଏହା ଉପରେ ନିର୍ଭର କରିବା ପୂର୍ବରୁ ମୂଳ ଉତ୍ସରୁ ଦାବିଗୁଡ଼ିକୁ ଯାଞ୍ଚ କରିବା ଉଚିତ୍।

ବାରମ୍ବାର ପଚରାଯାଉଥିବା ପ୍ରଶ୍ନଗୁଡ଼ିକ

• Tesla T4 GPU କ’ଣ? — Tesla T4 ହେଉଛି AI ୱାର୍କଲୋଡ୍ ପାଇଁ ଡିଜାଇନ୍ କରାଯାଇଥିବା ଏକ NVIDIA ଡାଟା-ସେଣ୍ଟର୍ GPU, ଯାହା ଏହାର ସୁଲଭତା ଏବଂ ଦକ୍ଷତା ପାଇଁ ଜଣାଶୁଣା।
• ଇନଫରେନ୍ସ ସର୍ଭିଂ ଇଞ୍ଜିନ୍ କ’ଣ? — ଏଗୁଡ଼ିକ ହେଉଛି ସଫ୍ଟୱେର୍ ଫ୍ରେମୱାର୍କ ଯାହା ମେସିନ୍ ଲର୍ଣ୍ଣିଂ ମଡେଲ୍‌ଗୁଡ଼ିକୁ ଇନପୁଟ୍ ଡାଟା ଆଧାରରେ ପ୍ରେଡିକ୍ସନ୍ ସର୍ଭ କରିବାକୁ ଅନୁମତି ଦିଏ।
• Gemma 4 E2B ମଡେଲ୍ କ’ଣ? — ଏହା ବିଭିନ୍ନ AI କାର୍ଯ୍ୟ ପାଇଁ ବ୍ୟବହୃତ ଏକ ମେସିନ୍ ଲର୍ଣ୍ଣିଂ ମଡେଲ୍, ଯାହା ଏହି ତୁଳନାରେ ମୂଲ୍ୟାଙ୍କନ କରାଯାଇଛି।
• QAT କିପରି ମଡେଲ୍ କାର୍ଯ୍ୟଦକ୍ଷତାକୁ ଉନ୍ନତ କରେ? — Quantization-Aware Training (QAT) କମ୍ ପ୍ରେସିସନ୍ ପାଇଁ ମଡେଲ୍‌ଗୁଡ଼ିକୁ ଅପ୍ଟିମାଇଜ୍ କରିବାରେ ସାହାଯ୍ୟ କରେ, ଯାହା ସଠିକତାକୁ ଯଥେଷ୍ଟ ନଷ୍ଟ ନକରି କାର୍ଯ୍ୟଦକ୍ଷତାକୁ ଉନ୍ନତ କରେ।
• କାର୍ଯ୍ୟଦକ୍ଷତା ପରୀକ୍ଷଣର ଫଳାଫଳ କ’ଣ ଥିଲା? — ପରୀକ୍ଷଣଗୁଡ଼ିକ ଛଅଟି ଇଞ୍ଜିନ୍ ମଧ୍ୟରେ ଭିନ୍ନ ଭିନ୍ନ ଥ୍ରୁପୁଟ୍ ହାର ଏବଂ ଉତ୍ତର ଗୁଣବତ୍ତା ଦେଖାଇଥିଲା।
• ଉତ୍ତରର ଗୁଣବତ୍ତା କାହିଁକି ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ? — ଉଚ୍ଚ ଉତ୍ତର ଗୁଣବତ୍ତା ନିଶ୍ଚିତ କରେ ଯେ ମଡେଲ୍ ଦ୍ୱାରା କରାଯାଇଥିବା ପ୍ରେଡିକ୍ସନ୍ ସଠିକ୍ ଏବଂ ନିର୍ଭରଯୋଗ୍ୟ, ଯାହା ବାସ୍ତବ ଦୁନିଆର ପ୍ରୟୋଗଗୁଡ଼ିକ ପାଇଁ ଅତ୍ୟନ୍ତ ଗୁରୁତ୍ୱପୂର୍ଣ୍ଣ।