1台のTesla T4における6つのサービングエンジン：Turing GPU上でのGemma 4 E2B

今日のテクノロジー環境において、Tesla T4 GPUのようなハードウェア上でさまざまな推論サービングエンジンがどのように動作するかを理解することは極めて重要です。クラウドプラットフォーム上でAIワークロードの最適化を目指す組織が増えているため、このテーマは特に関連性があります。この記事では、Tesla T4 GPU上でGemma 4 E2Bモデルを実行する6つのエンジンの比較を掘り下げます。

Tesla T4 GPUの概要

Tesla T4は、現在でも多くのクラウドプロバイダーが提供しているNVIDIAのデータセンター向けグラフィックスカードです。Turingアーキテクチャをベースにしており、利用可能な選択肢の中で最も手頃な価格帯の1つとして知られています。しかし、bf16（データ型）などの特定の高度な機能に対応していないことや、ブロックあたりの共有メモリがわずか64 KiBしかないなど、いくつかの制限事項があります。

テストされたエンジン

この記事では、以下の6つの推論サービングエンジンを比較しています:

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• Plain PyTorchエンジン
• GoogleのLiteRT-LM

各エンジンは、GoogleのQuantization-Aware Training（QAT）4ビット重みを使用してGemma 4 E2Bモデルをサービングします。テストは、Tesla T4 GPUを搭載したGoogle Cloud Compute Engineの仮想マシン（VM）上で実施されました。

パフォーマンス指標

各エンジンは、スループット（1秒あたりに処理されたトークン数）や回答品質など、いくつかのパフォーマンス指標に基づいて評価されました。主な結果は以下のとおりです:

単一リクエストのスループット

ドラフターを使用しない場合、各エンジンは以下のトークン処理速度を達成しました:

• vLLM: 毎秒193.0トークン
• llama.cpp: 毎秒113.5トークン
• SGLang: 毎秒108.8トークン
• mistral.rs: 毎秒121.1トークン
• LiteRT-LM: 毎秒44.6トークン

バッチ処理のパフォーマンス

特定の入力および出力トークン構成で64件のリクエストを処理した場合、スループットは以下のようになりました:

• vLLM: 毎秒1,165.5トークン
• SGLang: 毎秒908.6トークン
• mistral.rs: 毎秒238.0トークン
• llama.cpp: 毎秒633.0トークン
• LiteRT-LM: 毎秒308.0トークン

回答品質

各エンジンは、GSM8Kベンチマークを用いて回答品質も評価されました。5つのCUDAエンジンのスコアは0.8954から0.9030の範囲でしたが、LiteRT-LMは0.8734とやや低いスコアでした。

技術仕様

テストのセットアップには以下が含まれます:

• GPU: NVIDIA Tesla T4 (Turing architecture, sm_75)
• ブロックあたりの共有メモリ: 64 KiB
• ドライバーのバージョン: 620.70.06
• モデルの重み: GoogleのQAT 4ビット重み

結論

この比較は、Tesla T4 GPU上におけるさまざまな推論サービングエンジンのパフォーマンスの違いを浮き彫りにしています。vLLMが最高のスループットを示したものの、すべてのエンジンが速度と精度の面でそれぞれ長所と短所を持っていました。

メリット

• 複数のエンジンの明確な比較を提供している点。
• AIワークロードにとって極めて重要なパフォーマンス指標を明確に示している点。
• Tesla T4 GPUの能力に関する知見を提供している点。

デメリット

• 6つのエンジンのみに限定されており、利用可能なすべての選択肢を代表しているとは限らない点。
• 特定のユースケースやワークロードによってパフォーマンスが異なる場合がある点。

注意

この記事は教育目的で作成されたものです。実際のアプリケーションでは、プレースホルダーの値は実際のデータに置き換える必要があります。読者は、それらに依拠する前に元の情報源と照らし合わせて主張を検証する必要があります。

よくある質問

• Tesla T4 GPUとは何ですか？ — Tesla T4は、AIワークロード向けに設計されたNVIDIAのデータセンターGPUであり、その手頃な価格と効率性で知られています。
• 推論サービングエンジンとは何ですか？ — これらは、入力データに基づいて機械学習モデルが予測を提供できるようにするソフトウェアフレームワークです。
• Gemma 4 E2Bモデルとは何ですか？ — さまざまなAIタスクに使用される機械学習モデルであり、今回の比較で評価されています。
• QATはどのようにモデルのパフォーマンスを向上させますか？ — Quantization-Aware Training（QAT）は低精度向けにモデルを最適化するのに役立ち、精度を大幅に犠牲にすることなくパフォーマンスを向上させます。
• パフォーマンステストの結果はどうでしたか？ — テストでは、6つのエンジンにわたってスループット率と回答品質にばらつきが見られました。
• なぜ回答品質が重要なのですか？ — 高い回答品質は、モデルによって行われる予測が正確で信頼できるものであることを保証し、これは現実世界のアプリケーションにとって極めて重要です。