单块 Tesla T4 上的六款推理服务引擎：Turing GPU 上的 Gemma 4 E2B

在当今的技术格局中，深入了解不同推理服务引擎在 Tesla T4 GPU 等硬件上的表现至关重要。随着越来越多的组织希望在云平台上优化其 AI 工作负载，这一话题显得尤为重要。本文探讨了在 Tesla T4 GPU 上运行 Gemma 4 E2B 模型的六款引擎的对比分析。

Tesla T4 GPU 概述

Tesla T4 是一款许多云服务提供商仍普遍提供的 NVIDIA 数据中心显卡。它基于 Turing 架构，以极具性价比而闻名。然而，它也存在一些局限性，例如缺乏对 bf16（一种数据类型）等特定高级特性的支持，并且每个 block 的共享内存仅有 64 KiB。

参测引擎

本文对比了以下六款推理服务引擎：

• llama.cpp
• vLLM
• SGLang
• mistral.rs
• 原生 PyTorch 引擎
• Google 的 LiteRT-LM

每款引擎均使用 Google 的量化感知训练（QAT）4-bit 权重来服务 Gemma 4 E2B 模型。测试是在配备 Tesla T4 GPU 的 Google Cloud Compute Engine 虚拟机（VM）上进行的。

性能指标

每款引擎均根据多项性能指标进行了评估，包括吞吐量（每秒处理的 token 数量）和回答质量。以下是一些关键发现：

单请求吞吐量

在不使用草稿模型（drafter）的情况下，各引擎取得了以下 token 处理速率：

• vLLM: 每秒 193.0 个 token
• llama.cpp: 每秒 113.5 个 token
• SGLang: 每秒 108.8 个 token
• mistral.rs: 每秒 121.1 个 token
• LiteRT-LM: 每秒 44.6 个 token

批处理性能

在处理具有特定输入和输出 token 配置的 64 个请求时，吞吐量表现各异：

• vLLM: 每秒 1,165.5 个 token
• SGLang: 每秒 908.6 个 token
• mistral.rs: 每秒 238.0 个 token
• llama.cpp: 每秒 633.0 个 token
• LiteRT-LM: 每秒 308.0 个 token

回答质量

各引擎还使用 GSM8K 基准测试评估了回答质量。五款 CUDA 引擎的得分在 0.8954 到 0.9030 之间，而 LiteRT-LM 的得分略低，为 0.8734。

技术规格

测试环境配置包括：

• GPU: NVIDIA Tesla T4（Turing 架构，sm_75）
• 每个 Block 的共享内存: 64 KiB
• 驱动程序版本: 620.70.06
• 模型权重: Google 的 QAT 4-bit 权重

结论

本次对比突显了各推理服务引擎在 Tesla T4 GPU 上的性能差异。尽管 vLLM 展现出了最佳吞吐量，但所有引擎在速度与精度方面都各有优劣。

优势

• 提供了多款引擎的清晰对比。
• 重点关注对 AI 工作负载至关重要的性能指标。
• 深入展现了 Tesla T4 GPU 的能力表现。

不足

• 仅限于六款引擎，可能无法代表所有可选方案。
• 实际性能可能会因具体应用场景和工作负载而有所差异。

注意事项

本文仅供学习交流之用。在实际应用中，任何占位符数值都必须替换为真实数据。读者在参考相关结论前，应核对原始数据来源。

常见问题解答

• 什么是 Tesla T4 GPU？ — Tesla T4 是一款专为 AI 工作负载设计的 NVIDIA 数据中心 GPU，以高性价比和高能效比著称。
• 什么是推理服务引擎？ — 它们是支持机器学习模型根据输入数据提供预测服务的软件框架。
• 什么是 Gemma 4 E2B 模型？ — 它是一个用于执行多种 AI 任务的机器学习模型，也是本次对比评估的对象。
• QAT 是如何提升模型性能的？ — 量化感知训练（QAT）有助于对模型进行低精度优化，在不显著牺牲精度的前提下提高性能。
• 性能测试的结果如何？ — 测试结果显示，六款引擎在吞吐率和回答质量方面表现各异。
• 为什么回答质量很重要？ — 高回答质量可确保模型生成的预测准确可靠，这对于实际应用至关重要。