Nvidia m75 以及以上GPU列表

admin

SM75（compute capability 7.5）是NVIDIA GPU架构中的一个计算能力版本，主要对应Ampere架构的某些GPU型号。以下列表基于公开资料整理，涵盖SM75及更高计算能力的GPU，按架构和计算能力分组，并附典型型号和发布年份。‌

‌SM75 (Ampere架构)‌：SM75计算能力主要出现在Ampere架构的消费级和专业级GPU中，例如GeForce RTX 30系列（如RTX 3090、RTX 3080）、RTX 20系列（如RTX 2080 Ti）以及专业级型号如A100和RTX 6000 Ada。这些GPU于2020年至2022年间发布，专注于深度学习训练和推理，支持TF32和BF16精度，并引入第三代Tensor Core。‌

‌更高计算能力的架构‌：后续架构包括Turing（compute capability 7.0，如GeForce RTX 20系列）、Ada Lovelace（compute capability 8.9，如GeForce RTX 40系列）和Hopper（compute capability 9.0，如H100）。Blackwell架构（compute capability 9.5）是最新一代，但具体型号未在资料中明确列出。‌

sglang至少要有m75才能支持。

vllm：
vLLM最低支持的GPU硬件要求主要基于NVIDIA GPU的计算能力和显存容量。‌

‌GPU计算能力要求：‌ vLLM要求GPU的计算能力‌至少为7.0‌，这意味着支持NVIDIA Ampere架构及后续架构的GPU。‌

具体支持的GPU型号包括：

‌Tesla V100‌
‌RTX 3090/4090‌
‌A100‌
‌H100‌
‌A10‌
‌A4000‌
‌Tesla T4‌
‌RTX 20xx系列‌（如RTX 2080）等。‌

计算能力低于7.0的GPU（如P40，计算能力为6.1）不被支持。‌

‌显存容量要求：‌ 显存需求取决于部署的模型大小和量化方式。‌单卡显存最低建议为16GB‌，以支持常见模型（如7B或8B参数模型）的推理。‌

具体场景下：

8B模型经过AWQ量化后，显存需求可降至6-8GB，但仍需GPU显存至少16GB以确保稳定运行。‌

70B模型需显存‌至少80GB‌（通常需多卡并行）。‌

在WSL2等环境中，显存需求类似，例如部署7B模型需显存‌至少10GB‌。‌

‌软件兼容性：‌ vLLM依赖CUDA或ROCm环境，‌最低支持CUDA 11.7‌（推荐11.8或更高版本）。‌

所有GPU必须为NVIDIA设备，且多卡部署时建议同架构以避免兼容性问题。‌