GPU显存计算器
估算运行或训练 Transformer / 大语言模型（LLM）所需的 GPU 显存。输入参数量、精度（fp16、int8、int4 等）、上下文长度和批大小，即可查看权重、KV 缓存、激活值、梯度和优化器状态的明细，并检查哪些 GPU 能够容纳。
输入
选择一个已知模型即可自动填入参数量、隐藏维度和层数；或选择“自定义”。
模型的总参数量，单位为十亿（7B 模型填 7）。
Transformer 的层数。
每个序列的 token 数（上下文长度）。
输出
| 组件 | 显存 | 占比 |
|---|---|---|
| No data yet | ||
| GPU | 显存 | 适配情况 | 所需 GPU 数 |
|---|---|---|---|
| No data yet | |||
使用此工具的更多方式
REST API
curl -X POST https://api.iotools.cloud/v1/tool/gpu-vram-calculator \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"modelPreset": "mistral-7b",
"mode": "inference",
"precision": "fp16",
"batchSize": "1",
"seqLen": "4096"
}'替换成您账户中的密钥。工具的字段即为请求体——没有额外包装。
让 AI 代理执行
Use the IOTools `gpu-vram-calculator` tool (GPU VRAM Calculator) on this input:
YOUR_INPUT_HERE将此粘贴给任何已连接 IOTools MCP 服务器的代理,再加上您的输入内容。
嵌入式小组件
<iframe
src="https://iotools.cloud/embed/gpu-vram-calculator/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="GPU显存计算器 — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>把它放到您自己的页面上——免费,无需密钥,只需保留一个反向链接。
| 每次 API/MCP 调用费用 | 5 积分起 |
|---|---|
| 需要更多积分? | 查看定价 |
也可通过
使用指南
GPU显存计算器用于估算 Transformer 或大语言模型运行所需的显存容量，涵盖推理和训练两种场景。在租用、购买或下载任何东西之前，只需几秒钟，就能判断某个模型能否放进你的 GPU。
输入参数量（或选择 Mistral 7B、Llama 3 70B 等预设），选择精度，并设置上下文长度和批大小。工具会把总量拆分为每一个占用显存的组成部分，并与多款常见 GPU 进行比对。
显存如何计算
显存大小以 GiB（基于 1024）为单位显示，与 nvidia-smi 显示的单位一致。
推理需要在显存中保存三类内容：
- 模型权重 —
参数量 × 每参数字节数。精度决定字节数：fp32 = 4，fp16/bf16 = 2，int8 = 1，int4 = 0.5。一个 70 亿参数的模型以 fp16 存储时，权重约为7B × 2 = 14 GB。 - KV 缓存 — 为每个 token 缓存的注意力键和值：
2 × 批大小 × 序列长度 × 隐藏维度 × 层数 × 2 字节。它随上下文长度增长，因此长上下文推理所需的显存可能远远超过权重本身。量化模型（int8/int4）的 KV 缓存仍以 fp16 保存。 - 激活值和约 10% 的框架开销 — 临时缓冲区，加上 CUDA 上下文和分配器碎片。
训练要重得多，因为它还需要保存：
- 梯度 — 每个参数一个值。
- 优化器状态 — Adam/AdamW 保存 fp32 的动量和方差，每参数 8 字节；带动量的 SGD 为 4 字节；普通 SGD 为 0 字节。
- fp32 主权重 — 混合精度训练中保留（每参数 +4 字节）。
- 激活值 — 训练中的主要开销，可通过梯度检查点（在反向传播中重新计算激活值）来降低，代价是额外的计算量。
因此，使用 Adam 对 7B 模型进行全量微调大约需要每参数 16–20 字节，即超过 100 GB；而同一模型以 fp16 进行推理，仅需约 15 GB。
让模型装得下的技巧
- 量化。 从 fp16 降到 int4，权重显存减少为原来的四分之一，使 70B 模型的权重从约 140 GB 降至约 35 GB。
- 缩短上下文。 KV 缓存与序列长度和批大小成线性关系。
- 使用 LoRA / QLoRA 进行微调，避免为每个权重保存完整的梯度和优化器状态。
这些数字精确吗？
并不精确——请将其视为规划的基准。实际占用取决于框架、注意力的实现方式（FlashAttention 可降低激活值的显存占用）、张量并行以及分配器的行为。所有估算都完全在你的浏览器中运行，不会上传任何数据。