GPU VRAM計算機
Transformerや大規模言語モデル（LLM）の実行または学習に必要なGPUのVRAMを見積もります。パラメータ数、精度（fp16、int8、int4など）、コンテキスト長、バッチサイズを入力すると、重み・KVキャッシュ・アクティベーション・勾配・オプティマイザ状態の内訳が表示され、どのGPUに収まるかを確認できます。
入力
既知のモデルを選ぶとパラメータ、隠れ次元、層数が自動入力されます。カスタムを選ぶこともできます。
モデルの総パラメータ数（単位は10億。7Bモデルなら 7）。
Transformerの層の数。
1シーケンスあたりのトークン数（コンテキスト長）。
出力
| コンポーネント | メモリ | 割合 |
|---|---|---|
| No data yet | ||
| GPU | VRAM | 適合 | 必要なGPU数 |
|---|---|---|---|
| No data yet | |||
このツールを使う他の方法
REST API
curl -X POST https://api.iotools.cloud/v1/tool/gpu-vram-calculator \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"modelPreset": "mistral-7b",
"mode": "inference",
"precision": "fp16",
"batchSize": "1",
"seqLen": "4096"
}'ご自身のアカウントのキーに差し替えてください。ツールのフィールドがそのままリクエストボディになります——ラッパーはありません。
AIエージェントに依頼する
Use the IOTools `gpu-vram-calculator` tool (GPU VRAM Calculator) on this input:
YOUR_INPUT_HEREIOTools MCPサーバーに接続された任意のエージェントにこれを貼り付け、入力内容を追加してください。
埋め込みウィジェット
<iframe
src="https://iotools.cloud/embed/gpu-vram-calculator/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="GPU VRAM計算機 — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>ご自身のページに貼り付けるだけ——無料、キー不要、リンクを掲載するだけです。
| API/MCP 1回あたりの費用 | 5クレジットから |
|---|---|
| クレジットが足りませんか? | 料金を見る |
次の方法でも利用可能
ガイド
GPU VRAM計算機は、Transformerや大規模言語モデルを推論または学習で動かすのに必要なビデオメモリ（VRAM）量を見積もるツールです。モデルのダウンロードやGPUのレンタル・購入の前に、そのモデルが手持ちのGPUに収まるかを数秒で確認できます。
パラメータ数を入力する（またはMistral 7BやLlama 3 70Bなどのプリセットを選ぶ）、精度を選び、コンテキスト長とバッチサイズを設定してください。ツールは合計を、VRAMを消費するコンポーネントごとに分解し、一般的なGPUのリストと照らし合わせて結果を表示します。
VRAMの計算方法
メモリ量はGiB（基数1024）で表示されます。これはnvidia-smiが表示するのと同じ単位です。
推論では、メモリ上に次の3つが必要です。
- モデルの重み —
パラメータ数 × パラメータあたりのバイト数。精度によってバイト数が決まります。fp32 = 4、fp16/bf16 = 2、int8 = 1、int4 = 0.5。fp16の70億パラメータのモデルは、重みだけで7B × 2 = 14 GBになります。 - KVキャッシュ — 各トークンについてキャッシュされるアテンションのキーと値:
2 × バッチ × シーケンス長 × 隠れ次元 × 層数 × 2バイト。コンテキスト長に比例して増えるため、長いコンテキストでの推論は重みだけよりはるかに多くのメモリを必要とすることがあります。量子化モデル（int8/int4）でもKVキャッシュはfp16のまま保持されます。 - アクティベーションと約10%のフレームワークオーバーヘッド — 作業用バッファに加え、CUDAのコンテキストとアロケータの断片化分です。
学習は、次のものも保持するためはるかに重くなります。
- 勾配 — パラメータごとに1つの値。
- オプティマイザの状態 — Adam/AdamWはfp32の運動量と分散を保持し、パラメータあたり8バイトを使います。モメンタム付きSGDは4バイト、通常のSGDは0バイトです。
- fp32のマスター重み — 混合精度学習で保持されます（パラメータあたり+4バイト）。
- アクティベーション — 学習で最も大きなコストで、勾配チェックポイント（逆伝播時にアクティベーションを再計算する手法）で削減できますが、その分計算は増えます。
そのため、Adamを使った7Bモデルのフルファインチューニングには、パラメータあたり約16〜20バイト、つまり100 GB以上が必要になります。一方、同じモデルをfp16で推論するだけなら約15 GBで済みます。
モデルを収めるためのヒント
- 量子化する。 fp16からint4に下げると重みのメモリは4分の1になり、70Bモデルは約140 GBから約35 GBに減ります。
- コンテキストを短くする。 KVキャッシュはシーケンス長とバッチサイズに対して線形に増えます。
- LoRA / QLoRAを使う。 ファインチューニングで、すべての重みについて勾配とオプティマイザの状態を保持する必要がなくなります。
この数値は正確ですか？
いいえ。計画のための目安として扱ってください。実際の使用量は、フレームワーク、アテンションの実装（FlashAttentionはアクティベーションのメモリを減らします）、テンソル並列化、アロケータの挙動によって変わります。計算はすべてブラウザ内で行われ、データはアップロードされません。