Kalkulator VRAM GPU
Perkirakan VRAM GPU yang dibutuhkan untuk menjalankan atau melatih transformer / model bahasa besar (LLM). Masukkan jumlah parameter, presisi (fp16, int8, int4…), panjang konteks, dan ukuran batch untuk melihat rincian bobot, cache KV, aktivasi, gradien, dan state optimizer, lalu periksa GPU mana yang muat.
Input
Pilih model yang sudah dikenal untuk mengisi parameter, hidden dim, dan layer, atau pilih Kustom.
Total parameter model dalam miliar (7 untuk model 7B).
Jumlah layer transformer.
Token per sekuens (panjang konteks).
Output
| Komponen | Memori | Porsi |
|---|---|---|
| No data yet | ||
| GPU | VRAM | Kecocokan | GPU yang dibutuhkan |
|---|---|---|---|
| No data yet | |||
Cara lain menggunakan alat ini
REST API
curl -X POST https://api.iotools.cloud/v1/tool/gpu-vram-calculator \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"modelPreset": "mistral-7b",
"mode": "inference",
"precision": "fp16",
"batchSize": "1",
"seqLen": "4096"
}'Ganti dengan kunci Anda sendiri dari akun Anda. Bidang alat menjadi isi permintaan — tanpa pembungkus.
Tanyakan ke agen AI
Use the IOTools `gpu-vram-calculator` tool (GPU VRAM Calculator) on this input:
YOUR_INPUT_HERETempelkan ini ke agen mana pun yang terhubung ke server MCP IOTools, lalu tambahkan input Anda.
Widget sematan
<iframe
src="https://iotools.cloud/embed/gpu-vram-calculator/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="Kalkulator VRAM GPU — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>Tempelkan ini di halaman Anda sendiri — gratis, tanpa kunci, cukup tautan balik.
| Biaya per panggilan API/MCP | Mulai dari 5 kredit |
|---|---|
| Butuh kredit lebih? | Lihat harga |
Juga tersedia melalui
Panduan
Kalkulator VRAM GPU memperkirakan berapa banyak video memory yang dibutuhkan transformer atau large language model untuk berjalan — baik untuk inferensi maupun pelatihan — sehingga Anda bisa tahu dalam hitungan detik apakah sebuah model muat di GPU Anda sebelum menyewa, membeli, atau mengunduh apa pun.
Masukkan jumlah parameter (atau pilih preset seperti Mistral 7B atau Llama 3 70B), pilih presisi, lalu atur panjang konteks dan ukuran batch. Tool ini memecah total kebutuhan menjadi setiap komponen yang memakan VRAM dan memeriksa hasilnya terhadap sejumlah GPU umum.
Cara VRAM dihitung
Ukuran memori dilaporkan dalam GiB (basis‑1024) — satuan yang sama dengan yang ditampilkan nvidia-smi.
Inferensi membutuhkan tiga hal di dalam memori:
- Bobot model —
parameter × byte per parameter. Presisi menentukan jumlah byte: fp32 = 4, fp16/bf16 = 2, int8 = 1, int4 = 0,5. Model 7 miliar parameter dalam fp16 membutuhkan7B × 2 = 14 GBuntuk bobotnya. - Cache KV — key dan value atensi yang disimpan untuk setiap token:
2 × batch × panjang sekuens × hidden dim × layer × 2 byte. Ukurannya bertambah seiring panjang konteks, dan inilah alasan inferensi konteks panjang bisa membutuhkan memori jauh lebih besar dibanding bobot saja. Model terkuantisasi (int8/int4) tetap menyimpan cache KV dalam fp16. - Aktivasi dan overhead framework ~10% — buffer sementara ditambah konteks CUDA dan fragmentasi allocator.
Pelatihan jauh lebih berat karena juga menyimpan:
- Gradien — satu nilai untuk setiap parameter.
- State optimizer — Adam/AdamW menyimpan momentum dan varians fp32, 8 byte per parameter; SGD dengan momentum memakai 4; SGD biasa memakai 0.
- Bobot master fp32 — disimpan pada pelatihan mixed precision (+4 byte per parameter).
- Aktivasi — biaya terbesar pada pelatihan, dikurangi oleh gradient checkpointing (menghitung ulang aktivasi pada backward pass) dengan konsekuensi tambahan komputasi.
Inilah sebabnya fine‑tuning penuh model 7B dengan Adam membutuhkan sekitar 16–20 byte per parameter — lebih dari 100 GB — sementara menjalankan model yang sama untuk inferensi dalam fp16 hanya butuh sekitar 15 GB.
Tips agar model muat
- Kuantisasi. Menurunkan dari fp16 ke int4 memangkas memori bobot 4×, sehingga model 70B turun dari sekitar 140 GB menjadi sekitar 35 GB.
- Perpendek konteks. Cache KV berskala linear terhadap panjang sekuens dan ukuran batch.
- Gunakan LoRA / QLoRA untuk fine‑tuning agar tidak perlu menyimpan gradien dan state optimizer penuh untuk setiap bobot.
Apakah angka-angka ini akurat?
Tidak — anggap sebagai dasar perencanaan. Penggunaan nyata bergantung pada framework, implementasi atensi (FlashAttention menurunkan memori aktivasi), tensor parallelism, dan perilaku allocator. Estimasi dijalankan sepenuhnya di browser Anda; tidak ada data yang diunggah.