Калькулятор VRAM для GPU
Оцените объём видеопамяти GPU, необходимый для запуска или обучения трансформера / большой языковой модели (LLM). Укажите число параметров, точность (fp16, int8, int4…), длину контекста и размер батча, чтобы увидеть разбивку по весам, KV-кэшу, активациям, градиентам и состоянию оптимизатора, и проверить, на каких GPU поместится модель.
Ввод
Выберите известную модель, чтобы заполнить параметры, размерность скрытого слоя и число слоёв, или выберите «Своя».
Общее число параметров модели в миллиардах (7 для модели на 7B).
Число слоёв трансформера.
Число токенов в последовательности (длина контекста).
Вывод
| Компонент | Память | Доля |
|---|---|---|
| No data yet | ||
| GPU | VRAM | Совместимость | Нужно GPU |
|---|---|---|---|
| No data yet | |||
Другие способы использовать этот инструмент
REST API
curl -X POST https://api.iotools.cloud/v1/tool/gpu-vram-calculator \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
"modelPreset": "mistral-7b",
"mode": "inference",
"precision": "fp16",
"batchSize": "1",
"seqLen": "4096"
}'Подставьте свой собственный ключ из аккаунта. Поля инструмента — это тело запроса, без обёртки.
Спросите у ИИ-агента
Use the IOTools `gpu-vram-calculator` tool (GPU VRAM Calculator) on this input:
YOUR_INPUT_HEREВставьте это любому агенту, подключённому к MCP-серверу IOTools, и добавьте свой ввод.
Виджет для встраивания
<iframe
src="https://iotools.cloud/embed/gpu-vram-calculator/"
width="100%" height="520" frameborder="0" scrolling="no" loading="lazy"
title="Калькулятор VRAM для GPU — iotools.cloud"
sandbox="allow-scripts allow-forms allow-same-origin allow-downloads allow-popups allow-popups-to-escape-sandbox"
allow="clipboard-write"
style="width:100%;border:1px solid #e5e7eb;border-radius:12px;overflow:hidden"></iframe>
<script src="https://iotools.cloud/embed.js" async></script>Вставьте это на свою страницу — бесплатно, без ключа, нужна лишь обратная ссылка.
| Стоимость вызова API/MCP | От 5 кредитов |
|---|---|
| Нужно больше кредитов? | Посмотреть тарифы |
Также доступно через
Руководства
Калькулятор VRAM для GPU оценивает, сколько видеопамяти нужно трансформеру или большой языковой модели для работы — как для инференса, так и для обучения — чтобы за несколько секунд понять, поместится ли модель на вашей GPU, прежде чем арендовать, покупать или скачивать что-либо.
Укажите число параметров (или выберите пресет, например Mistral 7B или Llama 3 70B), выберите точность и задайте длину контекста и размер батча. Инструмент разбивает общий объём на все компоненты, которые потребляют VRAM, и сверяет результат с набором распространённых GPU.
Как рассчитывается VRAM
Размеры памяти указаны в GiB (по основанию 1024) — в тех же единицах, что показывает nvidia-smi.
Инференсу нужны три вещи в памяти:
- Веса модели —
параметры × байты на параметр. Точность задаёт число байт: fp32 = 4, fp16/bf16 = 2, int8 = 1, int4 = 0,5. Модель на 7 миллиардов параметров в fp16 занимает7B × 2 = 14 GBпод веса. - KV-кэш — ключи и значения внимания, сохраняемые для каждого токена:
2 × батч × длина последовательности × размерность скрытого слоя × слои × 2 байта. Он растёт с длиной контекста, поэтому инференс с длинным контекстом может требовать гораздо больше памяти, чем одни только веса. Квантованные модели (int8/int4) всё равно хранят KV-кэш в fp16. - Активации и ~10% накладных расходов фреймворка — рабочие буферы, а также контекст CUDA и фрагментация аллокатора.
Обучение требует гораздо больше памяти, потому что дополнительно хранит:
- Градиенты — одно значение на каждый параметр.
- Состояние оптимизатора — Adam/AdamW хранит момент и дисперсию в fp32, 8 байт на параметр; SGD с моментом использует 4; обычный SGD — 0.
- Мастер-веса fp32 — хранятся при обучении в смешанной точности (+4 байта на параметр).
- Активации — главная статья расходов при обучении, которую уменьшает чекпоинтинг градиентов (пересчёт активаций на обратном проходе) ценой дополнительных вычислений.
Поэтому полная дообучение модели на 7B с Adam требует примерно 16–20 байт на параметр — более 100 GB, тогда как та же модель для инференса в fp16 нуждается лишь примерно в 15 GB.
Советы, как уместить модель
- Квантуйте. Переход с fp16 на int4 сокращает память весов в 4 раза: модель на 70B уменьшается примерно с 140 GB до примерно 35 GB.
- Сократите контекст. KV-кэш линейно зависит от длины последовательности и размера батча.
- Используйте LoRA / QLoRA для дообучения, чтобы не хранить полные градиенты и состояние оптимизатора для каждого веса.
Точны ли эти числа?
Нет — считайте их базовой оценкой для планирования. Реальное потребление зависит от фреймворка, реализации внимания (FlashAttention снижает память активаций), тензорного параллелизма и поведения аллокатора. Расчёты выполняются полностью в вашем браузере; ничего не загружается на сервер.