Калькулятор VRAM графического процессора

Калькулятор VRAM графического процессора

Оцените, сколько GPU-памяти требует трансформерная модель для инференса или обучения. Введите параметры, точность, размер батча и длину последовательности, и калькулятор вернёт общее количество VRAM вместе с расчётом по компонентам: веса, градиенты, состояние оптимизатора, кэш K-V и активации. Также будет сравнение с популярными GPU (RTX 4090, A100, H100, H200, B200), чтобы вы могли сразу увидеть, какой из них подходит.

Как использовать

1. Выберите предустановленную конфигурацию (Llama 3 8B, Mistral 7B, Llama 3 70B и т.д.) или выберите пользовательскую и введите свои параметры, скрытую размерность и количество слоёв.
2. Выберите инференс или обучение. Обучение показывает опции оптимизатора, mixed-precision и градиентной проверки.
3. Выберите точность: float32, float16/bfloat16, int8 или int4.
4. Введите размер батча и длину последовательности. Кэш K-V и активации масштабируются вместе с этими параметрами.
5. Посмотрите итоги в верхней части, таблицу расчёта по компонентам и таблицу соответствия GPU, чтобы увидеть, какие GPU могут принять нагрузку.

Возможности

• Предустановленные конфигурации моделей – GPT-2, Llama 3.2 1B/3B, Mistral 7B, Llama 3 8B, Llama 2 13B, Mixtral 8x7B, Llama 3 70B и Llama 3.1 405B с точными скрытыми размерностями и количеством слоёв.
• Режимы инференса и обучения – Переключение между вычислениями по весам и кэшу K-V и полной формулой обучения с градиентами, состоянием оптимизатора и активациями.
• Варианты точности – float32, float16/bfloat16, int8 и int4 для моделирования влияния квантования.
• Варианты оптимизатора – Adam/AdamW (8 байт/параметр), SGD с моментом (4 байта/параметр) или простой SGD (0 байт/параметр).
• Поддержка mixed-precision – Добавляет копию основных весов в fp32, используемую Apex, FSDP и DeepSpeed.
• Градиентная проверка – Применяет стандартное уменьшение на корень из количества слоёв к памяти активаций.
• Таблица соответствия GPU – Показывает использование относительно RTX 4060 Ti, RTX 4090, RTX 5090, L40S, A100, H100, H200 и B200, а также сколько GPU нужно для выполнения нагрузки.
• Только на стороне клиента – Расчёты выполняются в браузере, поэтому детали вашей модели никогда не покидают ваш компьютер.

Когда использовать этот инструмент

• Выбор правильного типа инстанса GPU до оплаты A100 или H100.
• Решение, следует ли квантовать модель до int4/int8, чтобы она помещалась на одну карту для потребителей.
• Определение размера длины контекста и размера батча для рабочей нагрузки прогнозирования роста кэша K-V.
• Планирование запуска мелкого обучения с Adam против SGD, mixed precision или градиентной проверки.
• Проверка стратегий тензорного или моделирования параллелизма для очень больших моделей.