GPU VRAM-Rechner

GPU VRAM-Rechner

Schätzen Sie, wie viel GPU-Speicher ein Transformer-Modell für Inferenz oder Training benötigt. Geben Sie Parameter, Genauigkeit, Batch-Größe und Sequenzlänge ein, und das Tool gibt die Gesamt-VRAM sowie eine Aufteilung der Gewichte, Gradienten, Optimierer-Zustand, KV-Cache und Aktivierungen zurück. Außerdem wird das Ergebnis gegenüber gängigen GPUs (RTX 4090, A100, H100, H200, B200) verglichen, sodass Sie sofort erkennen können, welche davon das Arbeitsprofil aufnimmt.

Nutzung

1. Wählen Sie eine Vorlage (z. B. Llama 3 8B, Mistral 7B, Llama 3 70B usw.) oder wählen Sie Custom und geben Sie Ihre eigenen Parameter, versteckte Dimension und Schichtanzahl ein.
2. Wählen Sie Inferenz oder Training. Bei Training werden Optionen für Optimierer, gemischte Genauigkeit und Gradienten-Checkpointing sichtbar.
3. Wählen Sie eine Genauigkeit: float32, float16/bfloat16, int8 oder int4.
4. Geben Sie Batch-Größe und Sequenzlänge ein. Der KV-Cache und die Aktivierungen wachsen mit beiden.
5. Lesen Sie die Gesamten am oberen Rand, die Aufteilungstabelle für jedes Komponente und die Tabelle zur GPU-Überprüfung, um zu sehen, welche GPUs das Arbeitsprofil aufnehmen.

Funktionen

• Modellvorlagen – GPT-2, Llama 3.2 1B/3B, Mistral 7B, Llama 3 8B, Llama 2 13B, Mixtral 8x7B, Llama 3 70B und Llama 3.1 405B mit genauen versteckten Dimensionen und Schichtzahlen.
• Inferenz- und Trainierungsmodi – Wechselt zwischen Gewichts- und KV-Cache-Rechnungen und der vollständigen Trainierungsformel mit Gradienten, Optimierer-Zustand und Aktivierungen.
• Genauigkeitsoptionen – float32, float16/bfloat16, int8 und int4, um den Einfluss der Quantisierung zu modellieren.
• Optimierer-Optionen – Adam/AdamW (8 Bytes/Parameter), SGD mit Impuls (4 Bytes/Parameter) oder einfaches SGD (0 Bytes/Parameter).
• Unterstützung für gemischte Genauigkeit – Fügt die fp32-Hauptgewichtskopie hinzu, die von Apex, FSDP und DeepSpeed verwendet wird.
• Gradienten-Checkpointing – Wird die Standardreduktion sqrt(Schichten) für die Aktivierungs-Speicherung angewendet.
• GPU-Überprüfungstabelle – Zeigt die Auslastung gegenüber RTX 4060 Ti, RTX 4090, RTX 5090, L40S, A100, H100, H200 und B200 sowie die Anzahl der benötigten GPUs an, um das Arbeitsprofil aufzunehmen.
• Nur clientseitig – Die Berechnungen erfolgen im Browser, sodass Ihre Modellinformationen niemals Ihren Rechner verlassen.

Wann Sie dieses Tool verwenden sollten

• Die Auswahl der richtigen GPU-Instanztyp vor dem Kauf eines A100 oder H100.
• Die Entscheidung, ob ein Modell auf int4/int8 quantisiert wird, damit es auf eine einzelne Consumer-Karte passt.
• Die Planung der Context-Länge und Batch-Größe für einen Serving-Workload, um die Wachstumsrate des KV-Caches vorherzusagen.
• Die Planung eines Fine-Tuning-Verlaufs mit Adam gegenüber SGD, gemischter Genauigkeit oder Gradienten-Checkpointing.
• Die Validierung von Tensor-Parallelismus- oder Modell-Parallelismus-Teilungsstrategien für sehr große Modelle.