محاسبة وحدة الذاكرة الرسومية للجهاز (GPU VRAM)

محاسبة وحدة الذاكرة الرسومية للجهاز (GPU VRAM)

تقدير كمية الذاكرة المخصصة للجهاز لتشغيل نموذج التحويل للإنتباه أو التدريب. أدخل المعلمات، الدقة، حجم المجموعة، وطول التسلسل، وستُرجع الحسابات الإجمالية للذاكرة المخصصة مع تحليل مفصل للوزن، التدرجات، حالة المُحسّن، الذاكرة المُخزنة للإنتباه، والنشاطات. كما يُقارن الناتج مع أجهزة معينة (RTX 4090، A100، H100، H200، B200) لكي ترى بسرعة أي جهاز يناسب.

كيفية استخدام

1. اختر مسبقًا (Llama 3 8B، Mistral 7B، Llama 3 70B، إلخ) أو اختر مخصص وادخل معلماتك الخاصة، بعد المخفي، وعدد الطبقات.
2. اختر الاستنتاج أو التدريب. يظهر التدريب خيارات المُحسّن، الدقة المختلطة، والتحقق من التدرجات.
3. اختر الدقة: float32، float16/bfloat16، int8، أو int4.
4. أدخل حجم المجموعة وطول التسلسل. يزداد حجم الذاكرة المُخزنة والنشاطات مع كلاهما.
5. اقرأ المجموعات في الأعلى، جدول التحليل لكل مكون، وجدول ملاءمة GPU لرؤية أي أجهزة تدعم الحمل.

خصائص

• مُسبّقات النموذج – GPT-2، Llama 3.2 1B/3B، Mistral 7B، Llama 3 8B، Llama 2 13B، Mixtral 8x7B، Llama 3 70B، وLlama 3.1 405B مع أبعاد مخفية وعدد طبقات دقيق.
• أنماط الاستنتاج والتدريب – التبديل بين الحسابات المبنية على الوزن والذاكرة المُخزنة للإنتباه والمعادلة الكاملة للتدريب مع التدرجات، حالة المُحسّن، والنشاطات.
• خيارات الدقة – float32، float16/bfloat16، int8، وint4 لتمثيل تأثير التقليل.
• خيارات المُحسّن – Adam/AdamW (8 بايت/معلم)، SGD مع الحركة (4 بايت/معلم)، أو SGD البسيط (0 بايت/معلم).
• دعم الدقة المختلطة – يضيف نسخة رئيسية من الوزن في fp32 التي تستخدمها Apex، FSDP، وDeepSpeed.
• التحقق من التدرجات – يطبق تقليلًا تقريبيًا بجذر عدد الطبقات على الذاكرة المخصصة للنشاطات.
• جدول ملاءمة GPU – يُظهر الاستخدام مقابل RTX 4060 Ti، RTX 4090، RTX 5090، L40S، A100، H100، H200، وB200، بالإضافة إلى عدد الأجهزة المطلوبة لتلبية الحمل.
• من جانب العميل فقط – تُجرى الحسابات في المتصفح، لذا لا تغادر معلومات النموذج من جهازك.

متى تستخدم هذه الأداة

• اختيار نوع جهاز GPU المناسب قبل دفع مبلغ لـ A100 أو H100.
• القرار حول تقليل النموذج إلى int4/int8 بحيث يتناسب مع بطاقة مستخدم.
• تحديد طول السياق وحجم المجموعة للحمل المُقدّم لتنبؤ نمو الذاكرة المُخزنة للإنتباه.
• الخطة لتشغيل تدريب مع Adam مقابل SGD، الدقة المختلطة، أو التحقق من التدرجات.
• التحقق من استراتيجيات التجزئة (التقسيم بالجهاز أو النموذج) للنماذج الكبيرة جداً.