مُقدر عدد توكنات نموذج التعلم الآلي

الرمز هو الوحدة الأساسية التي يقرأها وينتجها النموذج. يتم إنتاج الرموز من خلال ترميز الأزواج (BPE) أو مُجمّعات مشابهة، والتي تتعلم التسلسلات الأكثر تكرارًا في البيانات التدريبية وتخزنها كمفردات مشتركة. يمكن أن يكون رمز واحد كلمة كاملة، أو مقدمة شائعة أو خاتمة، أو جزء من كلمة نادرة، أو رمز واحد، أو علامة نحوية. بالنسبة للنص الإنجليزي، يبلغ متوسط عدد الرموز حوالي أربعة أحرف أو حوالي ثلاثة أرباع الكلمة. يُنتج الكود، والروابط، والـ JSON، والنصوص غير اللاتينية أكثر رموزًا لكل حرف لأن تسلسلات الأحرف غير شائعة في مفردات الترميز.

يُدرب كل عائلة نموذج باستخدام مُجمّع ومتغيرات مختلفة. يستخدم نماذج GPT-3.5 وGPT-4 من OpenAI الترميز cl100k_base، بينما يستخدم GPT-4o وسلسلة o1 الترميز الجديد o200k_base. يستخدم نماذج Claude من Anthropic مُجمّع خاص، ويستخدم نماذج Gemini من Google مُجمّع SentencePiece. لأن المفردات تختلف، يمكن أن يُحول نفس الجملة إلى أرقام رموز مختلفة على النماذج المختلفة، وغالبًا ما تكون الفرق بين 10 إلى 20٪ للنص الإنجليزي، ولكن تختلف أكثر في الكود أو النصوص غير الإنجليزية.

نافذة السياق هي الحد الأقصى لعدد الرموز التي يمكن للنموذج قراءتها وإنتاجها في طلب واحد. تشمل هذه الرموز السياق النظامي، النص المدخل، التاريخ الكامل للحوار، والإجابة. عند تجاوز النافذة، يتم حذف السياق القديم، مما قد يؤدي إلى فقدان التعليمات أو الحقائق التي يحتاجها النموذج. تتيح نافذة كبيرة مساحة لمستندات طويلة ومحادثات طويلة، لكن التأخير والتكلفة تزداد مع عدد الرموز المُعالجة، لذا حتى مع نافذة بحجم مليون رمز، يكون من الأفضل عادةً الحفاظ على النصوص المدخلة قصيرة من حيث التكلفة والسرعة.

يُحسب معظم المزودين تسعير الرموز المدخلة والمرسلة بشكل منفصل ويُعرض السعر لكل مليون رمز. تشمل الرموز المدخلة كل ما ترسله إلى النموذج، بما في ذلك السياق النظامي والسجلات التاريخية. تشمل الرموز المُخرج كل ما يُنتجها النموذج. يكون تسعير الإخراج دائمًا أكثر من تسعير المدخلات لأن إنتاج النصوص يتطلب موارد حاسوبية أكبر. يُقدّم بعض المزودين خصمًا على الرموز المُدخلة المُكررة أو المُستخدمة مسبقًا. لتقدير التكلفة الإجمالية لطلب، اضرب عدد الرموز المدخلة في سعر المدخل، وعدد الرموز المُتوقع للإخراج في سعر الإخراج، ثم قسّم كل منهما على مليون، ثم أضف النتائج معًا.

يحتاج إنتاج عدد دقيق للرموز إلى نقل مفردات الترميز الكامل إلى المتصفح، والذي يمكن أن يصل إلى عدة ميغابايت من الأوزان لكل ترميز. يستخدم هذا الأداة مبدأ تقريبي للعدد المُعتمد لكل عائلة نموذج، والذي يعطي عددًا ضمن حدود بسيطة من النسبة الحقيقية للـ tiktoken أو SentencePiece للنص الإنجليزي العادي، وهو كافٍ لتقدير التكلفة وتنظيم السياق. إذا كنت بحاجة إلى العدد الدقيق للإبلاغ، فقم بتشغيل مُجمّع المزود الرسمي على نصك النهائي قبل إرساله.