Estimateur de comptage de tokens LLM

Un token est l'unité de base que le modèle lit et génère. Les tokens sont produits par un encodage en paires de caractères (BPE) ou un autre tokenizer de mots sous-étudiés, qui apprennent les séquences de caractères les plus fréquentes dans les données d'entraînement et les stockent dans un vocabulaire partagé. Un seul token peut être un mot complet, un préfixe ou suffixe courant, une partie d'un mot rare, un emoji ou un marqueur de ponctuation. Pour le texte en anglais, un token moyen correspond à environ quatre caractères ou à trois quarts d'un mot. Le code, les URLs, le JSON et les scripts non latins produisent généralement plus de tokens par caractère car leurs séquences de caractères sont moins fréquentes dans le vocabulaire du tokenizer.

Chaque famille de modèles est entraînée avec son propre tokenizer et son propre vocabulaire. OpenAI utilise le cl100k_base pour GPT-3.5 et GPT-4, tandis que GPT-4o et la série o1 utilisent le plus récent o200k_base. Les modèles Claude d'Anthropic utilisent un tokenizer propriétaire, et les modèles Gemini d'Google utilisent un tokenizer SentencePiece. Comme les vocabulaires diffèrent, le même texte peut être encodé avec un nombre différent de tokens sur différents modèles, généralement entre 10 et 20 % pour le texte en anglais, mais plus divergent pour le code ou les textes non anglais.

La fenêtre de contexte est le nombre maximal de tokens qu'un modèle peut lire et générer dans une seule requête. Elle inclut le prompt système, le prompt utilisateur, l'historique complet de la conversation et la réponse. Lorsque vous dépassez cette fenêtre, le contexte ancien est tronqué, ce qui peut silencieusement supprimer des instructions ou des faits nécessaires au modèle. Une fenêtre importante permet de traiter des documents longs et des conversations longues, mais la latence et le coût augmentent avec le nombre de tokens traités, donc même avec une fenêtre de deux millions de tokens, il est généralement plus économique et plus rapide de garder les prompts courts.

La plupart des fournisseurs tarifent séparément les tokens d'entrée et de sortie et indiquent le tarif par million de tokens. Les tokens d'entrée sont tout ce que vous envoyez au modèle, y compris les prompts système et l'historique de conversation. Les tokens de sortie sont tout ce que le modèle génère. La sortie est presque toujours plus coûteuse que l'entrée car la génération est limitée par le calcul. Quelques fournisseurs offrent également une réduction sur les tokens d'entrée réutilisés ou stockés. Pour estimer le coût total d'une requête, multipliez le nombre de tokens d'entrée par le taux d'entrée, le nombre de tokens de sortie attendus par le taux de sortie, divisez chaque résultat par un million, puis ajoutez les deux valeurs.

Produire un comptage exact de BPE nécessite d'envoyer le vocabulaire complet du tokenizer au navigateur, ce qui peut atteindre plusieurs mégaoctets par encodage. Cet outil utilise une heuristique de caractères par token calibrée pour chaque famille de modèles, ce qui donne un comptage dans les quelques pourcentages de la valeur exacte de tiktoken ou de SentencePiece pour le texte en anglais typique, et suffit pour une estimation de coût et une planification de la fenêtre de contexte. Si vous avez besoin d'un comptage exact pour la réconciliation des factures, exécutez le tokenizer officiel du fournisseur sur votre prompt final avant de l'envoyer.