Calculateur de coûts de l'API LLM

Un token est une portion de texte que le modèle lit et écrit — environ un mot, une sous-mot ou un signe de ponctuation. Le texte en anglais a en moyenne environ quatre caractères par token. Les LLM facturent par token car le coût de calcul augmente avec le nombre de tokens traités : chaque token d'entrée doit être pris en compte, et chaque token de sortie est généré étape par étape. Le tarif par token donne un modèle de coût linéaire et prévisible qui correspond directement à l'œuvre effectuée par le GPU.

Les tokens d'entrée sont traités dans une seule passe en avant : le modèle lit l'ensemble du prompt en une seule fois. En revanche, les tokens de sortie sont générés de manière autoregressive — chaque nouveau token nécessite une autre passe en avant sur le contexte croissant. Ce processus de génération étape par étape est plus coûteux par token, ce qui explique pourquoi les fournisseurs tarifent généralement les tokens de sortie 2 à 5 fois plus chers que les tokens d'entrée.

La tarification en lots vous permet de soumettre plusieurs demandes ensemble et de recevoir les résultats dans une fenêtre spécifiée par le fournisseur — généralement 24 heures chez OpenAI, Anthropic et Google. Comme ces tâches peuvent être planifiées sur des capacités en heures de pointe, les fournisseurs offrent une réduction 50% sur les tokens d'entrée et de sortie. La tarification en lots est idéale pour les charges hors ligne comme l'ajout de documents, les tests, les remplacements d'embeddings ou les rapports nocturnes. Elle n'est pas adaptée à tout ce qu'un utilisateur attend, comme les conversations ou les recherches interactives.

Les modèles plus grands ont plus de paramètres, ce qui signifie que chaque passe en avant nécessite plus de calcul et plus de bande passante mémoire. Un modèle de 405 milliards de paramètres effectue simplement plus d'opérations par token qu'un modèle de 8 milliards. Les fournisseurs transmettent ce coût sous forme d'un prix plus élevé par token. C'est aussi la raison pour laquelle un modèle plus petit et plus rapide est souvent la bonne réponse pour des tâches simples comme la classification ou l'extraction — vous payez moins et obtenez une réponse plus rapidement.

Pas toujours. Les prix listés sont le point de départ, mais la plupart des fournisseurs offrent des réductions pour l'usage contrôlé, des contrats d'entreprise, des crédits prépayés et des niveaux de volume qui réduisent le taux effectif par token. En outre, les prompts en cache, les fonctionnalités de compression des prompts et le cache contextuel spécifique aux fournisseurs peuvent réduire considérablement les coûts d'entrée pour des charges répétitives. Considérez les calculateurs de prix listés comme une borne supérieure pour la planification, puis ajoutez les réductions contractuelles en supplément.