LLM-Token-Zähler-Schätzer

Ein Token ist die grundlegende Einheit, die ein Modell liest und erzeugt. Tokens werden durch ein Byte-Pair-Encoding (BPE) oder ein ähnliches Sub-Wort-Tokenizer erzeugt, das die häufigsten Zeichenfolgen aus den Trainingsdaten lernt und diese als gemeinsame Vokabel speichert. Ein einzelner Token kann ein vollständiges Wort, einen häufigen Vorsatz oder Nachsatz, einen Teil eines selteneren Wortes, ein einzelnes Emoji oder ein Punktzeichen sein. Für englische Prosa beträgt der Durchschnitt eines Tokens etwa vier Zeichen oder etwa drei Viertel eines Wortes. Code, URLs, JSON und nicht-lateinische Schriften erzeugen tendenziell mehr Tokens pro Zeichen, weil ihre Zeichenfolgen in der Vokabel des Tokenizers weniger häufig sind.

Jede Modellfamilie wird mit ihrem eigenen Tokenizer und Vokabel trainiert. OpenAIs GPT-3.5 und GPT-4 verwenden das cl100k_base-Encoding, während GPT-4o und die o1-Serie das neuere o200k_base-Encoding verwenden. Die Claude-Modelle von Anthropic verwenden einen proprietären Anthropic-Tokenizer, und die Gemini-Modelle von Google verwenden einen SentencePiece-Tokenizer. Da die Vokabeln unterschiedlich sind, kann die gleiche Satz in verschiedenen Modellen zu unterschiedlichen Tokenzahlen führen, typischerweise innerhalb von zehn bis zwanzig Prozent für englische Prosa, aber bei Code oder nicht-englischen Texten deutlich divergierend.

Das Kontextfenster ist die maximale Anzahl an Tokens, die ein Modell in einem einzigen Anruf lesen und erzeugen kann. Es umfasst den Systemprompt, den Benutzersatz, die vollständige Gesprächsgeschichte und die Antwort. Wenn Sie das Fenster überschreiten, wird älteres Kontext abgeschnitten, was leise Anweisungen oder Fakten löscht, die das Modell benötigte. Ein großes Fenster bietet Platz für lange Dokumente und lange Gespräche, aber Latenz und Kosten steigen mit der Anzahl der verarbeiteten Tokens. Selbst mit einem Fenster von zwei Millionen Tokens ist es normalerweise günstiger und schneller, die Prompts eng zu halten.

Die meisten Anbieter berechnen Eingabekosten und Ausgabekosten getrennt und nennen die Rate pro Million Tokens. Eingabetokens sind alles, was Sie dem Modell senden, einschließlich Systemprompts und Gesprächsgeschichte. Ausgabetokens sind alles, was das Modell erzeugt. Ausgabe ist fast immer teurer als Eingabe, weil die Erzeugung rechenintensiv ist. Einige Anbieter bieten auch eine Rabatt für abgespeicherte oder wiederverwendete Eingabetokens. Um die Gesamtkosten für einen Aufruf zu schätzen, multiplizieren Sie Ihre Eingabetokens mit der Eingabekostenrate und Ihre erwarteten Ausgabetokens mit der Ausgabekostenrate, teilen Sie beide durch eine Million und addieren Sie die beiden Zahlen zusammen.

Die Erstellung einer genauen BPE-Tokenanzahl erfordert, das vollständige Tokenizer-Vokabel in den Browser zu übertragen, was mehrere Megabyte von Gewichten pro Encoding erfordern kann. Dieses Tool verwendet eine Heuristik für die Zeichen pro Token, die für jede Modellfamilie kalibriert wurde, die eine Anzahl liefert, die innerhalb von einigen Prozent der tatsächlichen tiktoken- oder SentencePiece-Zahl für typische englische Prosa liegt und genügend genau ist, um Kostenabschätzungen und Kontextfensterplanung zu ermöglichen. Wenn Sie die genaue Anzahl für Rechnungsabrechnung benötigen, führen Sie den offiziellen Tokenizer des Anbieters gegen Ihren endgültigen Prompt aus, bevor Sie ihn senden.