LLMトークンカウント推定ツール

トークンはモデルが読み取りおよび生成する基本単位です。トークンはバイトペアエンコーディング（BPE）または類似のサブワードトークナイザーによって生成され、トレーニングデータにおける最も頻出な文字列を学習し、それらを共有された辞書として保存します。1つのトークンは完全な単語、一般的な前綴または後綴、まれな単語の一部、1つのエモジ、または記号を含む可能性があります。英語の散文では、1トークンは平均で約4文字または約3分の4の単語に相当します。コード、URL、JSON、および非ラテン文字は、トークナイザーの辞書に含まれる文字列が少ないため、1文字あたりのトークン数が増加します。

各モデルファミリーは独自のトークナイザーと辞書で訓練されています。OpenAIのGPT-3.5およびGPT-4はcl100k_baseエンコーディングを使用し、GPT-4oおよびo1シリーズは新しいo200k_baseエンコーディングを使用しています。AnthropicのClaudeモデルは独自のAnthropicトークナイザーを使用し、GoogleのGeminiモデルはSentencePieceトークナイザーを使用しています。辞書が異なるため、同じ文は異なるモデルで異なるトークン数にエンコードされ、英語の散文では通常10〜20％の範囲内に収まりますが、コードや非英語テキストではそれ以上の差が生じます。

コンテキストウィンドウは、モデルが1つのリクエストで読み取りおよび生成できる最大トークン数です。これはシステムプロンプト、ユーザープロンプト、完全な会話履歴、および応答を含みます。ウィンドウを超過すると、古いコンテキストがトリムされ、モデルが必要だった指示や事実が無意識に削除される可能性があります。大きなウィンドウは長文や長会話にスペースを提供しますが、処理されるトークン数が増えるにつれて遅延とコストも増加します。そのため、200万トークンのウィンドウをもつ場合でも、プロンプトを短く保つのが通常はより安価で速いです。

ほとんどの提供者は、入力と出力トークンを別々に価格設定し、100万トークンあたりの価格を提示しています。入力トークンはモデルに送信するすべての内容を含み、システムプロンプトおよび会話履歴を含みます。出力トークンはモデルが生成するすべての内容です。出力は入力よりも常に高価であることが多く、生成は計算に依存しているためです。一部の提供者は、キャッシュまたは再利用された入力トークンに対して割引を適用しています。呼び出しの総コストを推定するには、入力トークン数に入力価格を掛け、期待される出力トークン数に出力価格を掛け、それぞれを100万で割り、その2つの数値を合計します。

正確なBPEトークン数を生成するには、完全なトークナイザーの辞書をブラウザに送信する必要があります。これは、各エンコーディングごとに数メガバイトの重みを含む場合があります。このツールは、各モデルファミリーにカーティングされた文字数あたりのトークンヒューリスティックを使用しており、英語の散文では正確なtiktokenまたはSentencePiece数に数パーセントの誤差を許容し、コスト見積もりおよびコンテキストウィンドウ計画に十分な精度を提供しています。正確な数値が必要な場合、最終プロンプトを送信する前に、提供者の公式トークナイザーを使用して実行してください。