LLM API コスト計算機

トークンはモデルが読み取りおよび書き出しを行うテキストの塊です。英語の文章では1トークンあたり約4文字です。LLMが1トークンあたり価格を設定するのは、計算コストが処理されたトークン数に比例するためです。すべての入力トークンは処理され、すべての出力トークンは1ステップずつ生成されます。1トークンあたりの価格設定は、GPUが実際に行う作業に直接対応する線形かつ予測可能なコストモデルを提供します。

入力トークンは1回の並列前向きパスで処理されます：モデルはプロンプト全体を1回に読み取ります。一方、出力トークンは自動回帰的に生成されます——新しいトークンを生成するたびに、成長するコンテキストに対して別の前向きパスが必要です。このステップごとの生成は1トークンあたりのコストが高く、プロバイダーは通常、出力トークンを入力トークンの2倍から5倍ほど高く価格設定します。

バッチ価格は、複数のリクエストを一度に送信し、提供者によって指定された期間（OpenAI、Anthropic、Googleでは通常24時間）内に結果を受信できるようにします。これらのジョブはオフピーク容量にスケジュールできるため、提供者は入力および出力トークンに対して50%割引を提供します。バッチ価格はドキュメントの豊富化、評価実行、埋め込みバックフィル、夜間レポートなどのオフラインワークロードに最適です。ユーザーが待っているもの（チャットやインタラクティブ検索など）には適していません。

大きなモデルはパラメータが多いため、1回の前向きパスに必要な計算量とメモリ帯域が増加します。4050億パラメータのモデルは80億パラメータのモデルよりも1トークンあたりに多くの算術演算を行います。提供者はそのコストを1トークンあたりの価格として反映しています。そのため、単純な分類や抽出タスクには、小さな高速モデルが適している場合があります——コストが少なく、応答が早くなります。

常にそうではありません。発表されたリスト価格は出発点ですが、多くの提供者はコミットド用割引、企業契約、事前購入クレジット、およびボリューム階層を提供し、効果的な1トークンあたり価格を下げます。さらに、キャッシュプロンプト、プロンプト圧縮機能、提供者固有のコンテキストキャッシュは、繰り返しのワークロードで入力コストを大幅に削減できます。リスト価格計算器は計画の上限として扱い、その後、契約割引を上乗せしてください。