Kostenrechner für LLM-API

Ein Token ist ein Textabschnitt, den das Modell liest und schreibt – etwa ein Wort, ein Subwort oder ein einzelner Punkt. Englische Texte haben durchschnittlich etwa vier Zeichen pro Token. LLMs berechnen pro Token, weil die Rechenkosten mit der Anzahl der verarbeiteten Tokens wachsen: Jeder Eingabetoken muss behandelt werden, und jeder Ausgabetoken wird schrittweise generiert. Die pro-Token-Berechnung liefert ein lineares, vorhersehbares Kostenmodell, das direkt auf die tatsächlich durchgeführte GPU-Arbeit abgebildet wird.

Eingabetokens werden in einem einzigen parallelen Vortritt verarbeitet: Das Modell liest den gesamten Prompt in einem Schritt. Ausgabetokens hingegen werden autoregressiv generiert – jedes neue Token erfordert einen weiteren Vortritt über den wachsenden Kontext. Diese schrittweise Generierung ist pro Token teurer, weshalb Anbieter typischerweise Ausgabetokens 2x bis 5x teurer preisen als Eingabetokens.

Batch-Preis ermöglicht es Ihnen, viele Anfragen zusammen zu senden und die Ergebnisse innerhalb eines von den Anbietern festgelegten Zeitraums zu erhalten – typischerweise 24 Stunden bei OpenAI, Anthropic und Google. Da diese Aufgaben auf nicht-peak-Infrastruktur geplant werden können, bieten die Anbieter einen 50%-Rabatt sowohl für Eingabeprojekte als auch für Ausgabeprojekte. Batch ist ideal für Offline-Aufgaben wie Dokumentenverfeinerung, Evaluierungsabläufe, Embedding-Backfills und Nachtberichte. Es eignet sich nicht für Dinge, die ein Benutzer erwartet, wie Chat oder interaktive Suche.

Größere Modelle haben mehr Parameter, was bedeutet, dass jeder Vortritt mehr Rechenleistung und mehr Speicherbandbreite benötigt. Ein 405-Milliarden-Parameter-Modell führt einfach mehr Rechnungen pro Token aus als ein 8-Milliarden-Parameter-Modell. Die Anbieter übertragen diesen zusätzlichen Aufwand als höhere pro-Token-Preise. Das ist auch der Grund, warum ein kleinerer, schnellerer Modell oft die richtige Lösung für einfache Klassifikations- oder Extraktionsaufgaben ist – Sie zahlen weniger und erhalten eine Antwort schneller.

Nicht immer. Die veröffentlichten Listenpreise sind der Ausgangspunkt, aber die meisten Anbieter bieten Verpflichtungsrabatte, Enterprise-Verträge, vorbezahlt Credits und Volumenstufen an, die den effektiven pro-Token-Preis senken. Außerdem können abgespeicherte Prompts, Prompt-Kompression und Provider-spezifische Kontext-Caching die Eingabekosten erheblich senken, wenn es sich um wiederholende Aufgaben handelt. Behandeln Sie Listenpreisrechner als Obergrenze für Planungen und fügen Sie dann Ihre Vertragsrabatte hinzu.