Реклама мешает? Идти Без рекламы Сегодня 

Оценщик количества токенов LLM

ДанныеРазработчикТекст

Реклама · УДАЛИТЬ?

ВХОД

Автоматический процесс

ВЫХОД

Клиентская сторона

Реклама · УДАЛИТЬ?

Гид

Оценщик количества токенов LLM

Вставьте любой промпт, документ или фрагмент кода и мгновенно получите оценку количества токенов для GPT-4o, GPT-4 Turbo, GPT-3.5, моделей o1 для логического мышления, Claude 3.x, и Gemini 1.5. Инструмент работает полностью в браузере, обновляется в реальном времени при вводе текста, и сопровождает оценку количества токенов стоимостью на миллион токенов и живым баром использования окна контекста, чтобы вы могли сразу увидеть, насколько близки вы к пределу модели.

Как использовать

Вставьте или введите свой текст в область ввода. Инструмент обрабатывает каждое изменение мгновенно без необходимости нажимать кнопку.
Выберите целевую модель из выпадающего списка. По умолчанию выбрана модель GPT-4o.
Опционально укажите ожидаемое количество токенов вывода, чтобы оценщик стоимости учитывал стоимость генерации, а не только стоимость ввода.
Посмотрите оценку количества токенов, соотношение символов на токен и бар использования окна контекста, чтобы оценить размер промпта перед отправкой.
Сравните стоимость ввода, вывода и общую стоимость в долларах для всех поддерживаемых моделей в таблице цен.
Проверьте визуализацию токенов, чтобы увидеть, где приблизительно находятся границы токенов. Соседние токены чередуются по цвету, чтобы каждый элемент был визуально различим.

Возможности

Двенадцать моделей рядом друг с другом — GPT-4o, GPT-4o mini, GPT-4 Turbo, GPT-4, GPT-3.5 Turbo, o1, o1-mini, Claude 3.5 Sonnet, Claude 3 Opus, Claude 3 Haiku, Gemini 1.5 Pro и Gemini 1.5 Flash сравниваются в одной таблице.
Бар использования окна контекста — Показывает количество токенов как процент от размера окна выбранной модели, с цветами предупреждения и опасности при превышении 70% и 90% окна.
Оценка стоимости с учётом токенов вывода — Применяются цены на 1 миллион токенов ввода и вывода к вашему фактическому размеру ввода и к настраиваемой ожидаемой длине ответа.
Визуализация токенов — Чередующиеся цвета блоков показывают, где приблизительно находятся границы токенов в стиле BPE, с пробелами в начале, соединёнными с последующим блоком, и знаками препинания, сохранёнными как отдельные единицы.
Панель живых статистик — Оценка токенов, количество слов, количество символов, количество символов без пробелов, количество токенов на слово и количество символов на токен.
Работает полностью на стороне клиента — Ничего не загружается. Ваш промпт остаётся на вашем компьютере.
Код-ориентированный гипотезис — Когда текст выглядит как код, коэффициент оценки снижается, чтобы отражать то, что BPE делит код более агрессивно, чем текст.

 Часто задаваемые вопросы

Что такое токен в больших языковых моделях?

Токен — это базовая единица, которую модель читает и генерирует. Токены создаются с помощью байтового парного кодирования (BPE) или аналогичного подсловного токенизатора, который изучает наиболее часто встречающиеся последовательности символов в обучающих данных и хранит их в общей словарной базе. Один токен может быть полным словом, распространённым префиксом или суффиксом, частью редкого слова, одним эмодзи или знаком препинания. Для английского текста средний токен составляет примерно четыре символа или около трех четвертей слова. Код, URL, JSON и не-латинские скрипты генерируют больше токенов на символ, потому что их последовательности символов встречаются реже в словарной базе токенизатора.
Почему разные модели отображают разные количества токенов для одного и того же текста?

Каждая семья моделей обучается с собственным токенизатором и словарём. Модели GPT-3.5 и GPT-4 от OpenAI используют кодировку cl100k_base, в то время как GPT-4o и серия o1 используют более новую кодировку o200k_base. Модели Claude от Anthropic используют собственный токенизатор от Anthropic, а модели Gemini от Google используют токенизатор SentencePiece. Поскольку словари различаются, один и тот же текст может кодироваться с разным количеством токенов на разных моделях, обычно в пределах от десяти до двадцати процентов для английского текста, но более значительные различия наблюдаются для кода или текста на языках, отличных от английского.
Что такое окно контекста и почему это важно?

Окно контекста — это максимальное количество токенов, которое модель может читать и генерировать в одном запросе. Оно включает системный промпт, пользовательский промпт, полную историю диалога и ответ. Когда вы превышаете это окно, старые данные удаляются, что может молча удалять инструкции или факты, которые модель могла бы использовать. Большое окно позволяет обрабатывать длинные документы и длинные диалоги, но задержка и стоимость растут с увеличением количества обрабатываемых токенов, поэтому даже при окне в два миллиона токенов обычно выгоднее и быстрее держать промпты короткими.
Как обычно рассчитывается стоимость API больших языковых моделей?

Большинство поставщиков рассчитывают стоимость ввода и вывода токенов отдельно и указывают стоимость на миллион токенов. Токены ввода — это всё, что вы отправляете модели, включая системные промпты и историю диалога. Токены вывода — это всё, что генерирует модель. Вывод почти всегда дороже ввода, потому что генерация требует больше вычислительных ресурсов. Некоторые поставщики также предоставляют скидку на кэшированные или повторно используемые токены ввода. Чтобы оценить общую стоимость вызова, умножьте количество токенов ввода на ставку ввода и количество ожидаемых токенов вывода на ставку вывода, разделите каждый результат на миллион и сложите полученные значения.
Почему моя оценка токенов — это лишь приблизительная величина, а не точное количество tiktoken?

Для получения точного BPE-количества токенов необходимо отправить полный словарь токенизатора в браузер, что может составлять несколько мегабайт весов на каждую кодировку. Этот инструмент использует гипотезу на основе количества символов на токен, откалиброванную для каждой модели, которая даёт оценку в пределах нескольких процентов от истинного tiktoken или SentencePiece для типичного английского текста и достаточно точна для оценки стоимости и планирования окна контекста. Если вам нужно точное количество для согласования с бухгалтерией, выполните оценку с помощью официального токенизатора поставщика перед отправкой промпта.