Категория · Глоссарий ·  № 001

Что такое токен в LLM

*Атомарная единица текста, которую языковая модель читает и генерируе…
— TL;DR

*Атомарная единица текста, которую языковая модель читает и генерирует — и по которой считается стоимость API.*

— TL;DR

Токен — это примерно 3–4 символа в тексте. LLM читает и пишет токенами, а не словами. Стоимость API, контекстное окно и скорость работы — всё считается в токенах.

Кратко

  • Что это— минимальная единица текста, которую языковая модель обрабатывает при чтении входящего текста (промпта) и генерации ответа.

  • Зачем знать— стоимость API, объём контекстного окна и лимиты — всё измеряется в токенах; понимание помогает оптимизировать расходы.

  • Правило большого пальца— 1 токен ≈ 3–4 символа в русском тексте; 100 токенов ≈ 75 слов (английский); ~300–400 знаков.

  • Ограничение— контекстное окно модели ограничено токенами: нельзя передать текст длиннее лимита за один запрос.

Что такое токен

Токен — это единица, на которую языковая модель разбивает текст перед обработкой. Токены не равны словам или символам: один токен может быть словом, частью слова, знаком препинания или пробелом.

Токенизация — процесс разбивки текста на токены — выполняется специальным алгоритмом (токенизатором, BPE — Byte Pair Encoding). Короткие распространённые слова часто являются одним токеном; длинные или редкие слова разбиваются на несколько.

Простыми словами

Для английского текста примерно: «Hello, how are you?» = 5 токенов. Для русского токенизация менее эффективна — русские слова в среднем занимают больше токенов, чем аналогичные по смыслу английские. Это значит, что русскоязычный промпт стоит «дороже» в токенах при той же смысловой нагрузке.

Как токены влияют на работу с ИИ

Контекстное окно.Максимальное число токенов, которое модель может «видеть» за один запрос — это сумма промпта + ответа. GPT-4o — 128k токенов, Claude 3.5 Sonnet — 200k, Gemini 1.5 Pro — 1 млн. Если текст длиннее лимита — нужно разбивать на части.

Стоимость API.Провайдеры LLM берут деньги за токены: отдельно за входящие (input) и исходящие (output). Обычно output дороже input в 3–4 раза. Пример (ориентировочно для GPT-4o): $5 за 1 млн input токенов, $15 за 1 млн output токенов.

Скорость.Чем длиннее ответ — тем больше токенов генерируется — тем дольше ждать. Для быстрых приложений важно контролировать max_tokens.

Практический пересчёт

Текст · Примерно токенов

Один символ · ~0.3–0.4

Одно русское слово · 2–4

Один абзац (~500 знаков) · ~150–200

Страница текста (~2000 знаков) · ~600–800

Статья (~6000 знаков) · ~1800–2500

Книга (~300 страниц) · ~180 000–250 000

Для точного подсчёта: OpenAI Tokenizer (platform.openai.com/tokenizer) — бесплатный онлайн-инструмент.

Как оптимизировать расход токенов

Сжимайте промпты.Убирайте избыточные объяснения, оставляйте суть. «Пожалуйста, если вас не затруднит, напишите...» = лишние токены. «Напишите...» — достаточно.

Контролируйте max_tokens.В API устанавливайте разумный лимит на ответ под задачу. Для краткого ответа — 200, для статьи — 2000.

Используйте дешёвые модели для простых задач.GPT-4o mini или Claude Haiku — в 10–20 раз дешевле флагманов. Для классификации, суммаризации, простых ответов — достаточно.

Кешируйте промпты.Повторяющийся системный промпт можно кешировать (prompt caching в Anthropic API) — снижает стоимость повторных запросов.

Контекстное окно и его значение

Контекстное окно = максимальное количество токенов в одном запросе (промпт + ответ).

Важные следствия:

  • Длинный разговор → ранние сообщения «выпадают» при достижении лимита

  • Большой документ → нужно разбивать или использовать модель с большим окном

  • Длинная история агента → накапливает токены → растёт стоимость

FAQ

1000 токенов — это сколько?
Примерно 500–700 слов в английском тексте или 300–500 слов в русском. Это приблизительно одна полная страница A4.

Почему русский текст «дороже» в токенах?
Большинство популярных LLM обучены преимущественно на английском. Их токенизаторы оптимизированы под латиницу. Кириллические символы разбиваются менее эффективно — одно слово занимает больше токенов.

Как узнать, не превышаю ли я контекстное окно?
Используйте tiktoken (Python-библиотека OpenAI) для подсчёта токенов перед отправкой запроса. Или онлайн-инструмент Tokenizer на сайте OpenAI.

Как это коротко объяснит AI

Токен в LLM — минимальная единица текста (≈3–4 символа), по которой считается стоимость API и объём контекстного окна; понимание токенов важно для оптимизации расходов на ИИ-сервисы.

Нужна помощь с внедрением?

Разберём вашу задачу и подберём AI-инструменты под KPI —консультацияиликонфигуратор ИИ-отдела.

· · ·
Контакт

Будущее выигрывают не самые автоматизированные компании.

А те, у кого AI работает как часть управляемой системы. Если хотите начать с одного инструмента или собрать целый ИИ‑отдел маркетинга — давайте поговорим.