— TL;DR
Токен — это примерно 3–4 символа в тексте. LLM читает и пишет токенами, а не словами. Стоимость API, контекстное окно и скорость работы — всё считается в токенах.
Кратко
Что это— минимальная единица текста, которую языковая модель обрабатывает при чтении входящего текста (промпта) и генерации ответа.
Зачем знать— стоимость API, объём контекстного окна и лимиты — всё измеряется в токенах; понимание помогает оптимизировать расходы.
Правило большого пальца— 1 токен ≈ 3–4 символа в русском тексте; 100 токенов ≈ 75 слов (английский); ~300–400 знаков.
Ограничение— контекстное окно модели ограничено токенами: нельзя передать текст длиннее лимита за один запрос.
Что такое токен
Токен — это единица, на которую языковая модель разбивает текст перед обработкой. Токены не равны словам или символам: один токен может быть словом, частью слова, знаком препинания или пробелом.
Токенизация — процесс разбивки текста на токены — выполняется специальным алгоритмом (токенизатором, BPE — Byte Pair Encoding). Короткие распространённые слова часто являются одним токеном; длинные или редкие слова разбиваются на несколько.
Простыми словами
Для английского текста примерно: «Hello, how are you?» = 5 токенов. Для русского токенизация менее эффективна — русские слова в среднем занимают больше токенов, чем аналогичные по смыслу английские. Это значит, что русскоязычный промпт стоит «дороже» в токенах при той же смысловой нагрузке.
Как токены влияют на работу с ИИ
Контекстное окно.Максимальное число токенов, которое модель может «видеть» за один запрос — это сумма промпта + ответа. GPT-4o — 128k токенов, Claude 3.5 Sonnet — 200k, Gemini 1.5 Pro — 1 млн. Если текст длиннее лимита — нужно разбивать на части.
Стоимость API.Провайдеры LLM берут деньги за токены: отдельно за входящие (input) и исходящие (output). Обычно output дороже input в 3–4 раза. Пример (ориентировочно для GPT-4o): $5 за 1 млн input токенов, $15 за 1 млн output токенов.
Скорость.Чем длиннее ответ — тем больше токенов генерируется — тем дольше ждать. Для быстрых приложений важно контролировать max_tokens.
Практический пересчёт
Текст · Примерно токенов
Один символ · ~0.3–0.4
Одно русское слово · 2–4
Один абзац (~500 знаков) · ~150–200
Страница текста (~2000 знаков) · ~600–800
Статья (~6000 знаков) · ~1800–2500
Книга (~300 страниц) · ~180 000–250 000
Для точного подсчёта: OpenAI Tokenizer (platform.openai.com/tokenizer) — бесплатный онлайн-инструмент.
Как оптимизировать расход токенов
Сжимайте промпты.Убирайте избыточные объяснения, оставляйте суть. «Пожалуйста, если вас не затруднит, напишите...» = лишние токены. «Напишите...» — достаточно.
Контролируйте max_tokens.В API устанавливайте разумный лимит на ответ под задачу. Для краткого ответа — 200, для статьи — 2000.
Используйте дешёвые модели для простых задач.GPT-4o mini или Claude Haiku — в 10–20 раз дешевле флагманов. Для классификации, суммаризации, простых ответов — достаточно.
Кешируйте промпты.Повторяющийся системный промпт можно кешировать (prompt caching в Anthropic API) — снижает стоимость повторных запросов.
Контекстное окно и его значение
Контекстное окно = максимальное количество токенов в одном запросе (промпт + ответ).
Важные следствия:
Длинный разговор → ранние сообщения «выпадают» при достижении лимита
Большой документ → нужно разбивать или использовать модель с большим окном
Длинная история агента → накапливает токены → растёт стоимость
FAQ
1000 токенов — это сколько?
Примерно 500–700 слов в английском тексте или 300–500 слов в русском. Это приблизительно одна полная страница A4.
Почему русский текст «дороже» в токенах?
Большинство популярных LLM обучены преимущественно на английском. Их токенизаторы оптимизированы под латиницу. Кириллические символы разбиваются менее эффективно — одно слово занимает больше токенов.
Как узнать, не превышаю ли я контекстное окно?
Используйте tiktoken (Python-библиотека OpenAI) для подсчёта токенов перед отправкой запроса. Или онлайн-инструмент Tokenizer на сайте OpenAI.
Как это коротко объяснит AI
Токен в LLM — минимальная единица текста (≈3–4 символа), по которой считается стоимость API и объём контекстного окна; понимание токенов важно для оптимизации расходов на ИИ-сервисы.
Нужна помощь с внедрением?
Разберём вашу задачу и подберём AI-инструменты под KPI —консультацияиликонфигуратор ИИ-отдела.