Токеномика на практике: сколько стоит AI Dark Factory и как срезать счёт на 80%

На прошлой неделе я начал воркшоп с командой с простого предупреждения: «Так, ребята. Токеномика. Почему это важно. Меня спрашивают, сколько стоит содержать нашу Dark Factory. Пока дёшево — около $400 на лицензии GitHub Copilot и ещё $50–100 на тест-кейсы. Но скоро всё изменится».

И изменилось.

1 июня модели ценообразования поменялись. Агент автоматизации на Claude Opus, который раньше обходился нам примерно в $0,80 за двухчасовой прогон, внезапно подорожал до $180 за ровно ту же нагрузку при стандартной потокенной тарификации.

Если у вас работают автономные AI-агенты (то, что мы называем «Dark Factory»), которые 24/7 пишут код, дебажат и автоматизируют тесты, игнорировать токеномику больше нельзя.

Ниже — финансовая реальность нашего мая, математика пересчёта цен и точный инженерный playbook, с помощью которого мы режем счета за токены.

Математика: разбор потребления за май

Чтобы оптимизировать, нужно сначала измерить. Мы проанализировали более 6 000 логов GitHub-раннеров из нашего проекта TrackState — который был полностью построен AI Dark Factory — чтобы составить точную карту потребления токенов.

Вот как выглядит наше майское потребление в пересчёте на актуальные скорректированные тарифы GitHub Copilot:

За счёт корпоративных кредитных тарифов мы заплатили примерно в 4,37 раза меньше официальной API-эквивалентной стоимости, но счёт в $5 500 в месяц за одну фабрику — всё равно неподъёмный для небольших команд, даже если это команда агентов по цене одного FTE.

Вот наш playbook из 5 шагов, который позволяет снизить эту стоимость в 3–5 раз уже сейчас.

0. «Налог Claude»: почему токены Anthropic опустошат ваш кошелёк

Прежде чем говорить об оптимизации пайплайнов, нужно назвать слона в комнате: для массовых автономных workflow нужно правильно выбирать модели.

Да, Claude Sonnet и Opus невероятно умны. Да, у них огромное контекстное окно. Но с точки зрения чистой токеномики цены Anthropic выше, чем у OpenAI и Google Gemini.

И дело не только в базовой цене за миллион токенов — дело в том, как они считают. Токеномика Anthropic устроена принципиально иначе и штрафует вас двумя скрытыми способами:

A. Налог на токенизатор (скрытая математика)

Большинство сравнивает LLM по прайс-листу (например, $15 за 1M входных токенов). На что мало кто смотрит — эффективность токенизатора. Разные модели превращают один и тот же текст в разное количество токенов.

Я показал это команде вживую:

• Мы отправили моделям одно слово — «hello». В GPT оно стоило 7 токенов. В Claude ровно то же слово — 8 токенов.
• Когда мы перешли к структурированным данным — JSON-объекты, base64-строки, сырые URL (вроде ссылок на тикеты Jira) — разрыв вырос экспоненциально. Тот же самый payload в Anthropic стоил на 6–10 токенов больше за каждый запрос, чем в GPT.

Когда это масштабируется на автономного агента, который делает тысячи фоновых API-вызовов в день, вы платите уже не просто за данные — вы платите «налог Claude» за каждую скобку, каждый слэш и каждый символ.

B. Иллюзия «миллиона контекста»

Anthropic недавно рекламировала гигантское контекстное окно в 1 миллион токенов. Но на практике, если ваша кодовая база или тикеты содержат base64-изображения, JSON или ссылки, токенизатор Claude съедает этот лимит вдвое быстрее.

Для меня контекстное окно Anthropic в 1M — это практически 500K.

В недавнем тесте разработчик сравнил миграцию большой кодовой базы одним запросом на Claude Opus и GPT 5.5. Для той же самой кодовой базы и того же самого промпта:

• Claude Opus уперся в 100% лимита контекста.
• GPT 5.5 израсходовал только 50% своего лимита.

OpenAI, Google и даже китайские модели (Qwen, Kimi) используют сильно оптимизированные токенизаторы, которые гораздо лучше сжимают структурированный код и системные логи. Кроме того, Gemini нативно поддерживает аудио — можно скормить модели запись встречи напрямую, не платя токенный налог за промежуточный шаг распознавания речи (ASR).

Вывод: если вы строите Dark Factory, которая работает на автоматических циклах, токеномика Anthropic вас разорит. Используйте их точечно — для узких мест, где нужно глубокое рассуждение, а основной трафик пайплайна направляйте на OpenAI, Gemini или open-source модели.

1. Перестаньте отправлять «мусор» в LLM (гигиена API)

Когда ваш агент вызывает внешний инструмент — например, Jira — ответ по умолчанию представляет собой огромный раздутый JSON-объект. В нём URL аватаров, ссылки на иконки приоритетов, системные метаданные и истории статусов.

Для человека это стандартный вывод API. Для LLM — чёрная дыра, которая высасывает оплаченные токены.

Наше решение: мы построили слой оптимизации (на уровне MCP / инструментов), который вырезает все нечитаемые человеком данные. Мы передаём только:

• Summary
• Description
• Comments
• Username

Если агенту не нужен сырой JSON целиком, мы его агрессивно сокращаем. Эта простая гигиена экономит до 40% входных токенов на вызовах инструментов.

2. Сжимайте промпты (на сцену выходят Mermaid-диаграммы)

У нас был один корпоративный аккаунт с 2 000–3 000 строк текстовых инструкций для генерации тест-кейсов. Его никто не читал — даже разработчики. Мы просто доверяли системе. Но LLM вынуждена была читать (и оплачивать) его на каждом цикле.

Наше решение: мы начали превращать длинные текстовые инструкции в Mermaid-диаграммы (flow) и псевдоскриптовые форматы.

• Многословный текстовый промпт на 1 000 токенов сжался до менее чем 100 токенов в виде Mermaid-структуры.
• LLM отлично понимала логику.
• Никакого негативного влияния на качество работы агента мы не заметили.

Если ваши промпты написаны как эссе для людей — сжимайте их в структурный код для моделей.

3. Перестаньте читать файлы целиком (фрагментарная индексация кодовой базы)

Поведение большинства оркестраторов по умолчанию (Copilot, Cloud Code и т.п.) крайне неэффективно. Они делают простой bash/grep-поиск, находят ключевое слово в файле — и тут же заставляют агента прочитать весь файл целиком, «чтобы понять контекст».

Если вы исследуете большую кодовую базу, счёт за токены растёт экспоненциально.

Наше решение: мы интегрировали CodeGraph и RepoMix в наши runner-окружения. Эти инструменты индексируют репозиторий и готовят лёгкий снимок кодовой базы (публичные/приватные методы, архитектура системы, дерево папок), не загружая реальную реализацию каждого вспомогательного метода.

• Это сокращает токены на исследование кодовой базы на 50–60%.
• Агент использует CodeGraph, чтобы найти точные 10 строк нужного кода, читает только этот фрагмент, затем через RepoMix берёт снимок структуры файла — и только после этого читает нужный кусок файла.
• На огромных кодовых базах это занимает всего 15 секунд.

4. Маршрутизация моделей: считайте циклы, а не только цену токена

Когда хочется сэкономить, инстинктивная реакция — переключить всё на самую дешёвую модель (вроде GPT-5.4 Mini или Haiku-4.5). Но дешёвые модели часто «ленивы» или допускают логические ошибки, что приводит к бесконечным циклам. Более того, у вашего harness могут быть ограничения на количество циклов — и тогда у них вообще нет шанса нормально завершить задачу.

Мы прогнали одну и ту же задачу дебага на разных моделях и посчитали циклы выполнения:

• GPT-5.4 Mini: 10 циклов (постоянно ошибался, повторял попытки и перечитывал контекст).
• Claude Sonnet 4.6: 3–5 циклов.
• Claude Opus 4.6: 1 цикл (исправление с первого раза).

Хотя Opus дороже за токен, один цикл на Opus часто обходится дешевле, чем 10 циклов на Mini-модели, из-за накопленных входных токенов на повторных попытках.

Стратегия: используйте модели второго эшелона (Sonnet или GPT-5.4) как рабочих лошадок. Простые задачи оркестратора (перемещение файлов, триггеры деплоя) направляйте на Mini/Flash-модели. Reasoning-модели берегите для сложного мультифайлового дебага. И правильно проектируйте свою систему субагентов.

Мы также начали маршрутизировать нагрузки на гипероптимизированных бюджетных провайдеров вроде Silicon Flow и китайские локальные решения (Kimi 2.6, DeepSeek), которые дают впечатляющую производительность за малую долю стоимости.

5. Кэширование и оптимизация раннеров

Токены — это только половина счёта. Вторая половина — CI/CD-инфраструктура. В мае мы потратили $500 только на минуты GitHub-раннеров.

Если не оптимизировать окружения, вы сжигаете деньги на переустановку зависимостей при каждом запуске агента.

Наше решение:

• Кэшируем всё: npm-зависимости, слои контейнеров и наши собственные CLI-инструменты (dm-tools).
• В начале сессии раннера восстанавливаем из кэша, в конце — обновляем кэш.
• Вы платите небольшую сетевую комиссию за восстановление кэша, но экономите драгоценные и дорогие минуты раннера.

Заключение

Переход GenAI из стадии «крутого прототипа» в «enterprise-продакшн» требует инженерной дисциплины. Эра расслабленного «vibe coding» мертва.

Если вы хотите эксплуатировать AI в масштабе, вам придётся стать Token Engineer. Измеряйте свои пайплайны, очищайте payload'ы, сжимайте промпты и кэшируйте окружения.

Свет выключен. Фабрика работает.

— Uladzimir Klyshevich, Architect of Dark Factory

FAQ