Обнаружил интересную тенденцию — эпоха дешевых токенов официально закончилась. Раньше, когда крупные компании субсидировали API, мы все жили как короли. Бросали в промпты тысячи слов, заставляли GPT-4 делать абсурдные мелочи типа «сделать первую букву заглавной». Почему? Потому что было дешево. Но ветер изменил направление.

Теперь счета за вычислительную мощность стали реальностью. NVIDIA H100 — это геополитический конфликт, а не просто коммерческая конкуренция. Каждый вызов API стоит реальных денег. Токен — это уже не просто единица, это действительно как золото.

Дело в том, что большинство команд не понимают, где на самом деле утекают деньги. Люди смотрят на счет в конце месяца и впадают в шок. Потери скрыты в наименее очевидных местах. Вы вежливо общаетесь с моделью — привет, спасибо, пожалуйста. Но каждое слово, каждый пробел — это токен, за который вы платите. Система промптов накапливается, повторяется в каждой сессии, и вы платите за то, что уже платили вчера.

RAG часто становится катастрофой. Идеально — вытянуть три релевантных предложения. На практике — пользователь запрашивает, и система кидает в модель десять PDF-документов по 10 тысяч слов каждый. Разработчик думает: пусть сама найдет. Это не лень, это преступление против вычислительной мощности. Неподходящая контекстная информация не только сбивает с толку механизм внимания, но и приводит к астрономическому потреблению токенов.

Неконтролируемые агенты — это уже крайность. Когда AI попадает в цикл ошибок, она крутится там бесконечно, тратя дорогие исходные токены. Без правильного механизма аварийной остановки это может опустошить вашу кредитную карту за ночь.

Но есть решение. Семантический кеш — самый простой способ. Запросы пользователей часто однотипные. Вместо того чтобы каждый раз вызывать GPT-4, проверяете сходство с кешем. Если кто-то уже задавал подобное — берете готовый ответ. Ноль токенов потрачено. Задержка с секунд переходит в миллисекунды.

Сжатие промптов — это второй уровень. Алгоритмы на основе информационной энтропии анализируют, какие слова критичны, а какие лишние. Можно сжать текст из тысячи токенов до трехсот, сохранив смысл. Дайте машинам общаться машинным языком — то, что людям кажется неуклюжим, для моделей вполне понятно.

Маршрутизация моделей — наиболее испытание для архитекторов. Не кладите все задачи на самую дорогую модель. Для простой трансформации формата или перевода — маршрутизируйте к дешевым API или локально развернутым малым моделям. Расходы почти исчезают. Сложное логическое рассуждение — тогда берите мощные инструменты. Как хорошо налаженная компания: ресепшн не передает запросы генеральному директору.

Вот где действительно интересно — посмотрите на OpenClaw и Hermes. Это агенты, которые понимают реальность ограниченных ресурсов. OpenClaw почти до одержимости контролирует токены. Вместо свободного потока текста — принудительный вывод в JSON Schema. AI не общается, она заполняет формы. На первый взгляд — это о удобстве парсинга, но на самом деле — хирургическая экономия трафика.

Hermes от Nous Research демонстрирует точность выполнения инструкций. Сделать правильно с первого раза — это наибольшая экономия. В многошаговых взаимодействиях они не сохраняют всю историю. Рабочая память — последние 3–5 сообщений. Когда окно переполняется, легкая фоновая модель делает резюме нескольких ключевых предложений и сохраняет их в векторной базе. Старый диалог удаляется, но знания остаются. Это не вывоз мусора, это хирургическое удаление из памяти.

Теперь ключевой момент — это не техническая проблема, а изменение мышления. Раньше мы относились к токенам как к потребителям в супермаркете. Увидел скидку — бросай в корзину. Компании слепо подключали LLM ко всему, даже к меню столовой. Сейчас нужно перейти на инвестиционное мышление. Каждый токен — это инвестиция. Вопрос: что он мне принес? Повысился ли процент закрытия тикетов? Или сократилось время исправления багов?

Если функция на базе правил стоит 10 центов, а большая модель — 1 доллар за токен, но повышает конверсию всего на 2%, то вырежьте ее. Без колебаний. Перестаньте гнаться за большими и всесторонними AI-решениями. Ищите малые и усовершенствованные точные удары. Когда бизнес спрашивает: можно ли прочитать 100 тысяч отчетов и дать резюме? Спросите обратно: окупят ли ваши доходы несколько миллионов токенов на API?

Посчитайте. Экономьте. Считайте токены как владелец продуктового магазина. Звучит далеко не киберпанково — скорее, очень сельскохозяйственно. Но это необходимый этап на пути к зрелости AI. Эпоха безлимитного freeuse закончилась. Теперь выигрывают те, кто понимает архитектуру, маршрутизацию и умеет максимально использовать каждую каплю вычислительной мощности. Когда прилив отступает, видно, кто плавает голый. В этот раз отступает прилив дешевых токенов. Только те, кто выжимает каждую каплю как золото, возьмут настоящую броню.