Закінчилася епоха, коли можна було вільно використовувати обчислювальні ресурси без думки про вартість. Хешрейт дорожчає, і це змінює все.

Два роки тому ми жили в іншому світі. Відкривав API — і великі моделі безперервно генерували код, текст, відповіді на будь-що. Нікого не хвилювало, що ми кидаємо в Prompt тисячі слів документів, змушуємо GPT-4 робити дрібниці типу капіталізації тексту. Чому? Тому що було дешево. Інвестори платили. Компанії субсидували. Це був період безплатного використання ресурсів.

Але сон закінчився. Потужність повсюдно дорожчає — це не передбачення, а реальність, що відбувається прямо зараз. Боротьба за NVIDIA H100 став геополітичним конфліктом. Енергоспоживання центрів обробки даних наближається до меж можливостей електромереж. Великі гравці більше не грають в благодійність.

Коли ваш бізнес масштабується і щоденні запити перевищують мільйони викликів, та незначна оплата за 1K токенів перетворюється на водоспад витрат. Це машина для откачування грошей. Це кошмар, що розбуджує CFO стартапів посеред ночі. Токен став реальною грошовою одиницею.

Де втрачаються ваші токени? Люди часто не розуміють. Дивляться на щомісячні рахунки, що зростають, наче на незрозумілу книгу. Втрата відбувається в найменш помітних місцях.

Перше: ви ввічливо розмовляєте з AI. «Привіт, чи можете допомогти? Дуже дякую, прошу вас...» Людині це норма, але в економіці токенів це розбійництво. Великим моделям не потрібні ваші «будь ласка» і «спасибі». Кожне слово — це токен, кожен пробіл — це гроші. Ще гірше — надзвичайно довгі системні підказки, які повторюються в кожній сесії: «Дотримуйтеся десяти принципів...» «Якщо не знаєте, скажіть не знаю...» Корисні? Так. Але якщо це повторюється мільйони разів, це астрономічні втрати.

Друге: неконтрольований RAG. Ідеально: витягнути три релевантні речення. На практиці: користувач запитав щось, система витягує десять 10-тисячословних PDF-документів і кидає їх в модель. Розробник подумав: «Нехай сама шукає». Це не лінь, це злочин проти обчислювальної потужності. Нерелевантна інформація не лише перешкоджає механізму уваги, але й призводить до астрономічного споживання токенів. Ви думали, що задали просте питання, а насправді змусили модель прочитати пів бібліотеки.

Третє: агент без обмежень. Режим ReAct робить AI таким, що вона міркує і діє як людина. Але якщо API вимкнеться або логіка потрапить у цикл, агент буде крутитися нескінченно. Кожен цикл міркування споживає дорогі вихідні токени — вони коштують у кілька разів більше за вхідні. Агент без правильного механізму аварійної зупинки — це чорна дірка, що поглинає ваш бюджет.

Як економити? Перше: семантичне кешування. Запити користувачів часто однотипні. «Як скинути пароль?» приходить сотні разів на день. Замість GPT-4 кожен раз — перетворюєте запит на вектор, порівнюєте з кешем. Якщо схожість висока, повертаєте відповідь з кешу. Без токенів. Затримка з секунд до мілісекунд. Це не просто економія, це скачок в досвіді.

Друге: стиснення підказок. Довгий контекст — це гріх. Алгоритми на основі інформаційної ентропії аналізують, які слова критичні, а які зайві. Можна стиснути текст з 1000 токенів до 300, зберігаючи суть. Дозволяєте машинам спілкуватися машинною мовою — людям здається незграбно, але AI розуміє. Ви економите 70% витрат.

Третє: маршрутизація моделей. Не кидайте все на найдорожчу модель. Для простого витягування сутностей або перекладу маршрутизуйте на дешеві відкриті моделі типу Llama 3 8B. Для складного логічного міркування — використовуйте GPT-4o або Claude 3.5 Sonnet. Як добре налагоджена компанія: запити, що може вирішити ресепшн, не йдуть до генерального директора. Той, хто налаштує це найточніше, зможе знизити загальні витрати на токен до десятої частини від конкурентів.

Передовий фронт вже це зрозумів. Коли дивитися на найсучасніші екосистеми агентів — особливо ті, що рухаються до мобільних пристроїв — видно битву за максимальну оптимізацію токенів. На мобільному пристрої немає розкішу великого контексту. Пропускна здатність обмежена, пам'ять обмежена, енергія обмежена.

OpenClaw контролює використання токенів майже до одержимості. Замість грубого накладання повного контексту, він покладається на структуровані вихідні дані. Він змушує модель виводити результати у строгому JSON Schema. Не дозволяє AI «спілкуватися» — змушує «заповнювати форми». Це зменшує зайві символи, економить трафік.

Hermes Agent від Nous Research показує хірургічне керування контекстом. Замість зберігання всієї історії, вводять динамічну пам'ять. Робоча пам'ять: останні 3-5 розмов. Довготривала пам'ять: коли контекст переповнюється, легка модель резюмує діалог у кілька речень, зберігає в векторній базі. Старий діалог видалено, але знання збережено. Це не відходи, а хірургічне видалення. Таке керування контекстом не лише подолює фізичні обмеження, а й макрорівні забезпечує стрімке зниження витрат.

Основна тенденція ясна: майбутні агенти змагатимуться не тим, хто використовує більше інструментів, а тим, хто виконує найскладніші завдання при екстремально обмеженому бюджеті токенів. Танцювати в ланцюгах. Той, хто танцює найкраще, виграє.

Але все це технічні деталі. По суті — це зміна мислення всієї AI-індустрії. Раніше ми ставилися до токенів як до споживчого товару. Побачив знижку — кинув у кошик. Не важливо, чи справді потрібна велика модель, важливо, що «виглядає круто». Компанії сліпо підключали LLM до всього, видавали облікові записи кожному співробітнику, навіть для меню їдальні. Коли приходив рахунок — шок.

Тепер потрібно перейти до інвестиційного мислення. Кожне споживання токена — це інвестиція. З інвестиціями розраховують ROI. Цей токен витрачено — що він мені приніс? Підвищився відсоток закриття тікетів? Скоротився час виправлення багів? Або це просто «Га-га, такий смішний AI»?

Якщо функція, що використовує традиційне машинне навчання, коштує 10 центів, а велика модель вимагає 1 долара на токен, але підвищує конверсію лише на 2% — виріжте без коливань. Більше не прагнемо до «великих і всебічних» AI, а до «малих і вдосконалених» точних ударів.

Трібно навчитися говорити «ні» бізнес-відділам. Коли запитують: «Чи може AI прочитати всі 100 тисяч звітів і дати резюме?» — запитайте назад: «Чи покриють ваші доходи кілька мільйонів токенів витрат?» Порахуйте. Економте. Підраховуйте токени, як традиційний власник магазину.

Звучить не кіберпанково. Звучить сільськи. Але це необхідний етап на шляху до зрілості AI.

Повсюдне підвищення хешрейту — це не криза, а запізніле очищення. Воно прокололо пухир безмежних субсидій і повернуло всіх до холодної реальності. Але це добре. Воно змусило відмовитися від сліпої віри в «велику силу — диво» і відновити повагу до інженерної ефективності.

Компанії, що вижили й розвивалися, — не ті, у кого найдорожчі моделі. А ті, що, дивлячись на швидко змінювані цифри токенів, залишаються спокійні й впевнені, що заробляють більше, ніж витрачають. Коли відступає приплив, видно, хто плаває голий. На цей раз відступає приплив користі від хешрейту. Лише той, хто виковує кожну краплю токена як золото, може взяти на себе справжню броню.