Saya melihat tren yang menarik — era token murah secara resmi telah berakhir. Sebelumnya, ketika perusahaan besar mensubsidi API, kita semua hidup seperti raja. Menyisipkan ribuan kata ke dalam prompt, memaksa GPT-4 melakukan hal-hal absurd seperti "buat huruf pertama kapital". Mengapa? Karena harganya murah. Tapi angin telah berbalik.

Sekarang tagihan untuk daya komputasi menjadi kenyataan. NVIDIA H100 — ini adalah konflik geopolitik, bukan sekadar kompetisi komersial. Setiap panggilan API memakan uang nyata. Token — ini bukan lagi sekadar unit, ini benar-benar seperti emas.

Masalahnya, sebagian besar tim tidak memahami di mana sebenarnya uang mengalir. Orang-orang melihat tagihan di akhir bulan dan terkejut. Kerugian tersembunyi di tempat yang paling tidak terlihat. Anda sopan berbicara dengan model — halo, terima kasih, tolong. Tapi setiap kata, setiap spasi — itu adalah token yang Anda bayar. Sistem prompt menumpuk, diulang di setiap sesi, dan Anda membayar untuk apa yang sudah Anda bayar kemarin.

RAG sering menjadi bencana. Idealnya — menarik tiga kalimat relevan. Tapi dalam praktik — pengguna mengajukan pertanyaan, dan sistem mengirimkan ke model sepuluh PDF berisi 10 ribu kata masing-masing. Pengembang berpikir: biarkan saja model yang mencari. Ini bukan malas, ini kejahatan terhadap daya komputasi. Informasi konteks yang tidak relevan tidak hanya membingungkan mekanisme perhatian, tetapi juga menyebabkan konsumsi token yang astronomis.

Agen tak terkendali — ini sudah ekstrem. Ketika AI masuk ke dalam siklus kesalahan, ia berputar di sana tanpa henti, menghabiskan token keluaran yang mahal. Tanpa mekanisme penghentian darurat yang tepat, ini bisa menguras kartu kredit Anda dalam semalam.

Tapi ada solusinya. Cache semantik — cara termudah. Permintaan pengguna sering kali serupa. Alih-alih memanggil GPT-4 setiap saat, periksa kemiripan dengan cache. Jika seseorang sudah mengajukan pertanyaan serupa — ambil jawaban yang sudah ada. Nol token terpakai. Penundaan dari detik menjadi milidetik.

Kompresi prompt — ini level kedua. Algoritma berbasis entropi informasi menganalisis kata-kata mana yang penting, mana yang tidak. Teks dari seribu token bisa dikompresi menjadi tiga ratus, sambil mempertahankan maknanya. Biarkan mesin berkomunikasi dalam bahasa mesin — apa yang tampak canggung bagi manusia, sangat dipahami oleh model.

Routing model — ini tantangan terbesar bagi arsitek. Jangan tempatkan semua tugas pada model paling mahal. Untuk transformasi format sederhana atau terjemahan — routing ke API murah atau model kecil yang dijalankan secara lokal. Biaya hampir hilang. Untuk pemikiran logis yang kompleks — gunakan alat yang kuat. Seperti perusahaan yang terorganisir dengan baik: resepsionis tidak meneruskan permintaan langsung ke CEO.

Di sinilah yang benar-benar menarik — lihat OpenClaw dan Hermes. Ini adalah agen yang memahami realitas sumber daya terbatas. OpenClaw hampir obsesif mengontrol token. Alih-alih aliran teks bebas — keluaran paksa dalam JSON Schema. AI tidak berkomunikasi, ia mengisi formulir. Sekilas — ini tentang kemudahan parsing, tetapi sebenarnya ini adalah penghematan trafik secara bedah.

Hermes dari Nous Research menunjukkan ketepatan dalam menjalankan instruksi. Melakukan dengan benar dari pertama kali — ini adalah penghematan terbesar. Dalam interaksi multi-langkah, mereka tidak menyimpan seluruh riwayat. Memori kerja — 3–5 pesan terakhir. Ketika jendela penuh, model ringan membuat ringkasan beberapa kalimat kunci dan menyimpannya dalam basis vektor. Dialog lama dihapus, tetapi pengetahuan tetap ada. Ini bukan pembuangan sampah, ini penghapusan secara bedah dari memori.

Sekarang poin utama — ini bukan masalah teknis, ini perubahan pola pikir. Dulu kita memperlakukan token sebagai konsumen di supermarket. Melihat diskon — lempar ke keranjang. Perusahaan secara buta menghubungkan LLM ke segala hal, bahkan untuk menu kantin. Sekarang saatnya beralih ke pola pikir investasi. Setiap token adalah investasi. Pertanyaannya: apa yang saya dapatkan darinya? Apakah tingkat penyelesaian tiket meningkat? Apakah waktu perbaikan bug berkurang?

Jika fungsi berbasis aturan biaya 10 sen, dan model besar — 1 dolar per token, tetapi meningkatkan konversi hanya 2%, potong saja. Tanpa ragu. Berhenti mengejar solusi AI besar dan komprehensif. Cari solusi kecil dan tepat yang lebih canggih. Ketika bisnis bertanya: bisa membaca 100 ribu laporan dan memberi ringkasan? Tanyakan balik: apakah pendapatan Anda akan menutupi beberapa juta token API?

Hitunglah. Hematlah. Hitung token seperti pemilik toko produk. Tidak terdengar sangat cyberpunk — lebih seperti sangat agraris. Tapi ini adalah langkah penting menuju kedewasaan AI. Era penggunaan tanpa batas telah berakhir. Sekarang yang menang adalah mereka yang memahami arsitektur, routing, dan mampu memaksimalkan setiap tetes daya komputasi. Ketika pasang surut datang, terlihat siapa yang berenang telanjang. Kali ini, pasang surut token murah sedang surut. Hanya mereka yang mengolah setiap tetes seperti emas yang akan mendapatkan perlindungan sejati.