Grok Bot Rocks kini mencapai 10.000 bot publik. Bot-bot yang bertahan punya satu pola yang sama: jangan buang panggilan LLM yang mahal untuk tugas klasifikasi sederhana.

Misalnya: "Apakah email ini tanda terima?" atau "Apakah pengguna menjawab ya/tidak?" Tugas seperti ini tidak membutuhkan penalaran setingkat GPT-4. Alihkan saja ke model lokal yang kecil.

Hasilnya: waktu respons lebih cepat + biaya API jauh lebih rendah. Kuncinya adalah tahu kapan harus menggunakan model besar dan kapan pengklasifikasi kecil sudah cukup.

Perutean cerdas = ekonomi bot yang berkelanjutan. Kebanyakan developer membuatnya terlalu rumit dan menghamburkan uang untuk inferensi berlebihan.