Ada satu pertanyaan yang menurut saya sulit dihindari oleh banyak produk AI:
Jika setiap kali pengguna menyelesaikan satu tugas, produk harus menanggung biaya inferensi yang tinggi, apakah keuntungan benar-benar akan meningkat seiring pertumbuhan jumlah pengguna?
Terutama untuk AI Agent, satu tugas bisa melibatkan beberapa kali pemanggilan model, eksekusi alat, dan percobaan ulang setelah gagal.
Karena itu, produk AI yang baik bukan hanya harus memberikan jawaban yang akurat, tetapi juga tahu kapan perlu menggunakan model yang lebih canggih, kapan model sederhana sudah cukup, langkah mana yang layak di-cache, dan kesalahan mana yang perlu segera dihentikan.
Kemampuan model menentukan apa yang bisa dilakukannya.
Pengendalian biaya menentukan apakah bisnis ini bisa bertahan.
#AI #AIInfra #AIAgents
Jika setiap kali pengguna menyelesaikan satu tugas, produk harus menanggung biaya inferensi yang tinggi, apakah keuntungan benar-benar akan meningkat seiring pertumbuhan jumlah pengguna?
Terutama untuk AI Agent, satu tugas bisa melibatkan beberapa kali pemanggilan model, eksekusi alat, dan percobaan ulang setelah gagal.
Karena itu, produk AI yang baik bukan hanya harus memberikan jawaban yang akurat, tetapi juga tahu kapan perlu menggunakan model yang lebih canggih, kapan model sederhana sudah cukup, langkah mana yang layak di-cache, dan kesalahan mana yang perlu segera dihentikan.
Kemampuan model menentukan apa yang bisa dilakukannya.
Pengendalian biaya menentukan apakah bisnis ini bisa bertahan.
#AI #AIInfra #AIAgents