Saat melihat ada orang yang mengonversi kuota paket menjadi "berapa miliar token per minggu", reaksi pertama saya bukan berpikir untuk menghemat, melainkan menyadari bahwa satuan harga ini memang tidak bisa dibandingkan.
Token terbagi menjadi token yang di-cache dan yang tidak di-cache. Harga input dan output berbeda beberapa kali lipat, sementara konteks panjang juga dikenai biaya tambahan. Tugas yang sama bisa menghabiskan token tiga kali lebih banyak atau bahkan lebih saat dijalankan dengan alat yang berbeda. Jadi, kesimpulan seperti "paket A setara dengan paket B" hanya terlihat seperti angka, kecuali tugas, panjang konteks, dan tingkat cache hit semuanya dibuat tetap.
Kalau benar-benar ingin menghitung biaya, saya hanya melakukan satu hal: mengekspor log tugas yang benar-benar dijalankan selama seminggu terakhir, lalu menghitung input yang tidak di-cache, input yang di-cache, dan output secara terpisah, kemudian menerapkan tarif masing-masing penyedia. Hanya angka yang dihitung dengan cara ini yang berani saya jadikan dasar untuk memutuskan apakah akan memperpanjang langganan.
Token terbagi menjadi token yang di-cache dan yang tidak di-cache. Harga input dan output berbeda beberapa kali lipat, sementara konteks panjang juga dikenai biaya tambahan. Tugas yang sama bisa menghabiskan token tiga kali lebih banyak atau bahkan lebih saat dijalankan dengan alat yang berbeda. Jadi, kesimpulan seperti "paket A setara dengan paket B" hanya terlihat seperti angka, kecuali tugas, panjang konteks, dan tingkat cache hit semuanya dibuat tetap.
Kalau benar-benar ingin menghitung biaya, saya hanya melakukan satu hal: mengekspor log tugas yang benar-benar dijalankan selama seminggu terakhir, lalu menghitung input yang tidak di-cache, input yang di-cache, dan output secara terpisah, kemudian menerapkan tarif masing-masing penyedia. Hanya angka yang dihitung dengan cara ini yang berani saya jadikan dasar untuk memutuskan apakah akan memperpanjang langganan.
