Dua hari yang lalu menghabiskan 1,6 miliar Token—semuanya GPT-5.6 Sol.
Kalau dihitung berdasarkan harga Input API ($5/1 juta Token) = $8.000
Walaupun semuanya kena cache, tetap $800
Dalam sehari: seorang developer.
Sementara itu, ada yang menghela napas: setiap kali ingin menyiapkan lingkungan inferensi lokal, melihat parameter model open-source yang makin besar langsung mengurungkan niat. Menghabiskan puluhan ribu dolar untuk hasil yang kurang berguna, bukannya lebih baik berlangganan bulanan saja.
Dua hal ini membicarakan fakta yang sama: ekonomi inferensi AI sedang terpecah.
Entah Anda membayar biaya bulanan untuk menggunakan frontier model yang paling mahal, menikmati performa terbaik
atau Anda menghabiskan puluhan ribu dolar untuk inferensi lokal, performanya turun—dan Anda juga harus memelihara semuanya
wilayah di tengah sedang lenyap
Bagi investor: batas bawah biaya inferensi ditentukan oleh harga patokan frontier model yang paling mahal, sedangkan batas atas ditentukan oleh kesediaan pengguna untuk membayar. Selama proporsi pemanggilan frontier model terus menurun, tekanan biaya inferensi akan mereda—tapi jangan salah paham, total konsumsi tetap tumbuh secara eksponensial.
#AI #GPT #Biaya inferensi