Lebih dari enam puluh miliar permintaan kecerdasan buatan, disusun menjadi sebuah kumpulan data publik.
Platform inferensi terdesentralisasi Chutes bekerja sama dengan peneliti dari Universitas Harvard untuk mempublikasikan sebuah kumpulan data metadata layanan model skala besar yang kemungkinan merupakan yang terbesar di kelasnya. Data mencakup satu tahun, dari 11 April 2025 hingga 12 April 2026, dengan 6.012.241.375.756 kali permintaan, 9.174 model, dan 310.497 pengguna anonim. Data tersebut dapat diunduh melalui platform code hosting dan penyimpanan institusi.
Yang dipublikasikan adalah metadata, bukan isi percakapan. Di dalamnya ada waktu, jumlah token, latensi, dan waktu respons token pertama. Tidak ada prompt, dan tidak ada jawaban. Praktik hanya menampilkan metadata ini sendiri merupakan kompromi antara privasi dan keterkelanjutan penelitian.
Dalam satu tahun arus lalu lintas tersebut, token masukan sekitar 35,8 triliun, dan token keluaran sekitar 2,52 triliun. Salah satu kesimpulan yang diberikan peneliti adalah bahwa sekitar 99% permintaan merupakan pengulangan dalam rentang waktu lima belas menit. Angka-angka ini untuk pertama kalinya memungkinkan pihak luar memperkirakan secara nyata struktur biaya layanan inferensi berdasarkan trafik sesungguhnya.
Rasio ini memiliki makna langsung bagi infrastruktur. Karena banyak permintaan terulang dalam waktu singkat, ruang untuk pengoptimalan pada caching dan penjadwalan sangat besar—bukan sekadar menumpuk daya komputasi. Nilai yang dihasilkan dari tingkat pengulangan bisa jadi lebih besar daripada skala parameter.
Masalah yang paling mahal, sering kali adalah yang ditanyakan berulang kali.
#人工智能 #data
Platform inferensi terdesentralisasi Chutes bekerja sama dengan peneliti dari Universitas Harvard untuk mempublikasikan sebuah kumpulan data metadata layanan model skala besar yang kemungkinan merupakan yang terbesar di kelasnya. Data mencakup satu tahun, dari 11 April 2025 hingga 12 April 2026, dengan 6.012.241.375.756 kali permintaan, 9.174 model, dan 310.497 pengguna anonim. Data tersebut dapat diunduh melalui platform code hosting dan penyimpanan institusi.
Yang dipublikasikan adalah metadata, bukan isi percakapan. Di dalamnya ada waktu, jumlah token, latensi, dan waktu respons token pertama. Tidak ada prompt, dan tidak ada jawaban. Praktik hanya menampilkan metadata ini sendiri merupakan kompromi antara privasi dan keterkelanjutan penelitian.
Dalam satu tahun arus lalu lintas tersebut, token masukan sekitar 35,8 triliun, dan token keluaran sekitar 2,52 triliun. Salah satu kesimpulan yang diberikan peneliti adalah bahwa sekitar 99% permintaan merupakan pengulangan dalam rentang waktu lima belas menit. Angka-angka ini untuk pertama kalinya memungkinkan pihak luar memperkirakan secara nyata struktur biaya layanan inferensi berdasarkan trafik sesungguhnya.
Rasio ini memiliki makna langsung bagi infrastruktur. Karena banyak permintaan terulang dalam waktu singkat, ruang untuk pengoptimalan pada caching dan penjadwalan sangat besar—bukan sekadar menumpuk daya komputasi. Nilai yang dihasilkan dari tingkat pengulangan bisa jadi lebih besar daripada skala parameter.
Masalah yang paling mahal, sering kali adalah yang ditanyakan berulang kali.
#人工智能 #data
