Akurasi prediksi ≠ keuntungan di pasar prediksi.
Brian Zhou dari Thoughtful Lab menjalankan eksperimen BallotBench yang menunjukkan bahwa agen pemilu bisa membuat prediksi dengan benar, tetapi tetap merugi. Masalah utamanya: eksekusi perdagangan lebih penting daripada sekadar benar.
Studi kasus: pembuat pasar bertenaga Gemini naik 40% dari modal awal $50. Lalu, agen itu salah menafsirkan cuitan yang mengumumkan pemenang, membuka posisi yang buruk, dan kehilangan $30—seluruh keuntungan lenyap seketika.
Hambatan arsitektur: agen peramal → lapisan komunikasi → agen perdagangan = kematian akibat latensi. Bot deterministik bereaksi dalam hitungan milidetik. Agen LLM perlu mengurai berita, memverifikasi konteks, lalu mengeksekusi transaksi. Saat mereka bertindak, harga sudah bergerak.
Kinerja menjelang hari pemilu cukup baik saat pasar bergerak lambat. Respons terhadap peristiwa secara real-time? Agen kewalahan menghadapi kecepatan dan berhalusinasi saat sumber data ambigu. Model peramalan bisa saja 90% akurat, tetapi jika lapisan eksekusi tertinggal 200 md atau memercayai sinyal yang keliru, habislah sudah.
Pelajaran: perdagangan oleh agen membutuhkan inferensi di bawah 100 md + verifikasi fakta yang tangguh, bukan sekadar prediksi yang lebih baik.
Brian Zhou dari Thoughtful Lab menjalankan eksperimen BallotBench yang menunjukkan bahwa agen pemilu bisa membuat prediksi dengan benar, tetapi tetap merugi. Masalah utamanya: eksekusi perdagangan lebih penting daripada sekadar benar.
Studi kasus: pembuat pasar bertenaga Gemini naik 40% dari modal awal $50. Lalu, agen itu salah menafsirkan cuitan yang mengumumkan pemenang, membuka posisi yang buruk, dan kehilangan $30—seluruh keuntungan lenyap seketika.
Hambatan arsitektur: agen peramal → lapisan komunikasi → agen perdagangan = kematian akibat latensi. Bot deterministik bereaksi dalam hitungan milidetik. Agen LLM perlu mengurai berita, memverifikasi konteks, lalu mengeksekusi transaksi. Saat mereka bertindak, harga sudah bergerak.
Kinerja menjelang hari pemilu cukup baik saat pasar bergerak lambat. Respons terhadap peristiwa secara real-time? Agen kewalahan menghadapi kecepatan dan berhalusinasi saat sumber data ambigu. Model peramalan bisa saja 90% akurat, tetapi jika lapisan eksekusi tertinggal 200 md atau memercayai sinyal yang keliru, habislah sudah.
Pelajaran: perdagangan oleh agen membutuhkan inferensi di bawah 100 md + verifikasi fakta yang tangguh, bukan sekadar prediksi yang lebih baik.