Memberi AI lebih banyak informasi justru bisa membuatnya semakin buruk dalam menghasilkan keuntungan.
Sebuah eksperimen Stanford menguji 10 model bahasa besar terdepan dalam transaksi, negosiasi, dan lelang dua sisi. Para peneliti hanya mengubah satu kondisi: seberapa jauh model mengetahui valuasi sebenarnya dari pihak lawan.
Hasilnya cukup berlawanan dengan intuisi: semakin lengkap informasinya, beberapa model justru semakin mudah kehilangan keuntungan.
Dalam eksperimen lelang, ketika pembeli dan penjual sama-sama mengetahui valuasi pasti satu sama lain, porsi potensi keuntungan yang diperoleh Claude Opus 5.5 turun dari 94% menjadi 64%.
Dalam eksperimen transaksi, performa model bahkan menunjukkan arah yang berlawanan:
Keuntungan GPT-6 Sol turun dari 98% menjadi 91% dari nilai tertingginya, sedangkan Claude Sonnet 5 justru naik dari 72% menjadi 86%.
Dalam skenario lelang, setelah diberi informasi yang lebih lengkap, model juga cenderung menaikkan harga yang diminta. Porsi keuntungan Grok 4.7 turun dari 97% menjadi 62%.
Masukan informasi yang sama menghasilkan dampak yang sepenuhnya berbeda pada tiap model.
Penelitian ini memberikan pengingat penting bagi penerapan AI Agent: kita tidak bisa hanya menguji kemampuan model dalam bertransaksi, tetapi juga harus menguji kinerjanya dalam mengambil keputusan di bawah kondisi informasi yang berbeda.
Terutama ketika AI diminta bernegosiasi, mengajukan penawaran, atau mengelola uang untuk Anda, informasi yang lebih banyak belum tentu menghasilkan keputusan yang lebih baik. Setelah memperoleh lebih banyak informasi, beberapa model justru bisa menjadi lebih agresif dan akhirnya merugikan keuntungannya sendiri.
Sebuah eksperimen Stanford menguji 10 model bahasa besar terdepan dalam transaksi, negosiasi, dan lelang dua sisi. Para peneliti hanya mengubah satu kondisi: seberapa jauh model mengetahui valuasi sebenarnya dari pihak lawan.
Hasilnya cukup berlawanan dengan intuisi: semakin lengkap informasinya, beberapa model justru semakin mudah kehilangan keuntungan.
Dalam eksperimen lelang, ketika pembeli dan penjual sama-sama mengetahui valuasi pasti satu sama lain, porsi potensi keuntungan yang diperoleh Claude Opus 5.5 turun dari 94% menjadi 64%.
Dalam eksperimen transaksi, performa model bahkan menunjukkan arah yang berlawanan:
Keuntungan GPT-6 Sol turun dari 98% menjadi 91% dari nilai tertingginya, sedangkan Claude Sonnet 5 justru naik dari 72% menjadi 86%.
Dalam skenario lelang, setelah diberi informasi yang lebih lengkap, model juga cenderung menaikkan harga yang diminta. Porsi keuntungan Grok 4.7 turun dari 97% menjadi 62%.
Masukan informasi yang sama menghasilkan dampak yang sepenuhnya berbeda pada tiap model.
Penelitian ini memberikan pengingat penting bagi penerapan AI Agent: kita tidak bisa hanya menguji kemampuan model dalam bertransaksi, tetapi juga harus menguji kinerjanya dalam mengambil keputusan di bawah kondisi informasi yang berbeda.
Terutama ketika AI diminta bernegosiasi, mengajukan penawaran, atau mengelola uang untuk Anda, informasi yang lebih banyak belum tentu menghasilkan keputusan yang lebih baik. Setelah memperoleh lebih banyak informasi, beberapa model justru bisa menjadi lebih agresif dan akhirnya merugikan keuntungannya sendiri.