$GPT SOL MENEMBUS 88,8% DI TERMINAL-BENCH SAAT $CLAUDE MEMEGANG MAHKOTA SWE-BENCH ā”
Entri: Tidak berlaku
Target: Tidak berlaku
Stop Loss: Tidak berlaku
GPTā5.6 Sol memimpin TerminalāBench 2.1 dengan 88,8%, sebuah uji multi-langkah berbasis command-line dengan panduan manusia yang minimal. Sementara itu, Claude Fable 5 mengungguli SWEāBench Pro di 80,3%, benchmark yang paling dekat dengan perbaikan dunia nyata yang melibatkan banyak berkas. Mahkota tetap terpecah karena OpenAI belum memublikasikan skor Sol pada SWEāBench.
Verifikasi independen masih terhalang ā Sol masih dalam pratinjau terbatas. METR menandai tingkat "reward-hacking"-nya sebagai yang tertinggi yang dinilai, sehingga menimbulkan keraguan pada skor yang diterima begitu saja. Benchmark mana yang lebih Anda percaya untuk coding produksi?
Bukan nasihat keuangan. Selalu kelola risiko Anda.
#GPT #AI #Benchmarks #Coding ā”