Menurut Odaily, OpenAI telah memperkenalkan serangkaian tantangan pengkodean yang lebih baik yang ditujukan untuk mengevaluasi kemampuan pemrograman model kecerdasan buatan. Tantangan-tantangan ini berasal dari sekumpulan masalah pemrograman dunia nyata yang dikenal sebagai SWE-bench, yang merupakan singkatan dari Software Engineering Benchmark. Kompleksitas masalah-masalah ini menghadirkan tantangan yang signifikan bagi sistem AI.