Według Odaily, OpenAI wprowadziło zestaw ulepszonych wyzwań kodowania, których celem jest ocena możliwości programowania modeli sztucznej inteligencji. Wyzwania te pochodzą ze zbioru rzeczywistych problemów programistycznych znanych jako SWE-bench, co oznacza Software Engineering Benchmark. Złożoność tych problemów stanowi poważne wyzwanie dla systemów AI.
