Potrivit lui Odaily, OpenAI a introdus un set de provocări îmbunătățite de codare care vizează evaluarea capacităților de programare ale modelelor de inteligență artificială. Aceste provocări sunt derivate dintr-o colecție de probleme de programare din lumea reală cunoscută sub numele de SWE-bench, care înseamnă Software Engineering Benchmark. Complexitatea acestor probleme prezintă o provocare semnificativă pentru sistemele AI.
