#новости SI
🤖 Sun’iy intellekt murakkab moliyaviy savollarning 88 foizida xato qildi — tadqiqot
Saturn kompaniyasi ChatGPT, Claude, Copilot, Grok va Gemini’ning 18 ta modelini 10 000 dan ortiq so‘rov asosida sinovdan o‘tkazdi. Javoblar o‘rtacha 57 foiz holatda noto‘g‘ri bo‘ldi, bir nechta hisob-kitobni talab qiladigan vazifalarda esa bu ko‘rsatkich 88 foizga yetdi.
Chatbotlar hisob-kitoblarda chalkashdi, soliq qoidalaridagi o‘zgarishlarni e’tiborsiz qoldirdi va o‘z qoidalarini o‘ylab topdi. Sinovlardan birida Claude’ning xatosi pensiya jamg‘armasiga pul qo‘ygan kishiga 17 500 funt sterlingga tushishi mumkin edi.
Pulli modellar bepul modellarga qaraganda yaxshiroq natija ko‘rsatdi, biroq murakkab vazifalardagi eng yaxshi natijada ham javoblarning 39 foizi xato bo‘ldi.
🤖 Sun’iy intellekt murakkab moliyaviy savollarning 88 foizida xato qildi — tadqiqot
Saturn kompaniyasi ChatGPT, Claude, Copilot, Grok va Gemini’ning 18 ta modelini 10 000 dan ortiq so‘rov asosida sinovdan o‘tkazdi. Javoblar o‘rtacha 57 foiz holatda noto‘g‘ri bo‘ldi, bir nechta hisob-kitobni talab qiladigan vazifalarda esa bu ko‘rsatkich 88 foizga yetdi.
Chatbotlar hisob-kitoblarda chalkashdi, soliq qoidalaridagi o‘zgarishlarni e’tiborsiz qoldirdi va o‘z qoidalarini o‘ylab topdi. Sinovlardan birida Claude’ning xatosi pensiya jamg‘armasiga pul qo‘ygan kishiga 17 500 funt sterlingga tushishi mumkin edi.
Pulli modellar bepul modellarga qaraganda yaxshiroq natija ko‘rsatdi, biroq murakkab vazifalardagi eng yaxshi natijada ham javoblarning 39 foizi xato bo‘ldi.
