18 августа, как сообщил MaxForAI, сегодня на платформе X резко набрал популярность AI‑проект J-Space Cognition Suite, однако в сообществе его подвергли критике: утверждается, что результаты тестирования DeepSeek V4, которые продвигал проект, невозможно воспроизвести. Ранее проект заявлял, что V4 Flash в сочетании с J-Space позволяет выровнять GLM-5.3, а V4 Pro — превзойти Fable 5 на нескольких Agent Benchmark, при этом скорость повышается в 2,53 раза, а токен‑эффективность — в 2,21 раза.
Пользователь GitHub GoForceX выполнил повторную проверку при высокой параллельности, используя 87‑задачный поднабор из Terminal Bench 2.1, и подтвердил загрузку модулей, связанных с J-Space. Результаты показали, что после добавления J-Space результаты Benchmark, напротив, немного снизились; при этом увеличились и количество использованных токенов, и затраты. Это противоречит заявленному проектом направлению роста производительности, скорости и токен‑эффективности.
Затем сообщество попросило проект опубликовать полную конфигурацию оценок, результаты по каждой задаче, журналы выполнения, исходные затраты времени и потребление токенов. В настоящее время проект в основном раскрывает сводные итоги и пока не предоставил полный исходный экспериментальный журнал, который позволил бы проверить точность приведённых данных. Отдельно стоит отметить, что в ответ на критику авторы проекта утверждали, что соответствующие данные «действительно были преувеличены», и заявляли, что фактический прирост в целом находится в диапазоне примерно от 1,6 до 3 раз. По состоянию на сейчас авторы так и не дали официального ответа на претензии сообщества, а часть связанных Issues была удалена.
🧧🧧🧧ответ221 получил$SOL 🧧🧧🧧
🎁🎁🎁👇👇👇🎁🎁🎁