Прорыв шаг за шагом: Kimi K3 только что вышла — 28 трлн параметров, контекст до 1 млн токенов, нативная мультимодальность
Все три внутренних бенчмарка полностью обошли Claude Opus 4.8 и GPT-5.5: Online Exp 75,5; DECK-Bench 73,5; Finance-Bench 62,6.
В архитектуре — два обновления: Kimi Delta Attention (KDA) обеспечивает максимальный прирост скорости декодирования в контексте на миллионе токенов — в 6,3 раза; Attention Residuals (AttnRes) поднимают эффективность обучения примерно на 25%, при этом дополнительные затраты ниже 2%. MoE расширили до 896 экспертов, активируя 16 — общая эффективность масштабирования по сравнению с K2 выросла примерно в 2,5 раза.
Самое заслуживающее внимания — способность к самоэволюции: K3 за 15 часов непрерывной итерации разработала новый двухэтапный kernel-алгоритм — forward + backward для AttnRes снизились с 283,6 мс до 114,4 мс: численные результаты не изменились, скорость удвоилась. Модель оптимизирует себя.
K3 уже доступна в Kimi Work, Kimi Code и через API, веса будут открыты до 27 июля.
Когда модели начнут оптимизировать свои training kernels, нарратив «ИИ помогает людям писать код» нужно будет обновить — следующий шаг: «ИИ помогает ИИ писать код быстрее».
#Kimi #K3 #AI
Все три внутренних бенчмарка полностью обошли Claude Opus 4.8 и GPT-5.5: Online Exp 75,5; DECK-Bench 73,5; Finance-Bench 62,6.
В архитектуре — два обновления: Kimi Delta Attention (KDA) обеспечивает максимальный прирост скорости декодирования в контексте на миллионе токенов — в 6,3 раза; Attention Residuals (AttnRes) поднимают эффективность обучения примерно на 25%, при этом дополнительные затраты ниже 2%. MoE расширили до 896 экспертов, активируя 16 — общая эффективность масштабирования по сравнению с K2 выросла примерно в 2,5 раза.
Самое заслуживающее внимания — способность к самоэволюции: K3 за 15 часов непрерывной итерации разработала новый двухэтапный kernel-алгоритм — forward + backward для AttnRes снизились с 283,6 мс до 114,4 мс: численные результаты не изменились, скорость удвоилась. Модель оптимизирует себя.
K3 уже доступна в Kimi Work, Kimi Code и через API, веса будут открыты до 27 июля.
Когда модели начнут оптимизировать свои training kernels, нарратив «ИИ помогает людям писать код» нужно будет обновить — следующий шаг: «ИИ помогает ИИ писать код быстрее».
#Kimi #K3 #AI