Menggenggam selapis demi selapis: Kimi K3 baru saja dirilis—parameter 28 triliun, konteks hingga 1 juta, multimodal native
Tiga benchmark internal semuanya mengungguli Claude Opus 4.8 dan GPT-5.5: Online Exp 75,5; DECK-Bench 73,5; Finance-Bench 62,6.
Dari sisi arsitektur ada dua pembaruan: Kimi Delta Attention (KDA) meningkatkan kecepatan decoding hingga 6,3 kali pada konteks jutaan token; Attention Residuals (AttnRes) membuat efisiensi pelatihan naik sekitar 25%, dengan biaya tambahan di bawah 2%. MoE diperluas menjadi 896 pakar, dengan aktivasi 16 pakar, sehingga efisiensi penskalaan end-to-end meningkat sekitar 2,5 kali dibanding K2.
Yang paling patut diperhatikan adalah kemampuan berevolusi sendiri: K3 melakukan iterasi berkelanjutan selama 15 jam, merancang algoritma kernel dua tahap baru, sehingga forward + backward AttnRes turun dari 283,6 ms menjadi 114,4 ms—nilai tetap sama, kecepatan menjadi dua kali lipat. Model sedang mengoptimalkan dirinya.
K3 sudah tersedia di Kimi Work, Kimi Code, dan API; bobot dibuka sebelum 27 Juli.
Ketika model mulai mengoptimalkan kernel pelatihannya sendiri, narasi “AI membantu manusia menulis kode” perlu ditingkatkan—langkah berikutnya adalah “AI membantu AI menulis kode yang lebih cepat”.
#Kimi #K3 #AI
Tiga benchmark internal semuanya mengungguli Claude Opus 4.8 dan GPT-5.5: Online Exp 75,5; DECK-Bench 73,5; Finance-Bench 62,6.
Dari sisi arsitektur ada dua pembaruan: Kimi Delta Attention (KDA) meningkatkan kecepatan decoding hingga 6,3 kali pada konteks jutaan token; Attention Residuals (AttnRes) membuat efisiensi pelatihan naik sekitar 25%, dengan biaya tambahan di bawah 2%. MoE diperluas menjadi 896 pakar, dengan aktivasi 16 pakar, sehingga efisiensi penskalaan end-to-end meningkat sekitar 2,5 kali dibanding K2.
Yang paling patut diperhatikan adalah kemampuan berevolusi sendiri: K3 melakukan iterasi berkelanjutan selama 15 jam, merancang algoritma kernel dua tahap baru, sehingga forward + backward AttnRes turun dari 283,6 ms menjadi 114,4 ms—nilai tetap sama, kecepatan menjadi dua kali lipat. Model sedang mengoptimalkan dirinya.
K3 sudah tersedia di Kimi Work, Kimi Code, dan API; bobot dibuka sebelum 27 Juli.
Ketika model mulai mengoptimalkan kernel pelatihannya sendiri, narasi “AI membantu manusia menulis kode” perlu ditingkatkan—langkah berikutnya adalah “AI membantu AI menulis kode yang lebih cepat”.
#Kimi #K3 #AI