日拱一卒:Kimi K3 がリリース—2.8兆パラメータ、100万規模のコンテキスト、ネイティブ・マルチモーダル
3つの内部ベンチマークがすべて Claude Opus 4.8 と GPT-5.5 を上回る:Online Exp 75.5、DECK-Bench 73.5、Finance-Bench 62.6。
アーキテクチャ上の2つのアップデート:Kimi Delta Attention(KDA)は100万Token級のコンテキストにおけるデコード速度が最高で6.3倍向上;Attention Residuals(AttnRes)により学習効率が約25%向上し、追加コストは2%未満。MoEは896人のエキスパートに拡大し16人を起用、全体の拡張効率はK2と比べて約2.5倍。
最も注目すべきは自己進化能力:K3は15時間の連続反復で、新しい2段階カーネル・アルゴリズムを設計し、AttnResのforward+backwardを283.6msから114.4msへ—数値は変えず、速度は倍に。モデルが自分自身を最適化している。
K3はKimi Work、Kimi Code、APIをすでに提供開始しており、重みは7月27日までに公開予定。
モデルが自身の学習カーネルを最適化し始めると、「AIが人間のコードを書く」という物語は次の段階へ—次は「AIが、より速くAI向けにコードを書く」です。
#Kimi #K3 #AI
3つの内部ベンチマークがすべて Claude Opus 4.8 と GPT-5.5 を上回る:Online Exp 75.5、DECK-Bench 73.5、Finance-Bench 62.6。
アーキテクチャ上の2つのアップデート:Kimi Delta Attention(KDA)は100万Token級のコンテキストにおけるデコード速度が最高で6.3倍向上;Attention Residuals(AttnRes)により学習効率が約25%向上し、追加コストは2%未満。MoEは896人のエキスパートに拡大し16人を起用、全体の拡張効率はK2と比べて約2.5倍。
最も注目すべきは自己進化能力:K3は15時間の連続反復で、新しい2段階カーネル・アルゴリズムを設計し、AttnResのforward+backwardを283.6msから114.4msへ—数値は変えず、速度は倍に。モデルが自分自身を最適化している。
K3はKimi Work、Kimi Code、APIをすでに提供開始しており、重みは7月27日までに公開予定。
モデルが自身の学習カーネルを最適化し始めると、「AIが人間のコードを書く」という物語は次の段階へ—次は「AIが、より速くAI向けにコードを書く」です。
#Kimi #K3 #AI