Xiaohongshu AI Labは、dots.studio部門を通じて、8月15日にdots3-noteのプレビューをオープンソースとして公開した。この新モデルは、2800億パラメータのMixture of Experts（MoE）アーキテクチャに基づいており、16 billionの活性化パラメータを備える。テキスト、ビジョン、オーディオを含む幅広いモダリティをサポートし、包括的なマルチモーダル理解を可能にする。

dots3-noteモデルには、512,000トークンのコンテキストウィンドウが組み込まれており、長期的な文脈理解のための処理能力が大幅に拡張された。これにより、長いシーケンスにわたって拡張された記憶と推論を必要とする、より複雑なタスクをモデルが扱えるようになる。これは、マルチモーダル処理におけるAI能力におけるブレークスルーだ。

さらに、このリリースでは長期的なホライズンを扱うエージェント向けに設計された、TEMPOと呼ばれる新しい強化学習アプローチが導入されます。この手法は、長い期間にわたって持続的な集中と意思決定を必要とするタスクを実行するモデルの能力を高めることを目的としており、現在のAIシステムが抱える重要な課題に取り組みます。

オープンソースとして公開されたdots3-noteは、マルチモーダルAIにおけるイノベーションと研究を加速させることが期待されています。世界中の開発者や研究者が、より高機能で多用途なAIアプリケーションを構築できるようになります。詳細は公式のBinance Square投稿で確認できます。 #AI #MachineLearning #MultimodalAI