Лаборатория ИИ Xiaohongshu через свое подразделение dots.studio объявила о выпуске в открытый доступ предварительной версии dots3-note 15 августа. Эта новая модель построена на архитектуре смеси экспертов (MoE) с 280 миллиардами параметров, при этом активируется 16 миллиардов параметров. Она поддерживает широкий спектр модальностей, включая текст, зрение и аудио, что обеспечивает комплексное мультимодальное понимание.

Модель dots3-note включает контекстное окно на 512 000 токенов, значительно расширяя возможности понимания контекста на длительных горизонтах. Это позволяет модели решать более сложные задачи, требующие расширенной памяти и рассуждений по длинным последовательностям, что является прорывом в возможностях ИИ для мультимодальной обработки.

Кроме того, релиз представляет новый подход к обучению с подкреплением под названием TEMPO, разработанный специально для агентов с длительным горизонтом планирования. Этот метод направлен на улучшение способности модели выполнять задачи, требующие устойчивой концентрации и принятия решений на протяжении длительных периодов, решая ключевую проблему в современных ИИ-системах.

Ожидается, что открытый релиз dots3-note ускорит инновации и исследования в области мультимодального ИИ, позволяя разработчикам и исследователям по всему миру создавать более мощные и универсальные приложения на базе ИИ. Больше подробностей доступно в официальной публикации Binance Square. #AI #MachineLearning #MultimodalAI