NVIDIAは、自律エージェントを稼働し続けるための反復的で高頻度なタスクを処理することを目的に、小型のオープンモデルを発表しました。長時間稼働するエージェントのワークロードにかかるコストとレイテンシーの削減を狙っています。

Nemotron 3.5 Lightningと呼ばれるこのモデルは、総パラメータ数は300億ですが、トークンごとに有効化されるのは30億のみです。NVIDIAによれば、この混合エキスパート（MoE）設計により、大規模モデルの能力をより小さなモデルに近い計算量で提供できるとのことです。

Nemotron 3.5 Lightningは、NVIDIAのDGX Spark、Jetsonシステム、GeForce RTX 5090グラフィックスカードなどの環境でローカル実行できるようにも設計されています。さらにデータセンターに展開することもでき、高頻度ワークロードを生成場所により近いところで実行するための選択肢を開発者に提供します。

モデルは、OpenClaw や Hermes Agent などの人気のエージェント用ハーネスを想定して学習されています。NVIDIA は、この学習により、反復的なタスク中のレイテンシを抑えつつ、エージェントがより正確なツール呼び出しを行えるようになると述べています。#NVIDIA $NVDAB

NVDAB

230.66

+0.14%