NVIDIAは、複数の大規模モデルにわたってAIエージェントのタスクを動的に分配しつつ、コストとレイテンシーを削減することを目的としたAIモデル・ルーティングシステム「NeMo Switchyard」を発表した。

Odailyによると、NVIDIAはこのシステムにより、開発者が単一の巨大モデルに依存することなくAIエージェントを構築できると述べた。NeMo Switchyardは、タスク要件、モデルの能力、コスト、レイテンシー、システム状況に基づいて自動的にモデルを選択し、アプリケーションのアーキテクチャを変更せずに、モデルベンダーやバージョン間の切り替えに対応している。

NVIDIAは、このシステムにはいくつかのルーティング戦略が含まれていると述べました。具体的には、学習を必要としないLLM分類器ルーター、Stage Router、Escalation Router、そして実際のワークロードデータで訓練された設定可能なルーティングモデルです。Escalation Routerは、まず低コストのモデルにタスクを送信し、高い複雑性、繰り返されるエラー、または実行の停止を検知した場合に、より強力なモデルへリクエストをアップグレードします。

関連するテストでは、NVIDIAはNeMo Switchyardが、異なるモデルにタスクを分散することで、AIエージェントの運用コストを削減しつつ高いタスク完了率を維持したと述べました。最先端モデルのみを使用する場合と比べて、LangChainのマルチターンエージェントテストではEscalation Routerによりコストが約74%削減され、フロンティアモデルに送られたリクエストはわずか7%でした。

NVIDIAはまた、Cognition、Nous Research、Ramp、LangChain、LiteLLM、Kongと連携して、AIエージェント開発のワークフローおよびエンタープライズ向けアプリケーション基盤にNeMo Switchyardを統合してきたとも述べました。