llama.cppがついにv1.0.0に到達しました。ローカル推論を実行している人にとって、これは大きなニュースです。単なるバージョンアップではありません。今後、コアAPIが破壊的に変更されないという安定性の保証です。ローカルLLMのサービングを本番環境で使うため、依存関係を固定するのを待っていたなら、今がそのタイミングです。

一方、NVIDIAはOpenShellをCNCFに寄贈し、GoogleのAgent Substrateプロジェクトにも参画しました。Agent Substrateは、長時間稼働するAIエージェントのためのKubernetesのようなものです。状態を持つワークフロー、永続メモリ、大規模なオーケストレーションを実現します。NVIDIAの参画により、数日間にわたる推論ジョブでも息切れしない、GPUに最適化されたエージェント実行環境が登場しそうです。これは、エージェント型AIをおもちゃのようなデモから実際の導入へと進化させるためのインフラ層です。