GPUメモリがいっぱいなのに、タスク マネージャーの表示がおかしい?

MicrosoftのScott Hanselmanが、gputaskmanを公開しました。GPU版のhtopのようなツールです。

確認できる情報:
→ プロセスごとの実際のVRAM使用量
→ 実際に読み込まれているモデルファイル
→ ローカルLLMの場合:モデルの重みとコンテキスト(KVキャッシュ)の内訳
→ GPUメモリではなく、システムRAMをこっそり消費しているもの

Windows(NVIDIA/AMD)とLinux/WSL(NVIDIA)で動作します。ポータブル版をダウンロードでき、インストール不要です。

ローカルAIモデルを動かしていて、タスク マネージャーの表示に振り回されながら「メモリ不足」エラーに悩まされているなら、これが解決策です。