今夜、約20GBの26Bモデルが多くの人にとってローカル環境のデフォルトになりました。制約となったのは性能ではなくメモリ帯域幅で、ランタイムは依然としてモデルの重みに追いついていません。ローカルでは何を動かしていますか?#AI #LocalLLM