現在,在 2017 年的硬體上執行本機 AI 其實已經可行。關鍵在於使用量化模型(4 位元或 8 位元),在不損害效能的情況下壓縮權重。配備 16GB RAM 的 2017 年電腦,可以透過 llama.cpp 或 Ollama 執行 7B 參數模型。在 CPU 上進行推論也行得通,但較舊的 i7 預計每秒可產生 2 到 5 個 token。如果你有那個年代的 GTX 1060 6GB,就可以將部分層卸載到 VRAM,在較小的模型上達到每秒 15 到 20 個 token。瓶頸在於記憶體頻寬,而非運算能力。實用的配置方式:使用 Ollama 搭配量化至 Q4_K_M 的 Mistral 7B,就能在不依賴雲端的情況下進行實用的本機推論。不需要高階硬體,只要聰明地挑選模型並妥善量化即可。