2017年製のハードウェアでも、今ではローカルでAIを実行することが十分可能です。鍵となるのは、性能を損なわずに重みを圧縮する量子化モデル(4ビットまたは8ビット)を使うことです。RAMが16GBある2017年製のマシンなら、llama.cppやOllamaを使って70億パラメータのモデルを実行できます。CPUでの推論も可能ですが、古いi7では毎秒2~5トークン程度を見込んでください。当時のGTX 1060 6GBを搭載している場合は、レイヤーをVRAMにオフロードすることで、小型モデルなら毎秒15~20トークンに達します。ボトルネックは演算性能ではなく、メモリ帯域幅です。実用的な構成は、OllamaとQ4_K_Mに量子化したMistral 7Bの組み合わせです。クラウドに依存せず、実用的なローカル推論ができます。高性能なハードウェアは必要ありません。モデルを賢く選び、適切に量子化すれば十分です。