Powerpei

前两天我发Gemma 4的时候，在评论区留了一句：

> “我现在在测试一个想法：用 Gemma 4 做一个完全离线的个人知识库 Agent，所有数据在本地，所有推理在本地，没有 API 费用，没有隐私问题。如果测试顺利，我会分享具体的部署方案和我踩过的坑。”

现在测试结束了

我把整个过程、踩过的所有坑、最终方案一次性抛出来

完全真实操作记录，没有云端API，没有任何营销，纯个人复盘

---

我以前用ChatGPT/Claude做笔记，搜个人文档，总是心里不踏实：

- 输入客户资料、Space灵感稿、投资笔记时，总担心被用来训练
- 想让AI 24h随时分析我的推文 + 阅读记录，它动不动就断线、要钱
- 最重要的是：我想拥有一个真正属于自己的AI助手，不是租来的

Gemma 4 31B（量化后 17.4GB）+ 4090正好能跑

Apache 2.0协议又随便改，256K上下文能容一整本书去了

native function calling 又稳

这不就是离线个人知识库的完美底座吗？

于是我花了整整一个周末加上后续一周迭代，把它做成了现在这个完全离线的个人知识库Agent

---

我的最终硬件 & 环境（真实配置）

硬件

→ GPU：RTX 4090 24GB（31B Q4_K_M 量化后实测占用约 19-21GB VRAM，留 3GB 给 embedding 和系统）
→ CPU:AMD 7950X
→ 内存：64GB DDR5
→ 存储：2TB NVMe（知识库目前塞了约 1800 份 PDF+MD+Notion 导出）

软件栈

→ Ollama（主力推荐，Mac/Linux/Windows 都能跑）
→ LlamaIndex（RAG框架，最稳）
→ nomic-embed-tex（本地embedding，中文支持好）
→ Chroma（向量库，本地持久化）
→ AnythingLLM（前端界面，可选，但我最后还是直接用LlamaIndex + Streamlit 更灵活）

---

完整部署方案（一步步手把手，可直接复制，因为不支持Markdown代码块渲染，所以我文字输出，复制时候对比下）

1. 安装Ollama +拉模型（最简单一步）

```bash
# Mac/Linux/Windows 都一样
ollama pull gemma4:31b
# 官方直接用 gemma4:31b-it（instruct 版）
# 或者直接用量化好的 GGUF（HuggingFace 搜 google/gemma-4-31B-it-GGUF）
# 我最终用的是 Q4_K_M，速度和质量平衡最好
```

---

2. 准备embedding模型

```bash
ollama pull nomic-embed-text
```

---

3. 搭建RAG核心（LlamaIndex关键代码）

```python
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding

# 配置

Settings.llm = Ollama(model="gemma4:31b", request_timeout=300.0)
Settings.embed_model = OllamaEmbedding(model_name="nomic-embed-text")
Settings.chunk_size = 1024 # 按需调整，1024 效果最好
Settings.chunk_overlap = 200

# 加载你的知识库文件夹（支持 PDF、MD、TXT、DOCX）
documents =
SimpleDirectoryReader("./my_knowledge_base").load_data()
index = VectorStoreIndex.from_documents(documents, show_progress=True)

# 持久化
http://index.storage_context.persist(persist_dir="./storage")
```

---

4. 把Agent 跑起来

我用LlamaIndex的ReAct Agent +自定义工具：

➤ 工具1：`query_knowledge_base`（检索我的所有笔记）
➤ 工具2：`save_to_note`（把新洞见自动保存回知识库）

核心 Prompt 我改成了：

> “你是我的私人AI研究员，只基于本地知识库回答，永远不要编造。如果不确定就说‘知识库中暂无相关记录’。”

---

5. 前端界面（我用 Streamlit 5分钟搞好）

现在手机/电脑随时能用：

> “把我上周Space里聊的美股机制总结一下”，它秒出，还带来源引用

整个部署从0到能用，大概花了4小时（不包括后面调优）

---

完整踩坑记录（这些坑我全踩过，血泪教训）

坑1：OOM+ 上下文爆炸（最致命）

第一次直接扔256K 上下文 + 大文档，直接显存炸了

解决：

· 强制设置 `--ctx-size 8192` + KV cache用q4_0
· `chunk_size` 从2048降到1024
· 现在长文档也能稳稳处理

---

坑2：中文检索效果差

用默认bge-large-en，搜我的中文Space记录经常miss

解决：
· 换 `nomic-embed-text` + 手动加了中文stopwords过滤 +Hybrid Search（BM25+Vector）
· 命中率从60% 提到92%

---

坑3：Agent 幻觉+死循环

刚开始Agent老是“自信地”编造我没写过的东西，或者卡在循环里

解决：

➢ 强制加system prompt + 设置 `max_iterations=8` + 加入self-reflection step

---

坑 4：文档解析炸裂（尤其是PDF）

很多PDF是扫描稿或表格，直接拉稀

解决：

➢ 先用 LlamaParse 本地版或者 [http://unstructured.io](http://unstructured.io) 预处理，现在表格也能正常读了

---
坑 5：速度慢到想砸电脑

刚开始生成速度只有8-12 t/s

解决：
➢ 用Q4_K_M + 开启GPU offload（`n-gpu-layers=-1`）
➢ 现在实测稳定28-35 t/s，完全能接受

---

坑6：知识库更新麻烦

每次加新文件都要重新 build index

解决：

➢ 用了Incremental Index + 定时脚本，每天凌晨自动增量更新

---

现在这个Agent到底能干啥？（真实使用2周感受）

1. 问任何我去过的长文、Space记录、阅读笔记，它都能精准引出处

> 我：“上周我在DeFi项目笔记里提到过30天所有项目笔记做个对比表格”

> Agent:30 秒出完整Markdown表格

2. 让我把最近30天周读总结，发到Notion

自动帮我生成周读总结，发到 Notion

3. 最爽的是：完全离线，飞机上、地铁上、甚至断网也能用，隐私100%可控

这感觉真的不一样

它不再是云端租来的AI，而是长在我电脑里的私人研究员

---

最后一点思考

Gemma 4 31B 把本地AI 的门槛真正拉到了一张高端显卡就能干大事的水平

我现在越来越相信：2026年的Web3+AI真正落地，可能不是链上训练，而是主权模型+主权数据+本地Agent

你呢？

➤已经在跑本地知识库Agent的，欢迎评论区分享你的方案（尤其是踩过的坑）
➤还在犹豫要不要上Gemma 4 的，说说你最担心哪一步

我把完整代码、Modelfile、Streamlit前端全放GitHub了（评论“代码”我发链接）

纯个人复盘，所有数据和体验来自真实操作，不做任何推广

前两天我发了Gemma 4的技术整理和实战体验，很多朋友在评论区问：

“为什么这么多人下载？是因为它免费吗？”

我想了很久，我发现答案不是这么简单

➢一周下载破1000万，这个数字背后藏着一个信号，大多数人都没注意到

---

我最近越来越觉得不对劲

我用了1年ChatGPT、Claude、Gemini. 

每次我输入客户资料、内部文档、商业想法的时候，我都会犹豫一下：

➢这些数据会被拿去训练模型吗？会被泄露吗？

还有一件事让我很不爽：

OpenAI可以随时调整GPT-4的参数，Claude可以随时改 Opus的行为

你今天调好的prompt，明天可能就不好使了

你的AI能力，永远被API额度锁死

你想做个Agent跑24小时？对不起，API费用可能让你破产

你想部署到离线环境？对不起，没网就没AI

---

➢为什么1000万人选择下载Gemma 4？

不是因为它跑分高（虽然AIME 89.2% 确实猛）

而是因为人们终于意识到：AI不应该是租来的黑盒，AI 应该是你真正拥有的工具

---

我在想三个趋势

1. 可以拥有的AI会成为必需品

你想想，你不会把所有照片都存在别人的云盘上

同样的，以后你也不会把所有AI工作流都放在别人的API 上

➢医疗、法律、金融这些行业，企业内部的Agent，科研项目，国家的主权AI

这些场景必须用本地模型

Gemma 4把门槛降到了“一张显卡”的水平，这是一个大变化

31B 压缩后17.4GB，E4B版5GB能在手机上跑多模态

这不是玩具，这是真正能干活的工具

---

2. 独立开发者和小团队的好时代要来了

以前你做AI应用，要么租API（成本高），要么租GPU（更贵）

现在呢？

31B版在Codeforces拿2150分，26B MoE速度接近4B但能力接近 31B

➢小团队做垂直Agent、做私有化部署、做离线工具，成本直接降到最低

这波机会，是给那些不想被API 绑住的人

---

3. Web3+ AI的真正落地点，可能就在这里

我一直在想：Web3和AI怎么结合？

以前的答案都是“链上AI”、“去中心化训练”

听起来很酷，但是太难落地了

但是如果 AI能在本地跑，数据不上链也能保证隐私，主权数据+ 主权模型+链上验证

这才是真正的去中心化AI

Gemma 4把云端能力搬回家，Apache 2.0完全开放权重 + 完全开放许可

➢你完全掌控模型、数据和运行环境

这是 2026年本地AI的一个重要节点

---

我昨天测了一整天

➢agent流程很稳，长上下文没出问题，function calling比我想的还要好用

我现在在测试一个想法：我想用Gemma 4做一个完全离线的个人知识库Agent

所有数据在本地，所有推理在本地，没有API费用，没有隐私问题

如果测试顺利，我会分享具体的部署方案和我踩过的坑

---

最后一个问题

➢如果AI可以完全属于你，你会用它做什么？

我说的不是“用ChatGPT写个文案”

我说的是“拥有一个24 小时在线、完全听你指挥、永远不会泄露你秘密的AI助手”

这个问题，我还在想

但是我知道，答案不在云端，答案在本地

（这是我的个人思考，不是推广。已经上手的朋友，欢迎评论区聊聊你的想法）

大概三个月前一个晚上吧，我在Discord上看到一个哥们发了条消息：“兄弟们，我失业了。35岁，做了10年产品经理，被AI替代了。现在每天在家刷招聘网站，投了 200多份简历，没有一个回音。”
群里瞬间炸了，大家都在安慰他：
“兄弟，别慌，AI 只是工具，不可能完全替代人。”
“你经验这么丰富，肯定能找到更好的。”
“实在不行就先休息一下，调整心态。”
/// 这些话听着暖心，但其实毫无用处。因为这些话的潜台词是：你被淘汰了，接受现实吧
---
我没说话，因为我知道，他的问题不是“被 AI替代”，而是“不愿意和AI协作”
---
第二天早上，我给他发了条私信：“你有没有试过用AI来帮你找工作？”
他回：“用过啊，ChatGPT帮我改简历，但还是没用。”
我又问：“那你有没有试过用AI来做副业？比如AI生成内容、AI数据标注、AI提示词工程师？”
他沉默了一会儿，说：“那不是程序员干的活吗？我不会编程。”
---
你看，这就是人性
遇到困难，第一反应不是“我怎么用 AI 赚钱”，而是“我不会编程，我学不会”
---
➤ 能翻身的人，都在反人性的活着
我不是在画大饼，我是真的看到了太多这样的例子。
---
反人性 1：别人在抱怨“被 AI 替代”，你在学习“用AI赚钱”
去年我认识一个做设计的朋友，公司裁员，他也被裁了。
但他没有像其他人一样抱怨，而是花了 2 个月时间，学会了用Midjourney + Stable Diffusion 做AI绘画
现在他在小红书和抖音上接单，帮商家做产品图、海报、包装设计，月入3-5 万。
/// 他跟我说：“我不是被 AI 替代了，我是用 AI 替代了那些还在用Photoshop 手绘的设计师。”
---
反人性 2：别人在刷短视频，你在做AI数据标注
AI模型训练需要大量数据标注，这是一个巨大的市场
我另一个朋友，原本是做客服的，失业后报名了AI数据标注培训（免费的，人社部“技能照亮前程”行动），3个月拿到证，现在在家接单做数据标注，月入 8000-12000
/// 她跟我说：“我每天工作 6小时，在家就能做，比以前做客服轻松多了。”
---
反人性 3：别人在追热点赚快钱，你在布局AI提示词工程师
AI 提示词工程师（Prompt Engineer）是最近爆火的新职业，需求比 5:1+。
我见过一个95后小伙，文科生，没有任何编程基础，但他花了1个月时间，学会了怎么写高质量的AI提示词。
现在他在Upwork和Fiverr上接单，帮企业优化ChatGPT/Claude的提示词，时薪 50-100美元
/// 他跟我说：“我不需要会编程，我只需要懂人性，懂怎么和 AI 对话。”
---
反人性 4：别人在舒适区躺平，你在做 AI内容创作
AI生成内容（AIGC）是一个万亿级市场。
我认识一个做自媒体的朋友，原本每天写文章要4-5小时，现在用ChatGPT + Claude辅助写作，1小时就能搞定。
他把省下来的时间，用来做视频、做播客、做社群，现在月入10 万+。
/// 他跟我说：“AI不是来抢我饭碗的，是来帮我放大产能的。”
---
➤ 我不是乐观主义者，我只是看数据
后来那个在 Discord 上发消息的哥们，我也是最近见到他，受他的启发写了这么多
他报名了AI提示词工程师培训，学会了用ChatGPT + Midjourney做内容，现在在小红书上做AI绘画教程，月入 1万+
他跟我说：“当时你问我的那些问题，我回去想了很久。我意识到，我不是被 AI替代了，是我不愿意和AI协作。”
---
能翻身的人，都在反人性的活着
→ 别人在抱怨“被 AI 替代”，你在学习“用AI赚钱”
→ 别人在刷短视频，你在做AI数据标注
→ 别人在追热点，你在布局AI提示词工程师
→ 别人在躺平，你在做AI内容创作
---
这不是鸡汤，这是可验证的结构性机会
AI提示词工程师需求比5:1+，AI数据标注缺口上千万，AI生成内容（AIGC）是万亿级市场。
普通人只要行动，就能从“被 AI 淘汰”变成“用AI赚钱的那批”。
但我真的很困惑：为什么大部分人宁愿抱怨“被 AI 替代”，也不愿意去学习“用 AI 赚钱”？
是因为不相信？还是因为懒？还是因为害怕改变？

昨晚刷到IEA的(Electricity 2026)报告，看到一个数字：
2024-2030年，中国数据中心电力需求从102TWh暴增到 280TWh，增幅近170%

我停下来算了一下，这相当于每年增加1个欧盟今天的用电量

然后我意识到一件事：当全世界还在为AI烧电头疼时，中国已经把这件事变成了一张超级战略牌
---
➤ 你可能听说过ChatGPT训练一次要烧掉几百万美元的电费
但你可能不知道，中国单独贡献了全球新增电力需求的近 50%

今朝、StandXのチェーン上データを見て、OI / TVL比率がもうすぐ80%に達しそうです。

この数字はPerps DEXトラックでは比較的高い水準と言えます。

その背後にあるメカニズムの設計を分解してみる価値があります。
---
➢ 伝統的なPerps DEXのロジックは：

あなたは$USDCまたは$ETHをマージンとして預け入れます。

それはただそこにあり、あなたがポジションを開くのを待っています。

もしあなたが取引しなければ、それは死に資本です。

あなたの銀行口座の中のお金のように、あなたが積極的に投資をしない限り、それはただ価値が減少するだけです。
---
➢ @StandX_Officialはこの基盤ロジックを変更しました：

あなたが預け入れるのは普通のステーブルコインではなく、$DUSD（彼ら自身の証券）です。

私の友人は先月、ある小さな取引所からバイナンスに資産を移しました

私は彼に理由を尋ねました

彼は言いました：“手数料が少し高くても構わない、ただぐっすり眠りたい”

この言葉は、CoinGlassが最近発表した2026年第1四半期のレポートを思い出させました

バイナンスの第1四半期の日平均ユーザー資産は1529億ドルで、主要なCEXの73.5%を占めています

2位のOKXは159億ドルで、バイナンスの1/9.6です

この差は私が想像していたよりもずっと大きいです

---

➢レポートで一つの見解が述べられています：

ユーザー資産の保有規模は取引量よりもプラットフォームの安全性と信頼度をより反映しています

この論理を考えてみると、確かに理にかなっています

Googleは今日、Gemma 4を発表しました。これは彼らの現在最強のオープンモデルです。
このモデルはGemini 3の研究に基づいて作成されました。
あなたは直接ローカルハードウェア上で高度な推論とエージェントワークフローを実行できます。
これは単にパラメータを増やすだけではなく、実際にクラウドの能力をローカルデバイスに移したものです。
私は公式のデータとテスト結果を見て、重要な点を整理しました（間違いがあれば指摘してください）。
————
4つのバージョンがあり、それぞれに利点があります。
➢31B Dense（オープンモデルランキング第3位、圧縮後おおよそ17.4GB、一枚のグラフィックカードで実行可能）
これは最強のバージョンです。

昨日、私は抖音を見ていて、「階段を登るジョウジ」が階段を登りながら（道徳経）を話しているのを見た。彼は特に心に刺さる言葉を言った：
> 「この世界には実際に自分一人だけで、他の人はあなたの内面的な幻想である」
その時、私は画面のAIエージェントに向かって、怒りに燃えていた。
私はそれに10数個のSkill（データ抽出、ファイル操作、自動投稿）をインストールした。
しかし、それは頻繁にエラーを起こし、ステップを飛ばし、コンテキストを覚えられない。私は思わず言った：「このやつはどうしてこんなに愚かなんだ！」
次の瞬間、私は突然呆然とした。
その瞬間、私は突然気づいた。AIエージェントに対する私の怒りと、「この世界には実際に自分一人だけで、他の人はあなたの内面的な幻想である」という心に刺さる気づきは、本質的には同じ感情である。

昨晩、DeepSeekがまた崩れました

三度目

しかし今回は、私は違うものを見ました。

「風口が来たの？」

風口ではありません

お金が下層に流れ始めたのです。

「どういう意味？」

あなたはAIがお金を稼いでいると思っている。

実際にお金を稼いでいるのは、AIに電力を供給し、資源を提供し、インフラを構築する人々です。

「これが科学技術ではないですか？」

違います

これはエネルギービジネスであり、資源ビジネスです。

最も伝統的で、最も利益を上げるビジネスです。

————

「DeepSeekの崩壊とお金を稼ぐことにはどんな関係がありますか？」

関係は非常に直接的です

それは一つの事実を暴露しました

AIは無根ではなく、実際のコストを消費します。