Powerpei

前两天我发Gemma 4的时候，在评论区留了一句：

> “我现在在测试一个想法：用 Gemma 4 做一个完全离线的个人知识库 Agent，所有数据在本地，所有推理在本地，没有 API 费用，没有隐私问题。如果测试顺利，我会分享具体的部署方案和我踩过的坑。”

现在测试结束了

我把整个过程、踩过的所有坑、最终方案一次性抛出来

完全真实操作记录，没有云端API，没有任何营销，纯个人复盘

---

我以前用ChatGPT/Claude做笔记，搜个人文档，总是心里不踏实：

- 输入客户资料、Space灵感稿、投资笔记时，总担心被用来训练
- 想让AI 24h随时分析我的推文 + 阅读记录，它动不动就断线、要钱
- 最重要的是：我想拥有一个真正属于自己的AI助手，不是租来的

Gemma 4 31B（量化后 17.4GB）+ 4090正好能跑

Apache 2.0协议又随便改，256K上下文能容一整本书去了

native function calling 又稳

这不就是离线个人知识库的完美底座吗？

于是我花了整整一个周末加上后续一周迭代，把它做成了现在这个完全离线的个人知识库Agent

---

我的最终硬件 & 环境（真实配置）

硬件

→ GPU：RTX 4090 24GB（31B Q4_K_M 量化后实测占用约 19-21GB VRAM，留 3GB 给 embedding 和系统）
→ CPU:AMD 7950X
→ 内存：64GB DDR5
→ 存储：2TB NVMe（知识库目前塞了约 1800 份 PDF+MD+Notion 导出）

软件栈

→ Ollama（主力推荐，Mac/Linux/Windows 都能跑）
→ LlamaIndex（RAG框架，最稳）
→ nomic-embed-tex（本地embedding，中文支持好）
→ Chroma（向量库，本地持久化）
→ AnythingLLM（前端界面，可选，但我最后还是直接用LlamaIndex + Streamlit 更灵活）

---

完整部署方案（一步步手把手，可直接复制，因为不支持Markdown代码块渲染，所以我文字输出，复制时候对比下）

1. 安装Ollama +拉模型（最简单一步）

```bash
# Mac/Linux/Windows 都一样
ollama pull gemma4:31b
# 官方直接用 gemma4:31b-it（instruct 版）
# 或者直接用量化好的 GGUF（HuggingFace 搜 google/gemma-4-31B-it-GGUF）
# 我最终用的是 Q4_K_M，速度和质量平衡最好
```

---

2. 准备embedding模型

```bash
ollama pull nomic-embed-text
```

---

3. 搭建RAG核心（LlamaIndex关键代码）

```python
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.llms.ollama import Ollama
from llama_index.embeddings.ollama import OllamaEmbedding

# 配置

Settings.llm = Ollama(model="gemma4:31b", request_timeout=300.0)
Settings.embed_model = OllamaEmbedding(model_name="nomic-embed-text")
Settings.chunk_size = 1024 # 按需调整，1024 效果最好
Settings.chunk_overlap = 200

# 加载你的知识库文件夹（支持 PDF、MD、TXT、DOCX）
documents =
SimpleDirectoryReader("./my_knowledge_base").load_data()
index = VectorStoreIndex.from_documents(documents, show_progress=True)

# 持久化
http://index.storage_context.persist(persist_dir="./storage")
```

---

4. 把Agent 跑起来

我用LlamaIndex的ReAct Agent +自定义工具：

➤ 工具1：`query_knowledge_base`（检索我的所有笔记）
➤ 工具2：`save_to_note`（把新洞见自动保存回知识库）

核心 Prompt 我改成了：

> “你是我的私人AI研究员，只基于本地知识库回答，永远不要编造。如果不确定就说‘知识库中暂无相关记录’。”

---

5. 前端界面（我用 Streamlit 5分钟搞好）

现在手机/电脑随时能用：

> “把我上周Space里聊的美股机制总结一下”，它秒出，还带来源引用

整个部署从0到能用，大概花了4小时（不包括后面调优）

---

完整踩坑记录（这些坑我全踩过，血泪教训）

坑1：OOM+ 上下文爆炸（最致命）

第一次直接扔256K 上下文 + 大文档，直接显存炸了

解决：

· 强制设置 `--ctx-size 8192` + KV cache用q4_0
· `chunk_size` 从2048降到1024
· 现在长文档也能稳稳处理

---

坑2：中文检索效果差

用默认bge-large-en，搜我的中文Space记录经常miss

解决：
· 换 `nomic-embed-text` + 手动加了中文stopwords过滤 +Hybrid Search（BM25+Vector）
· 命中率从60% 提到92%

---

坑3：Agent 幻觉+死循环

刚开始Agent老是“自信地”编造我没写过的东西，或者卡在循环里

解决：

➢ 强制加system prompt + 设置 `max_iterations=8` + 加入self-reflection step

---

坑 4：文档解析炸裂（尤其是PDF）

很多PDF是扫描稿或表格，直接拉稀

解决：

➢ 先用 LlamaParse 本地版或者 [http://unstructured.io](http://unstructured.io) 预处理，现在表格也能正常读了

---
坑 5：速度慢到想砸电脑

刚开始生成速度只有8-12 t/s

解决：
➢ 用Q4_K_M + 开启GPU offload（`n-gpu-layers=-1`）
➢ 现在实测稳定28-35 t/s，完全能接受

---

坑6：知识库更新麻烦

每次加新文件都要重新 build index

解决：

➢ 用了Incremental Index + 定时脚本，每天凌晨自动增量更新

---

现在这个Agent到底能干啥？（真实使用2周感受）

1. 问任何我去过的长文、Space记录、阅读笔记，它都能精准引出处

> 我：“上周我在DeFi项目笔记里提到过30天所有项目笔记做个对比表格”

> Agent:30 秒出完整Markdown表格

2. 让我把最近30天周读总结，发到Notion

自动帮我生成周读总结，发到 Notion

3. 最爽的是：完全离线，飞机上、地铁上、甚至断网也能用，隐私100%可控

这感觉真的不一样

它不再是云端租来的AI，而是长在我电脑里的私人研究员

---

最后一点思考

Gemma 4 31B 把本地AI 的门槛真正拉到了一张高端显卡就能干大事的水平

我现在越来越相信：2026年的Web3+AI真正落地，可能不是链上训练，而是主权模型+主权数据+本地Agent

你呢？

➤已经在跑本地知识库Agent的，欢迎评论区分享你的方案（尤其是踩过的坑）
➤还在犹豫要不要上Gemma 4 的，说说你最担心哪一步

我把完整代码、Modelfile、Streamlit前端全放GitHub了（评论“代码”我发链接）

纯个人复盘，所有数据和体验来自真实操作，不做任何推广

Nos últimos dias, enviei uma organização técnica e uma experiência prática do Gemma 4, muitos amigos perguntaram na seção de comentários:

“Por que tantas pessoas estão fazendo o download? É porque é grátis?”

Pensei muito e percebi que a resposta não é tão simples.

➢ Mais de 10 milhões de downloads em uma semana, esse número esconde um sinal que a maioria das pessoas não percebeu.

---

Recentemente, tenho sentido que algo não está certo.

Usei o ChatGPT, Claude e Gemini por 1 ano.

Sempre que insiro informações do cliente, documentos internos ou ideias de negócios, hesito um pouco:

➢ Esses dados serão usados para treinar modelos? Serão vazados?

大概三个月前一个晚上吧，我在Discord上看到一个哥们发了条消息：“兄弟们，我失业了。35岁，做了10年产品经理，被AI替代了。现在每天在家刷招聘网站，投了 200多份简历，没有一个回音。”
群里瞬间炸了，大家都在安慰他：
“兄弟，别慌，AI 只是工具，不可能完全替代人。”
“你经验这么丰富，肯定能找到更好的。”
“实在不行就先休息一下，调整心态。”
/// 这些话听着暖心，但其实毫无用处。因为这些话的潜台词是：你被淘汰了，接受现实吧
---
我没说话，因为我知道，他的问题不是“被 AI替代”，而是“不愿意和AI协作”
---
第二天早上，我给他发了条私信：“你有没有试过用AI来帮你找工作？”
他回：“用过啊，ChatGPT帮我改简历，但还是没用。”
我又问：“那你有没有试过用AI来做副业？比如AI生成内容、AI数据标注、AI提示词工程师？”
他沉默了一会儿，说：“那不是程序员干的活吗？我不会编程。”
---
你看，这就是人性
遇到困难，第一反应不是“我怎么用 AI 赚钱”，而是“我不会编程，我学不会”
---
➤ 能翻身的人，都在反人性的活着
我不是在画大饼，我是真的看到了太多这样的例子。
---
反人性 1：别人在抱怨“被 AI 替代”，你在学习“用AI赚钱”
去年我认识一个做设计的朋友，公司裁员，他也被裁了。
但他没有像其他人一样抱怨，而是花了 2 个月时间，学会了用Midjourney + Stable Diffusion 做AI绘画
现在他在小红书和抖音上接单，帮商家做产品图、海报、包装设计，月入3-5 万。
/// 他跟我说：“我不是被 AI 替代了，我是用 AI 替代了那些还在用Photoshop 手绘的设计师。”
---
反人性 2：别人在刷短视频，你在做AI数据标注
AI模型训练需要大量数据标注，这是一个巨大的市场
我另一个朋友，原本是做客服的，失业后报名了AI数据标注培训（免费的，人社部“技能照亮前程”行动），3个月拿到证，现在在家接单做数据标注，月入 8000-12000
/// 她跟我说：“我每天工作 6小时，在家就能做，比以前做客服轻松多了。”
---
反人性 3：别人在追热点赚快钱，你在布局AI提示词工程师
AI 提示词工程师（Prompt Engineer）是最近爆火的新职业，需求比 5:1+。
我见过一个95后小伙，文科生，没有任何编程基础，但他花了1个月时间，学会了怎么写高质量的AI提示词。
现在他在Upwork和Fiverr上接单，帮企业优化ChatGPT/Claude的提示词，时薪 50-100美元
/// 他跟我说：“我不需要会编程，我只需要懂人性，懂怎么和 AI 对话。”
---
反人性 4：别人在舒适区躺平，你在做 AI内容创作
AI生成内容（AIGC）是一个万亿级市场。
我认识一个做自媒体的朋友，原本每天写文章要4-5小时，现在用ChatGPT + Claude辅助写作，1小时就能搞定。
他把省下来的时间，用来做视频、做播客、做社群，现在月入10 万+。
/// 他跟我说：“AI不是来抢我饭碗的，是来帮我放大产能的。”
---
➤ 我不是乐观主义者，我只是看数据
后来那个在 Discord 上发消息的哥们，我也是最近见到他，受他的启发写了这么多
他报名了AI提示词工程师培训，学会了用ChatGPT + Midjourney做内容，现在在小红书上做AI绘画教程，月入 1万+
他跟我说：“当时你问我的那些问题，我回去想了很久。我意识到，我不是被 AI替代了，是我不愿意和AI协作。”
---
能翻身的人，都在反人性的活着
→ 别人在抱怨“被 AI 替代”，你在学习“用AI赚钱”
→ 别人在刷短视频，你在做AI数据标注
→ 别人在追热点，你在布局AI提示词工程师
→ 别人在躺平，你在做AI内容创作
---
这不是鸡汤，这是可验证的结构性机会
AI提示词工程师需求比5:1+，AI数据标注缺口上千万，AI生成内容（AIGC）是万亿级市场。
普通人只要行动，就能从“被 AI 淘汰”变成“用AI赚钱的那批”。
但我真的很困惑：为什么大部分人宁愿抱怨“被 AI 替代”，也不愿意去学习“用 AI 赚钱”？
是因为不相信？还是因为懒？还是因为害怕改变？

Na noite passada, vi o relatório da IEA (Electricity 2026) e vi um número:
2024-2030年，中国数据中心电力需求从102TWh暴增到 280TWh，增幅近170%

Eu parei para calcular, isso equivale a um aumento anual igual ao consumo de eletricidade da União Europeia hoje.

Então percebi uma coisa: enquanto o mundo ainda se preocupa com o consumo de energia da IA, a China já transformou isso em uma super estratégia.
---
➤ Você pode ter ouvido que treinar o ChatGPT custa vários milhões de dólares em contas de eletricidade.
Mas você pode não saber que a China sozinha contribuiu com quase 50% do aumento global na demanda por eletricidade.

Hoje de manhã vi os dados on-chain da StandX, a relação OI / TVL já está próxima de 80%

Esse número é considerado um nível relativamente alto no setor de DEX de Perps

Vale a pena analisar o design do mecanismo por trás
---
➢ A lógica tradicional dos DEX de Perps é:

Você deposita $USDC ou $ETH como margem

Ele fica lá, esperando você abrir uma posição

Se você não negociar, ele é capital morto

Assim como o dinheiro na sua conta bancária, a menos que você ativamente compre produtos financeiros, ele só vai desvalorizar
---
➢ @StandX_Official mudou essa lógica subjacente:

O que você deposita não são stablecoins comuns, mas sim $DUSD (seu próprio certificado)

Eu escrevi uma estratégia de arbitragem com Claude, com um retorno de backtest de 47%

Mas eu não me atrevo a deixá-la realmente executar

Porque eu não sei como controlar o risco, e se ela fizer pedidos de forma louca, o que fazer?

E se o mercado de repente oscilar e ela não conseguir reagir, o que fazer?

Gerar estratégias é fácil, mas fazê-la funcionar de forma segura no mercado real, isso são duas coisas diferentes

Recentemente, vi @vergex_ai fazendo uma coisa: AI Trading Harness

Em termos simples, é adicionar uma camada de rédea ao Agente de IA, permitindo que ele opere no mercado real, em vez de parecer bonito apenas no backtest

---

➢ Nos últimos dois anos, os avanços da IA na área de negociação foram principalmente na geração de estratégias

Meu amigo transferiu seus ativos de uma pequena exchange para a Binance no mês passado

Eu perguntei a ele por que

Ele disse: “Eu não me importo se a taxa é um pouco mais alta, eu só quero dormir tranquilo”

Essa frase me fez lembrar do relatório Q1 de 2026 que a CoinGlass acabou de publicar

O valor médio dos ativos mantidos pelos usuários da Binance no Q1 é de 152,9 bilhões de dólares, representando 73,5% dos principais CEX

O segundo lugar, OKX, tem 15,9 bilhões de dólares, apenas 1/9,6 da Binance

Essa diferença é muito maior do que eu imaginava

---

➢ O relatório menciona um ponto de vista:

O tamanho dos ativos mantidos pelos usuários reflete mais a segurança e a confiança da plataforma do que o volume de negociação

Eu pensei sobre essa lógica e realmente faz sentido

O Google lançou hoje o Gemma 4, que é o modelo aberto mais forte que eles têm atualmente.
Este modelo é baseado na pesquisa do Gemini 3.
Você pode executar fluxos de trabalho de raciocínio avançado e agentes diretamente no hardware local.
Isso não é simplesmente aumentar os parâmetros, mas realmente transferir as capacidades da nuvem para os dispositivos locais.
Eu olhei os dados e resultados dos testes oficiais e organizei os pontos principais (sinta-se à vontade para apontar qualquer erro).
————
Quatro versões, cada uma com sua utilidade.
➢31B Dense（开放模型排名第3，压缩后大概 17.4GB，一张显卡就能跑）
Esta é a versão mais poderosa.

Ontem eu estava assistindo Douyin e vi “Qiao Zhi subindo escadas” falando enquanto subia as escadas (Tao Te Ching). Ele disse algo que realmente tocou o coração:
> “Na verdade, neste mundo, só existe você. Os outros são apenas ilusões da sua mente.”
Naquele momento, eu estava encarando o AI Agent na tela, furioso.
Eu instalei mais de dez Skills (extração de dados, operações de arquivos, postagem automática)
Mas ele comete erros frequentes, perde etapas e não lembra do contexto. Eu soltei: “Como essa coisa pode ser tão burra!”
No segundo seguinte, eu de repente fiquei paralisado.
Naquele instante, percebi que minha raiva pelo AI Agent e a sensação angustiante de que “no mundo só existe você” eram, na essência, a mesma emoção.