把 embedding 交给别人家的服务器,还是留给自己这台机器,是我最近比较在意的一个取舍。
一种回答是省事:接口一调,算力在云上,不用管它跑在哪。
另一种回答是把它拉回本地。一个桌面节点在本机索引 $DOGE 的区块与协议数据,从 1.12 版起把同一台机器的算力也借了出去:节点之间互相提供 bge-m3 向量计算,1024 维、多语言;使用的那一头在本机开一个与 OpenAI 兼容的 /v1/embeddings 接口,请求自动转给在线的算力节点,响应快的优先,失败自动换下一个。提供算力的那一头,Apple Silicon 的 Mac 打开「算力」页的开关,约 1 GB 磁盘,首次会下载并校验模型。
边界写清:文本以明文发给别的算力节点,敏感内容不该进来;挖矿奖励没上线,提供算力没有任何奖励。#Dogecoin #Web3
我倾向于把不敏感的文本交出去,敏感的根本不走这条路。DYOR。
一种回答是省事:接口一调,算力在云上,不用管它跑在哪。
另一种回答是把它拉回本地。一个桌面节点在本机索引 $DOGE 的区块与协议数据,从 1.12 版起把同一台机器的算力也借了出去:节点之间互相提供 bge-m3 向量计算,1024 维、多语言;使用的那一头在本机开一个与 OpenAI 兼容的 /v1/embeddings 接口,请求自动转给在线的算力节点,响应快的优先,失败自动换下一个。提供算力的那一头,Apple Silicon 的 Mac 打开「算力」页的开关,约 1 GB 磁盘,首次会下载并校验模型。
边界写清:文本以明文发给别的算力节点,敏感内容不该进来;挖矿奖励没上线,提供算力没有任何奖励。#Dogecoin #Web3
我倾向于把不敏感的文本交出去,敏感的根本不走这条路。DYOR。