看到一个AI小工具能正常回答问题，我第一反应是这不就能用了？真要开放给别人用，又是另一回事。连接顺不顺、入口安不安全，都得重新掂量。
这次看 @Acurast 的LLM教程，正好注意到这个问题。官方给了在手机Processor上跑GGUF模型的方法，内置llama server做推理，还能提供兼容OpenAI的API接口。已经在用这类接口的应用，改改配置就有机会直接接到手机上的模型。
有意思的是，教程里为了让外部访问模型，用了localtunnel，官方自己提醒这个示例不安全，别直接拿去上线。模型是跑起来了，API也能调，安全这块才刚开头，这个提醒挺实在的。
后来发现 #Acurast 还有单独的Tunnel指南，走反向隧道让外部访问手机上的服务，支持HTTPS，也能验证自有域名。跟旧教程的localtunnel是两套方案。就算上了HTTPS，应用自己的身份认证、访问权限，还是得一项项过。
我挺喜欢官方把这些限制直接说出来，手机能跑AI模型已经挺有意思了，但从一个能运行的示例，到真正给别人长期使用，中间还有不少细节要处理。普通用户要的很简单，打开就能用，不用琢磨自己连的入口安不安全。
👉 https://hub.acurast.com/rebellion?ref=apksoh
这次看 @Acurast 的LLM教程，正好注意到这个问题。官方给了在手机Processor上跑GGUF模型的方法，内置llama server做推理，还能提供兼容OpenAI的API接口。已经在用这类接口的应用，改改配置就有机会直接接到手机上的模型。
有意思的是，教程里为了让外部访问模型，用了localtunnel，官方自己提醒这个示例不安全，别直接拿去上线。模型是跑起来了，API也能调，安全这块才刚开头，这个提醒挺实在的。
后来发现 #Acurast 还有单独的Tunnel指南，走反向隧道让外部访问手机上的服务，支持HTTPS，也能验证自有域名。跟旧教程的localtunnel是两套方案。就算上了HTTPS，应用自己的身份认证、访问权限，还是得一项项过。
我挺喜欢官方把这些限制直接说出来，手机能跑AI模型已经挺有意思了，但从一个能运行的示例，到真正给别人长期使用，中间还有不少细节要处理。普通用户要的很简单，打开就能用，不用琢磨自己连的入口安不安全。
👉 https://hub.acurast.com/rebellion?ref=apksoh