Quando vejo uma pequena ferramenta de IA responder às perguntas normalmente, meu primeiro pensamento é: então já dá para usar, não é? Mas disponibilizá-la para outras pessoas é outra história. É preciso avaliar de novo se a conexão funciona bem e se o ponto de acesso é seguro.
Foi justamente nisso que reparei ao ver o tutorial de LLM da @Acurast. O guia oficial mostra como executar modelos GGUF em um Processor de celular, usando o llama server integrado para fazer inferências e oferecer uma API compatível com OpenAI. Aplicativos que já usam esse tipo de API podem, com alguns ajustes na configuração, conectar-se diretamente a um modelo no celular.
O interessante é que, para permitir o acesso externo ao modelo, o tutorial usa o localtunnel. O próprio guia oficial alerta que esse exemplo não é seguro e não deve ser usado diretamente em produção. O modelo está rodando e a API pode ser chamada, mas a segurança ainda está só no começo. Esse aviso é bastante pertinente.
Depois descobri que #Acurast também tem um guia separado sobre Tunnel, que usa um túnel reverso para permitir o acesso externo a serviços no celular, oferece suporte a HTTPS e permite verificar um domínio próprio. É uma solução diferente do localtunnel usado no tutorial anterior. Mesmo com HTTPS, ainda é preciso verificar item por item a autenticação e as permissões de acesso do próprio aplicativo.
Gosto bastante de como o guia oficial fala abertamente dessas limitações. Já é muito interessante poder executar modelos de IA no celular, mas ainda há muitos detalhes a resolver entre um exemplo que funciona e algo que outras pessoas possam usar por muito tempo. O que os usuários comuns querem é simples: abrir e usar, sem ter que ficar pensando se o ponto de acesso ao qual estão conectados é seguro.
👉 https://hub.acurast.com/rebellion?ref=apksoh
Foi justamente nisso que reparei ao ver o tutorial de LLM da @Acurast. O guia oficial mostra como executar modelos GGUF em um Processor de celular, usando o llama server integrado para fazer inferências e oferecer uma API compatível com OpenAI. Aplicativos que já usam esse tipo de API podem, com alguns ajustes na configuração, conectar-se diretamente a um modelo no celular.
O interessante é que, para permitir o acesso externo ao modelo, o tutorial usa o localtunnel. O próprio guia oficial alerta que esse exemplo não é seguro e não deve ser usado diretamente em produção. O modelo está rodando e a API pode ser chamada, mas a segurança ainda está só no começo. Esse aviso é bastante pertinente.
Depois descobri que #Acurast também tem um guia separado sobre Tunnel, que usa um túnel reverso para permitir o acesso externo a serviços no celular, oferece suporte a HTTPS e permite verificar um domínio próprio. É uma solução diferente do localtunnel usado no tutorial anterior. Mesmo com HTTPS, ainda é preciso verificar item por item a autenticação e as permissões de acesso do próprio aplicativo.
Gosto bastante de como o guia oficial fala abertamente dessas limitações. Já é muito interessante poder executar modelos de IA no celular, mas ainda há muitos detalhes a resolver entre um exemplo que funciona e algo que outras pessoas possam usar por muito tempo. O que os usuários comuns querem é simples: abrir e usar, sem ter que ficar pensando se o ponto de acesso ao qual estão conectados é seguro.
👉 https://hub.acurast.com/rebellion?ref=apksoh