O endereço que você informa em uma ferramenta de IA pode, por trás, ser um celular
No exemplo de referência NodeGhost da @Acurast, um celular executa uma versão quantizada do Qwen2.5-3B e, por meio de um gateway, fornece uma API compatível com o formato OpenAI. A inferência é feita no celular, e o exemplo pode ser implantado na rede Canary.
O que me interessa é que os desenvolvedores podem continuar usando o modo de chamada com o qual já estão familiarizados.
Ferramentas compatíveis com esse tipo de interface e que permitem personalizar o endereço podem ser testadas após alguns ajustes na configuração. Por exemplo, um script de resumo já pronto pode manter a lógica original de chamada e experimentar um backend diferente.
A facilidade de integração influencia muito minha vontade de continuar explorando. Se só para enviar a primeira solicitação já for preciso passar um tempão configurando tudo, até uma demonstração excelente pode fazer a pessoa fechar a página.
É preciso analisar o desempenho com clareza. O exemplo oficial gera cerca de 3 tokens por segundo; uma resposta de aproximadamente 120 tokens leva 45 segundos, e o raciocínio em várias etapas também pode falhar. Essa velocidade é mais adequada para tarefas em segundo plano que não exigem resultados imediatos.
Ficar olhando para a janela de chat por 45 segundos me deixaria impaciente.
Se eu tivesse que escolher uma primeira tarefa para testar, conectaria uma tarefa de resumo curto e pouco frequente. Registraria o tempo de espera e verificaria por amostragem se alguma informação importante ficou de fora. Só depois que a conexão com a API estiver funcionando é que esses detalhes vão determinar se ela pode fazer parte do meu fluxo de trabalho.
Código de indicação: kr7h9k
#Acurast #DePIN #AI
No exemplo de referência NodeGhost da @Acurast, um celular executa uma versão quantizada do Qwen2.5-3B e, por meio de um gateway, fornece uma API compatível com o formato OpenAI. A inferência é feita no celular, e o exemplo pode ser implantado na rede Canary.
O que me interessa é que os desenvolvedores podem continuar usando o modo de chamada com o qual já estão familiarizados.
Ferramentas compatíveis com esse tipo de interface e que permitem personalizar o endereço podem ser testadas após alguns ajustes na configuração. Por exemplo, um script de resumo já pronto pode manter a lógica original de chamada e experimentar um backend diferente.
A facilidade de integração influencia muito minha vontade de continuar explorando. Se só para enviar a primeira solicitação já for preciso passar um tempão configurando tudo, até uma demonstração excelente pode fazer a pessoa fechar a página.
É preciso analisar o desempenho com clareza. O exemplo oficial gera cerca de 3 tokens por segundo; uma resposta de aproximadamente 120 tokens leva 45 segundos, e o raciocínio em várias etapas também pode falhar. Essa velocidade é mais adequada para tarefas em segundo plano que não exigem resultados imediatos.
Ficar olhando para a janela de chat por 45 segundos me deixaria impaciente.
Se eu tivesse que escolher uma primeira tarefa para testar, conectaria uma tarefa de resumo curto e pouco frequente. Registraria o tempo de espera e verificaria por amostragem se alguma informação importante ficou de fora. Só depois que a conexão com a API estiver funcionando é que esses detalhes vão determinar se ela pode fazer parte do meu fluxo de trabalho.
Código de indicação: kr7h9k
#Acurast #DePIN #AI