Quand je vois un petit outil d’IA répondre correctement à des questions, ma première réaction, c’est : « Alors, on peut l’utiliser, non ? » Mais dès qu’il s’agit de l’ouvrir à d’autres personnes, c’est une autre histoire. Il faut réévaluer la fiabilité de la connexion et la sécurité du point d’accès.
En regardant le tutoriel LLM de @Acurast cette fois-ci, j’ai justement remarqué ce problème. Le guide officiel explique comment faire tourner des modèles GGUF sur un Processor mobile. Il utilise le serveur llama intégré pour l’inférence et peut également fournir une API compatible avec OpenAI. Les applications qui utilisent déjà ce type d’interface peuvent, en modifiant quelques paramètres, se connecter directement à un modèle exécuté sur un téléphone.
Ce qui est intéressant, c’est que le tutoriel utilise localtunnel pour rendre le modèle accessible depuis l’extérieur. Le guide officiel précise lui-même que cet exemple n’est pas sécurisé et qu’il ne faut pas le déployer tel quel. Le modèle fonctionne, l’API répond, mais la sécurité n’en est qu’à ses débuts. C’est une mise en garde très concrète.
J’ai ensuite découvert que #Acurast avait également un guide consacré à Tunnel : il permet d’accéder de l’extérieur aux services hébergés sur un téléphone grâce à un tunnel inversé, prend en charge HTTPS et permet de vérifier son propre nom de domaine. C’est une solution différente du localtunnel présenté dans l’ancien tutoriel. Et même avec HTTPS, il faut encore vérifier point par point l’authentification et les autorisations d’accès de l’application.
J’apprécie que le guide officiel expose directement ces limites. Faire tourner des modèles d’IA sur un téléphone, c’est déjà très intéressant, mais entre un exemple qui fonctionne et un service que d’autres peuvent utiliser durablement, il reste pas mal de détails à régler. Les utilisateurs ordinaires veulent simplement ouvrir l’application et s’en servir, sans avoir à se demander si le point d’accès auquel ils sont connectés est sécurisé.
👉 https://hub.acurast.com/rebellion?ref=apksoh
En regardant le tutoriel LLM de @Acurast cette fois-ci, j’ai justement remarqué ce problème. Le guide officiel explique comment faire tourner des modèles GGUF sur un Processor mobile. Il utilise le serveur llama intégré pour l’inférence et peut également fournir une API compatible avec OpenAI. Les applications qui utilisent déjà ce type d’interface peuvent, en modifiant quelques paramètres, se connecter directement à un modèle exécuté sur un téléphone.
Ce qui est intéressant, c’est que le tutoriel utilise localtunnel pour rendre le modèle accessible depuis l’extérieur. Le guide officiel précise lui-même que cet exemple n’est pas sécurisé et qu’il ne faut pas le déployer tel quel. Le modèle fonctionne, l’API répond, mais la sécurité n’en est qu’à ses débuts. C’est une mise en garde très concrète.
J’ai ensuite découvert que #Acurast avait également un guide consacré à Tunnel : il permet d’accéder de l’extérieur aux services hébergés sur un téléphone grâce à un tunnel inversé, prend en charge HTTPS et permet de vérifier son propre nom de domaine. C’est une solution différente du localtunnel présenté dans l’ancien tutoriel. Et même avec HTTPS, il faut encore vérifier point par point l’authentification et les autorisations d’accès de l’application.
J’apprécie que le guide officiel expose directement ces limites. Faire tourner des modèles d’IA sur un téléphone, c’est déjà très intéressant, mais entre un exemple qui fonctionne et un service que d’autres peuvent utiliser durablement, il reste pas mal de détails à régler. Les utilisateurs ordinaires veulent simplement ouvrir l’application et s’en servir, sans avoir à se demander si le point d’accès auquel ils sont connectés est sécurisé.
👉 https://hub.acurast.com/rebellion?ref=apksoh