Увидев, что небольшая ИИ-утилита нормально отвечает на вопросы, я первым делом подумал: «Так ведь ей уже можно пользоваться?» Но если действительно открыть к ней доступ другим — это совсем другое дело. Нужно заново всё взвесить: насколько стабильно работает подключение и безопасна ли точка входа.
Об этой проблеме я как раз задумался, когда посмотрел обучающий материал по LLM от @Acurast. Там показано, как запускать модели GGUF на Processor в телефоне: для инференса встроен llama server, а ещё можно предоставлять API, совместимый с OpenAI. Приложения, которые уже используют такие интерфейсы, могут подключить модель на телефоне, просто немного изменив настройки.
Интересно, что в обучающем материале для доступа к модели извне использовали localtunnel. Сами разработчики предупреждают, что этот пример небезопасен и его не стоит просто так запускать в продакшене. Модель уже работает, API вызывается, но безопасность — это только начало. Очень дельное предупреждение.
Позже я обнаружил, что есть отдельное руководство по Tunnel — #Acurast . В нём для доступа извне к сервисам на телефоне используется обратный туннель; поддерживается HTTPS, а также проверка собственного домена. Это другое решение, не то же самое, что localtunnel из старого руководства. Даже при использовании HTTPS всё равно нужно отдельно продумать аутентификацию в самом приложении и права доступа.
Мне нравится, что разработчики прямо говорят об этих ограничениях. Возможность запускать ИИ-модели на телефоне уже сама по себе интересна, но между работающим примером и сервисом, которым другие смогут пользоваться постоянно, ещё немало деталей, которые нужно проработать. Обычным пользователям нужно совсем немного: чтобы всё работало сразу, без необходимости гадать, безопасна ли точка входа.
👉 https://hub.acurast.com/rebellion?ref=apksoh
Об этой проблеме я как раз задумался, когда посмотрел обучающий материал по LLM от @Acurast. Там показано, как запускать модели GGUF на Processor в телефоне: для инференса встроен llama server, а ещё можно предоставлять API, совместимый с OpenAI. Приложения, которые уже используют такие интерфейсы, могут подключить модель на телефоне, просто немного изменив настройки.
Интересно, что в обучающем материале для доступа к модели извне использовали localtunnel. Сами разработчики предупреждают, что этот пример небезопасен и его не стоит просто так запускать в продакшене. Модель уже работает, API вызывается, но безопасность — это только начало. Очень дельное предупреждение.
Позже я обнаружил, что есть отдельное руководство по Tunnel — #Acurast . В нём для доступа извне к сервисам на телефоне используется обратный туннель; поддерживается HTTPS, а также проверка собственного домена. Это другое решение, не то же самое, что localtunnel из старого руководства. Даже при использовании HTTPS всё равно нужно отдельно продумать аутентификацию в самом приложении и права доступа.
Мне нравится, что разработчики прямо говорят об этих ограничениях. Возможность запускать ИИ-модели на телефоне уже сама по себе интересна, но между работающим примером и сервисом, которым другие смогут пользоваться постоянно, ещё немало деталей, которые нужно проработать. Обычным пользователям нужно совсем немного: чтобы всё работало сразу, без необходимости гадать, безопасна ли точка входа.
👉 https://hub.acurast.com/rebellion?ref=apksoh