Недавно изучал технический кейс NodeGhost от @Acurast и наткнулся на довольно интересный результат тестирования.
На одном смартфоне запустили квантованную модель Qwen2.5-3B. Скорость генерации составила около 3 токенов в секунду.
На ответ на вопрос длиной примерно 120 токенов уходит около 45 секунд.
На фоне современных больших языковых моделей это, конечно, довольно медленно.
Но внимание привлекла другая часть этого кейса.
С помощью Acurast Tunnel модель, которая изначально работала локально на смартфоне и не имела публичного IP-адреса, может предоставлять HTTPS-интерфейс.
А благодаря совместимому с OpenAI API интерфейсу NodeGhost разработчикам почти не нужно менять привычный способ вызова: запросы можно отправлять на выполнение прямо на смартфон.
Таким образом, смартфон перестаёт быть просто Processor в сети, пассивно ожидающим назначения задач, и может предоставлять стандартизированный сервис ИИ-инференса.
Разумеется, сейчас это лишь демонстрационная реализация в сети Canary: скорость и возможности обработки сложных запросов заметно ограничены.
Но, на мой взгляд, она уже даёт ответ на вполне практический вопрос:
Если разработчик хочет развернуть свою модель на распределённой сети смартфонов, смогут ли существующие приложения легко с ней взаимодействовать?
По крайней мере, для этого технического подхода уже есть работающий пример.
Чтобы оценить коммерческий потенциал, ещё предстоит проверить задержки, параллельную нагрузку, стоимость и долгосрочную стабильность.
$ACU в Acurast отвечает за подключение к сети и стимулирование предоставления вычислительных ресурсов. Но удастся ли привлечь платёжеспособный спрос, зависит от того, смогут ли эти приложения конкурировать на практике.
На одном смартфоне запустили квантованную модель Qwen2.5-3B. Скорость генерации составила около 3 токенов в секунду.
На ответ на вопрос длиной примерно 120 токенов уходит около 45 секунд.
На фоне современных больших языковых моделей это, конечно, довольно медленно.
Но внимание привлекла другая часть этого кейса.
С помощью Acurast Tunnel модель, которая изначально работала локально на смартфоне и не имела публичного IP-адреса, может предоставлять HTTPS-интерфейс.
А благодаря совместимому с OpenAI API интерфейсу NodeGhost разработчикам почти не нужно менять привычный способ вызова: запросы можно отправлять на выполнение прямо на смартфон.
Таким образом, смартфон перестаёт быть просто Processor в сети, пассивно ожидающим назначения задач, и может предоставлять стандартизированный сервис ИИ-инференса.
Разумеется, сейчас это лишь демонстрационная реализация в сети Canary: скорость и возможности обработки сложных запросов заметно ограничены.
Но, на мой взгляд, она уже даёт ответ на вполне практический вопрос:
Если разработчик хочет развернуть свою модель на распределённой сети смартфонов, смогут ли существующие приложения легко с ней взаимодействовать?
По крайней мере, для этого технического подхода уже есть работающий пример.
Чтобы оценить коммерческий потенциал, ещё предстоит проверить задержки, параллельную нагрузку, стоимость и долгосрочную стабильность.
$ACU в Acurast отвечает за подключение к сети и стимулирование предоставления вычислительных ресурсов. Но удастся ли привлечь платёжеспособный спрос, зависит от того, смогут ли эти приложения конкурировать на практике.
