За адресом, который вы вводите в инструмент ИИ, может стоять обычный телефон
В примере NodeGhost от @Acurast телефон запускает квантованную версию Qwen2.5-3B, а через шлюз предоставляет API, совместимый с форматом OpenAI. Модель выполняет инференс на телефоне, а пример можно развернуть в сети Canary.
Мне интересно, что разработчики могут пользоваться привычным способом вызова.
Инструменты, поддерживающие такие интерфейсы и позволяющие указать собственный адрес, можно попробовать подключить, изменив настройки. Например, уже готовый скрипт для составления кратких пересказов может сохранить прежнюю логику вызова, а для тестового запуска использовать другой бэкенд.
Удобство подключения во многом влияет на то, захочу ли я продолжать разбираться. Если на отправку первого запроса уходит полдня, даже самая удачная демонстрация может заставить закрыть страницу.
Производительность нужно оценивать без прикрас. Согласно официальному примеру, модель генерирует около 3 токенов в секунду, а ответа длиной примерно 120 токенов приходится ждать 45 секунд; при многошаговом инференсе тоже возникают ошибки. Такая скорость скорее подходит для фоновых задач, результат которых не нужен срочно.
Если бы мне пришлось 45 секунд ждать, глядя на окно чата, я бы занервничал.
Для первого теста я бы выбрал низкочастотную задачу по созданию коротких пересказов. Зафиксировал бы время ожидания и выборочно проверил, не упущена ли важная информация. После подключения интерфейса именно такие детали решают, останется ли он в моём рабочем процессе.
Реферальный код: kr7h9k
#Acurast #DePIN #AI
В примере NodeGhost от @Acurast телефон запускает квантованную версию Qwen2.5-3B, а через шлюз предоставляет API, совместимый с форматом OpenAI. Модель выполняет инференс на телефоне, а пример можно развернуть в сети Canary.
Мне интересно, что разработчики могут пользоваться привычным способом вызова.
Инструменты, поддерживающие такие интерфейсы и позволяющие указать собственный адрес, можно попробовать подключить, изменив настройки. Например, уже готовый скрипт для составления кратких пересказов может сохранить прежнюю логику вызова, а для тестового запуска использовать другой бэкенд.
Удобство подключения во многом влияет на то, захочу ли я продолжать разбираться. Если на отправку первого запроса уходит полдня, даже самая удачная демонстрация может заставить закрыть страницу.
Производительность нужно оценивать без прикрас. Согласно официальному примеру, модель генерирует около 3 токенов в секунду, а ответа длиной примерно 120 токенов приходится ждать 45 секунд; при многошаговом инференсе тоже возникают ошибки. Такая скорость скорее подходит для фоновых задач, результат которых не нужен срочно.
Если бы мне пришлось 45 секунд ждать, глядя на окно чата, я бы занервничал.
Для первого теста я бы выбрал низкочастотную задачу по созданию коротких пересказов. Зафиксировал бы время ожидания и выборочно проверил, не упущена ли важная информация. После подключения интерфейса именно такие детали решают, останется ли он в моём рабочем процессе.
Реферальный код: kr7h9k
#Acurast #DePIN #AI