Когда многие слышат об ИИ, первое, что приходит им в голову, — GPU, облачные серверы и огромные центры обработки данных📖.
И это заставило меня задуматься:
Если речь о сравнительно простых задачах вроде сортировки писем или модерации контента, действительно ли каждый раз нужно обращаться к мощным серверам?
Недавно мне попалась демонстрация Laya AI от @Acurast, и я заметил интересную возможность: старые телефоны могут не только предоставлять вычислительные мощности через сеть Acurast, но и напрямую использовать их для запуска моделей ИИ!
Это значит, что ценность телефона, возможно, не ограничивается ролью узла сети: он может также выполнять реальные задачи ИИ.
Laya — это модель ИИ с открытым исходным кодом. Для неё уже доступно несколько онлайн-демонстраций с разными сценариями принятия решений:
➣ Змейка: определение следующего действия в зависимости от состояния игры.
➣ Сортировка писем: определение того, следует ли поместить письмо во входящие, спам или фишинговые письма.
➣ Модерация чатов: выявление спама, мошеннического контента и недопустимых высказываний.
➣ Проверка безопасности промптов: определение того, содержит ли ввод попытку обойти правила безопасности ИИ.
У всех этих демонстраций есть одна общая черта: ИИ не обязательно каждый раз должен генерировать большой текст — он может оценить ситуацию и выбрать один из предложенных вариантов.
Согласно официальной информации, Laya может запускаться непосредственно на Android-телефонах в сети Acurast и выполнять инференс с помощью CPU. На достаточно производительных устройствах одно решение занимает около 0,2 секунды.
И это заставило меня задуматься: действительно ли для выполнения задач ИИ нужны мощные серверы?
Для сложных моделей ИИ по-прежнему необходимо большое количество GPU. Но для таких задач, как сортировка спама, модерация контента и простые проверки безопасности, не всегда нужно каждый раз обращаться к большой модели.
Если такие задачи можно распределить между разными телефонами, неиспользуемые устройства смогут стать частью реальных приложений, а не просто узлами сети.
Конечно, это не значит, что телефоны уже могут заменить традиционные серверы.
Официальная команда также отмечает ограничения Laya: тест сортировки писем не всегда даёт верный результат, сложные или состязательные вводные всё ещё могут привести к ошибкам модели, а объём задач, который может обработать один телефон, ограничен.
Поэтому меня интересует не столько эффектный вопрос «может ли телефон запускать ИИ», сколько вот что:
Смогут ли разработчики использовать распределённые устройства для выполнения по-настоящему полезных задач, когда те начнут участвовать в вычислениях?
Для #Acurast это может быть важнее в долгосрочной перспективе, чем простое увеличение количества узлов.
Если тоже хотите посмотреть, как это работает, попробуйте официальную онлайн-демонстрацию Laya👇:
laya.acurast.com
