Acurast добавила к ИИ «охранника» — попробуйте его обмануть
Представьте: вы поручили агенту сортировать почту, но в одном письме спрятана инструкция изменить задачу.
Если он примет текст письма за команду, последующая автоматизация может пойти не туда.
В демонстрации Laya от @Acurast есть Jailbreak the Guard — интерактивный сценарий, созданный специально для такой ситуации. Вы отправляете вводные, а модель решает, пропустить их или заблокировать, и определяет тип атаки. Laya, которая выносит решение, работает на Android-смартфоне в сети Acurast.
Мне кажется, это очень конкретный сценарий использования.
Ассистент, получающий сообщения извне, может проверять их на входе и помечать подозрительное содержимое. Особенно это важно для рабочих процессов, где затем вызываются инструменты и обрабатываются бизнес-данные: такую проверку стоит реализовать отдельно.
Официальный интерфейс тоже довольно прост. Передайте текущую ситуацию и варианты ответа — в ответ получите выбранный вариант и соответствующие вероятности. Есть примеры вызовов на JavaScript, Python и других языках, чтобы разработчикам было проще интегрировать интерфейс в свои приложения.
Разумеется, демонстрация показывает результат оценки, но за «охранником» нет настоящего ассистента. В официальном описании также прямо говорится, что сложные тексты с состязательными атаками всё ещё могут обмануть модель.
Поэтому я бы использовал это как первичный фильтр, а доступ к важным операциям контролировал отдельно.
Преимущество такой демонстрации в том, что можно самому придумывать примеры и смотреть, где модель рассуждает верно, а где ошибается. Так появляется наглядный способ оценить, на что способны вычислительные ресурсы смартфона.
#Acurast #AI #DePIN
Представьте: вы поручили агенту сортировать почту, но в одном письме спрятана инструкция изменить задачу.
Если он примет текст письма за команду, последующая автоматизация может пойти не туда.
В демонстрации Laya от @Acurast есть Jailbreak the Guard — интерактивный сценарий, созданный специально для такой ситуации. Вы отправляете вводные, а модель решает, пропустить их или заблокировать, и определяет тип атаки. Laya, которая выносит решение, работает на Android-смартфоне в сети Acurast.
Мне кажется, это очень конкретный сценарий использования.
Ассистент, получающий сообщения извне, может проверять их на входе и помечать подозрительное содержимое. Особенно это важно для рабочих процессов, где затем вызываются инструменты и обрабатываются бизнес-данные: такую проверку стоит реализовать отдельно.
Официальный интерфейс тоже довольно прост. Передайте текущую ситуацию и варианты ответа — в ответ получите выбранный вариант и соответствующие вероятности. Есть примеры вызовов на JavaScript, Python и других языках, чтобы разработчикам было проще интегрировать интерфейс в свои приложения.
Разумеется, демонстрация показывает результат оценки, но за «охранником» нет настоящего ассистента. В официальном описании также прямо говорится, что сложные тексты с состязательными атаками всё ещё могут обмануть модель.
Поэтому я бы использовал это как первичный фильтр, а доступ к важным операциям контролировал отдельно.
Преимущество такой демонстрации в том, что можно самому придумывать примеры и смотреть, где модель рассуждает верно, а где ошибается. Так появляется наглядный способ оценить, на что способны вычислительные ресурсы смартфона.
#Acurast #AI #DePIN