Acurast hat der KI einen „Türsteher“ verpasst – du kannst versuchen, ihn auszutricksen
Angenommen, du lässt einen Agenten deine E-Mails sortieren. In einer davon steckt jedoch eine Anweisung, die ihn dazu auffordert, seine Aufgabe zu ändern.
Wenn er den E-Mail-Text als Befehl behandelt, kann die anschließende Automatisierung aus dem Ruder laufen.
In der Laya-Demo von @Acurast gibt es „Jailbreak the Guard“ – ein interaktives Szenario, das genau das veranschaulicht. Du gibst eine Eingabe ein, und das Modell entscheidet, ob es sie durchlässt oder blockiert und welcher Art von Angriff sie ähnelt. Laya, die diese Entscheidung trifft, läuft auf einem Android-Smartphone im Acurast-Netzwerk.
Ich finde, das ist ein sehr konkreter Anwendungsfall.
Ein Assistent, der externe Nachrichten empfängt, kann am Eingang eine zusätzliche Prüfrunde einbauen und verdächtige Inhalte zunächst markieren. Besonders bei Workflows, die anschließend Tools aufrufen oder Geschäftsdaten verarbeiten, lohnt es sich, diesen Schritt gezielt abzusichern.
Auch die offizielle Schnittstelle ist recht unkompliziert. Man übermittelt den aktuellen Kontext und die möglichen Optionen und erhält die Auswahl samt zugehörigen Wahrscheinlichkeiten zurück. Außerdem gibt es Beispiele für Aufrufe in JavaScript, Python und anderen Sprachen, damit Entwickler die Schnittstelle in ihre eigenen Anwendungen integrieren können.
Natürlich zeigt die Demo nur das Ergebnis der Einschätzung – hinter dem Tor wartet kein echter Assistent. Der Anbieter weist außerdem ausdrücklich darauf hin, dass komplexe adversariale Texte das Modell weiterhin täuschen können.
Deshalb würde ich das Ganze als erste Prüfstufe betrachten und die Berechtigungen für wichtige Aktionen separat kontrollieren.
Das Gute an solchen Demos ist, dass du eigene Beispiele ausprobieren und sehen kannst, wo das Modell richtig liegt und was es übersieht. So bekommt man auch einen konkreten Eindruck davon, wozu die Rechenleistung eines Smartphones in der Lage ist.
#Acurast #AI #DePIN
Angenommen, du lässt einen Agenten deine E-Mails sortieren. In einer davon steckt jedoch eine Anweisung, die ihn dazu auffordert, seine Aufgabe zu ändern.
Wenn er den E-Mail-Text als Befehl behandelt, kann die anschließende Automatisierung aus dem Ruder laufen.
In der Laya-Demo von @Acurast gibt es „Jailbreak the Guard“ – ein interaktives Szenario, das genau das veranschaulicht. Du gibst eine Eingabe ein, und das Modell entscheidet, ob es sie durchlässt oder blockiert und welcher Art von Angriff sie ähnelt. Laya, die diese Entscheidung trifft, läuft auf einem Android-Smartphone im Acurast-Netzwerk.
Ich finde, das ist ein sehr konkreter Anwendungsfall.
Ein Assistent, der externe Nachrichten empfängt, kann am Eingang eine zusätzliche Prüfrunde einbauen und verdächtige Inhalte zunächst markieren. Besonders bei Workflows, die anschließend Tools aufrufen oder Geschäftsdaten verarbeiten, lohnt es sich, diesen Schritt gezielt abzusichern.
Auch die offizielle Schnittstelle ist recht unkompliziert. Man übermittelt den aktuellen Kontext und die möglichen Optionen und erhält die Auswahl samt zugehörigen Wahrscheinlichkeiten zurück. Außerdem gibt es Beispiele für Aufrufe in JavaScript, Python und anderen Sprachen, damit Entwickler die Schnittstelle in ihre eigenen Anwendungen integrieren können.
Natürlich zeigt die Demo nur das Ergebnis der Einschätzung – hinter dem Tor wartet kein echter Assistent. Der Anbieter weist außerdem ausdrücklich darauf hin, dass komplexe adversariale Texte das Modell weiterhin täuschen können.
Deshalb würde ich das Ganze als erste Prüfstufe betrachten und die Berechtigungen für wichtige Aktionen separat kontrollieren.
Das Gute an solchen Demos ist, dass du eigene Beispiele ausprobieren und sehen kannst, wo das Modell richtig liegt und was es übersieht. So bekommt man auch einen konkreten Eindruck davon, wozu die Rechenleistung eines Smartphones in der Lage ist.
#Acurast #AI #DePIN