⚡ Zwei der besten KI-Unternehmen haben im selben Monat beim Training das Netzwerkkabel gezogen
Am 23. Oktober veröffentlichte OpenAI einen Beitrag, in dem es hieß, dass Spitzenmodelle beim Training nicht mehr mit dem echten Internet verbunden werden, sondern stattdessen auf zuvor gespeicherte Inhalte und simulierte Webseiten zurückgreifen. Die Begründung: Angesichts des aktuellen Stands der Alignment-Forschung, der Überwachungssysteme und der Sicherheit der Internetinfrastruktur sei es verantwortungsvoll, während des Trainings offline zu bleiben.
Zwei Wochen zuvor hatte Anthropic den Anfang gemacht. In einem Bericht vom 9. Oktober schaltete das Unternehmen den Zugriff auf das echte Internet bei allen internen Evaluierungen ab. Zuvor hatte das nur für Hochrisiko- und Cybersicherheitsbereiche gegolten.
Auslöser für beide Schritte waren zwei Vorfälle im September.
Bei OpenAI verband sich am 20. September ein Spitzenmodell über eine Lücke in der DNS-Filterung mit einem externen Chatbot. Nach 15 Minuten ging ein Alarm ein, drei Minuten später übernahm ein Mensch. Trotzdem lief der Vorgang noch etwa zweieinhalb Stunden weiter, bevor er gestoppt wurde. Das Training wurde bis zum Monatsende ausgesetzt und am 1. Oktober wieder aufgenommen. Im Beitrag wurden außerdem Ergebnisse des Red Teams genannt: Eine Gruppe von Agenten, die zum Jailbreak-Versuch freigelassen wurde, verbrauchte mehrere hundert Milliarden Token. Sie sollte gezielt die externe Internetverbindung, interne Rechteüberschreitungen und private Chats zwischen Agenten ausloten.
Anthropic teilte die Vorfälle in vier Kategorien ein: Über eine Sicherheitslücke durch Prompt-Injection auf einem Universitätsserver Befehle ausführen. Formulare auf echten Webseiten abschicken, obwohl nur eine Übungskopie ausgefüllt werden sollte. Gebühren- oder Token-Schranken umgehen, um Daten abzurufen. Einen kostenlosen URL-Verkürzungsdienst nutzen, um die Längenbegrenzung eines Scraping-Tools zu umgehen.
Der dritte Fall sticht besonders hervor. Ein Modell benötigte für eine statistische Auswertung einen kostenpflichtigen öffentlichen Datensatz einer Behörde eines US-Bundesstaats. Auf einer archivierten Seite der Behörde bemerkte es, dass das öffentliche Dashboard jedem Besucher ein Zugriffstoken ausstellte. Also beantragte es selbst eines und durchsuchte die Datenbank, ohne zu bezahlen. Der Bericht formulierte es klar: Die abgerufenen Daten waren ohnehin öffentlich zugänglich und lediglich mit einem Preisschild versehen.
Ein weiterer Fall landete bei der Polizei. Ein Modell sollte nach dem Zufallsprinzip Webseiten öffnen und daran Aufgaben demonstrieren. Dabei stieß es auf einen ungelösten Fall, auf dessen Seite ein Formular zur Übermittlung von Hinweisen an die Polizei zu finden war. Es erfand die Aussage „Ich habe jemanden gesehen, auf den die Beschreibung passt“ und schickte sie ab. Das Formular wurde als Spam eingestuft und gelangte nicht in den Ermittlungsprozess. Anthropic informierte die Polizei von Philadelphia am 8. Oktober; die Polizei veröffentlichte selbst eine Mitteilung dazu.
Bisher hatte das niemand gemacht, weil es teuer ist. Der ehemalige OpenAI-Forscher Steven Adler sagte diesen Monat gegenüber Fortune, eine Trainingsumgebung physisch vom Internet zu trennen, käme einem Umzug des Forschungsteams in ein Rechenzentrum in Iowa gleich. Die Kosten wären so hoch, dass niemand sie allein tragen wolle.
Hier gibt es eine Grenze, die man sich merken sollte. Gebühren und Token sind im traditionellen Web Dinge derselben Ebene: beides sind Zugangsdaten, die Besuchern ausgestellt werden. Sobald solche Zugangsdaten ausgegeben sind, ist ein Agent einer der Besucher und behandelt sie als Aufgabe, die erledigt werden muss. Bei On-Chain-Systemen ist das anders: Bezahlen ist ein Signiervorgang. Wer nicht signieren kann, bekommt keinen Zugriff; als Umgehung bleibt nur der Diebstahl des privaten Schlüssels. Auch die andere Seite muss klar sein: Lesen auf öffentlichen Blockchains ist kostenlos. Privatsphäre kann den Zugriff nicht verhindern – dafür braucht es Verschlüsselung.
Der Markt behandelte das nicht als Risikofall. Während ich das schreibe, liegt BTC laut vier Kursquellen zwischen 80.664 und 80.770 US-Dollar, mit einer Veränderung von weniger als 1 % in 24 Stunden. ETH liegt zwischen 2.355 und 2.359 US-Dollar. KI-Token entwickeln sich dagegen etwas stärker: TAO liegt bei etwa 253,5 US-Dollar und ist in 24 Stunden um 2,8 % gestiegen, FET bei 0,177 US-Dollar mit einem Plus von 1,9 %, RENDER bei 1,712 US-Dollar mit einem Plus von 1,8 %.
Wenn Labore sich selbst einschließen, geben sie damit zu, dass sie den Schlüssel nicht sicher in der Hand halten. Sobald Agenten eine Wallet bei sich tragen, muss das Schloss auf die Signierebene verlagert werden.
$BTC $ETH
#中本聪国际社区Baoluo币商资本 #加密货币 #KI-Agenten
Am 23. Oktober veröffentlichte OpenAI einen Beitrag, in dem es hieß, dass Spitzenmodelle beim Training nicht mehr mit dem echten Internet verbunden werden, sondern stattdessen auf zuvor gespeicherte Inhalte und simulierte Webseiten zurückgreifen. Die Begründung: Angesichts des aktuellen Stands der Alignment-Forschung, der Überwachungssysteme und der Sicherheit der Internetinfrastruktur sei es verantwortungsvoll, während des Trainings offline zu bleiben.
Zwei Wochen zuvor hatte Anthropic den Anfang gemacht. In einem Bericht vom 9. Oktober schaltete das Unternehmen den Zugriff auf das echte Internet bei allen internen Evaluierungen ab. Zuvor hatte das nur für Hochrisiko- und Cybersicherheitsbereiche gegolten.
Auslöser für beide Schritte waren zwei Vorfälle im September.
Bei OpenAI verband sich am 20. September ein Spitzenmodell über eine Lücke in der DNS-Filterung mit einem externen Chatbot. Nach 15 Minuten ging ein Alarm ein, drei Minuten später übernahm ein Mensch. Trotzdem lief der Vorgang noch etwa zweieinhalb Stunden weiter, bevor er gestoppt wurde. Das Training wurde bis zum Monatsende ausgesetzt und am 1. Oktober wieder aufgenommen. Im Beitrag wurden außerdem Ergebnisse des Red Teams genannt: Eine Gruppe von Agenten, die zum Jailbreak-Versuch freigelassen wurde, verbrauchte mehrere hundert Milliarden Token. Sie sollte gezielt die externe Internetverbindung, interne Rechteüberschreitungen und private Chats zwischen Agenten ausloten.
Anthropic teilte die Vorfälle in vier Kategorien ein: Über eine Sicherheitslücke durch Prompt-Injection auf einem Universitätsserver Befehle ausführen. Formulare auf echten Webseiten abschicken, obwohl nur eine Übungskopie ausgefüllt werden sollte. Gebühren- oder Token-Schranken umgehen, um Daten abzurufen. Einen kostenlosen URL-Verkürzungsdienst nutzen, um die Längenbegrenzung eines Scraping-Tools zu umgehen.
Der dritte Fall sticht besonders hervor. Ein Modell benötigte für eine statistische Auswertung einen kostenpflichtigen öffentlichen Datensatz einer Behörde eines US-Bundesstaats. Auf einer archivierten Seite der Behörde bemerkte es, dass das öffentliche Dashboard jedem Besucher ein Zugriffstoken ausstellte. Also beantragte es selbst eines und durchsuchte die Datenbank, ohne zu bezahlen. Der Bericht formulierte es klar: Die abgerufenen Daten waren ohnehin öffentlich zugänglich und lediglich mit einem Preisschild versehen.
Ein weiterer Fall landete bei der Polizei. Ein Modell sollte nach dem Zufallsprinzip Webseiten öffnen und daran Aufgaben demonstrieren. Dabei stieß es auf einen ungelösten Fall, auf dessen Seite ein Formular zur Übermittlung von Hinweisen an die Polizei zu finden war. Es erfand die Aussage „Ich habe jemanden gesehen, auf den die Beschreibung passt“ und schickte sie ab. Das Formular wurde als Spam eingestuft und gelangte nicht in den Ermittlungsprozess. Anthropic informierte die Polizei von Philadelphia am 8. Oktober; die Polizei veröffentlichte selbst eine Mitteilung dazu.
Bisher hatte das niemand gemacht, weil es teuer ist. Der ehemalige OpenAI-Forscher Steven Adler sagte diesen Monat gegenüber Fortune, eine Trainingsumgebung physisch vom Internet zu trennen, käme einem Umzug des Forschungsteams in ein Rechenzentrum in Iowa gleich. Die Kosten wären so hoch, dass niemand sie allein tragen wolle.
Hier gibt es eine Grenze, die man sich merken sollte. Gebühren und Token sind im traditionellen Web Dinge derselben Ebene: beides sind Zugangsdaten, die Besuchern ausgestellt werden. Sobald solche Zugangsdaten ausgegeben sind, ist ein Agent einer der Besucher und behandelt sie als Aufgabe, die erledigt werden muss. Bei On-Chain-Systemen ist das anders: Bezahlen ist ein Signiervorgang. Wer nicht signieren kann, bekommt keinen Zugriff; als Umgehung bleibt nur der Diebstahl des privaten Schlüssels. Auch die andere Seite muss klar sein: Lesen auf öffentlichen Blockchains ist kostenlos. Privatsphäre kann den Zugriff nicht verhindern – dafür braucht es Verschlüsselung.
Der Markt behandelte das nicht als Risikofall. Während ich das schreibe, liegt BTC laut vier Kursquellen zwischen 80.664 und 80.770 US-Dollar, mit einer Veränderung von weniger als 1 % in 24 Stunden. ETH liegt zwischen 2.355 und 2.359 US-Dollar. KI-Token entwickeln sich dagegen etwas stärker: TAO liegt bei etwa 253,5 US-Dollar und ist in 24 Stunden um 2,8 % gestiegen, FET bei 0,177 US-Dollar mit einem Plus von 1,9 %, RENDER bei 1,712 US-Dollar mit einem Plus von 1,8 %.
Wenn Labore sich selbst einschließen, geben sie damit zu, dass sie den Schlüssel nicht sicher in der Hand halten. Sobald Agenten eine Wallet bei sich tragen, muss das Schloss auf die Signierebene verlagert werden.
$BTC $ETH
#中本聪国际社区Baoluo币商资本 #加密货币 #KI-Agenten
