⚡️ KI-UPDATE: Ein Cybersecurity-Benchmark, der vor einem Jahr noch jedes KI-Modell in die Enge getrieben hat, wurde nun komplett aufgebrochen – und die Auswirkungen gehen in beide Richtungen.
CyberGym testet etwas Spezifisches: Kann ein KI-Agent eine Schwachstellenbeschreibung und einen echten Codebasis-Stand lesen und dann funktionierenden Proof-of-Concept-Code generieren, der den Bug tatsächlich auslöst? Nicht darüber reden, wie Sicherheit funktioniert. Sicherheit machen.
Der Benchmark basiert auf 1.507 realen historischen Schwachstellen aus 188 Softwareprojekten – keine Spielzeugbeispiele, keine vereinfachten Testfälle.
Als Forschende diesen Benchmark zum ersten Mal laufen ließen, schaffte es selbst die beste verfügbare KI- und Agent-Kombination nur etwa 20% der Zeit. Sicherheitsexperten werteten das als Beruhigung: Autonome Ausnutzung lag weiterhin größtenteils außerhalb der Reichweite.
Diese Beruhigung ist weg. Die neuesten spezialisierten Modelle erreichen inzwischen Erfolgsquoten von 80%+ auf demselben Benchmark – ein vierfacher Sprung in ungefähr einem Jahr.
Es wird noch ernster als reines Mustererkennen bekannter Bugs. In offenen Tests mit keinerlei Vorwissen darüber, was kaputt ist, haben genau diese Agent-Setups unabhängig voneinander bestätigte Zero-Day-Schwachstellen entdeckt – Sicherheitslücken, von denen niemand wusste, bis die KI sie fand.
Das ist der unbequeme Teil dieser Grafik. Die exakt gleiche Fähigkeit, mit der ein KI-Agent eines Verteidigers eine Lücke finden und schließen kann, bevor Angreifer an der Reihe sind, ist dieselbe Fähigkeit, mit der ein KI-Agent eines Angreifers diese Lücke zuerst finden kann.
Offense und Defense laufen jetzt auf identischer Infrastruktur gegeneinander.
#AI #Cybersecurity #GPT5 #Claude #DeepSeek
CyberGym testet etwas Spezifisches: Kann ein KI-Agent eine Schwachstellenbeschreibung und einen echten Codebasis-Stand lesen und dann funktionierenden Proof-of-Concept-Code generieren, der den Bug tatsächlich auslöst? Nicht darüber reden, wie Sicherheit funktioniert. Sicherheit machen.
Der Benchmark basiert auf 1.507 realen historischen Schwachstellen aus 188 Softwareprojekten – keine Spielzeugbeispiele, keine vereinfachten Testfälle.
Als Forschende diesen Benchmark zum ersten Mal laufen ließen, schaffte es selbst die beste verfügbare KI- und Agent-Kombination nur etwa 20% der Zeit. Sicherheitsexperten werteten das als Beruhigung: Autonome Ausnutzung lag weiterhin größtenteils außerhalb der Reichweite.
Diese Beruhigung ist weg. Die neuesten spezialisierten Modelle erreichen inzwischen Erfolgsquoten von 80%+ auf demselben Benchmark – ein vierfacher Sprung in ungefähr einem Jahr.
Es wird noch ernster als reines Mustererkennen bekannter Bugs. In offenen Tests mit keinerlei Vorwissen darüber, was kaputt ist, haben genau diese Agent-Setups unabhängig voneinander bestätigte Zero-Day-Schwachstellen entdeckt – Sicherheitslücken, von denen niemand wusste, bis die KI sie fand.
Das ist der unbequeme Teil dieser Grafik. Die exakt gleiche Fähigkeit, mit der ein KI-Agent eines Verteidigers eine Lücke finden und schließen kann, bevor Angreifer an der Reihe sind, ist dieselbe Fähigkeit, mit der ein KI-Agent eines Angreifers diese Lücke zuerst finden kann.
Offense und Defense laufen jetzt auf identischer Infrastruktur gegeneinander.
#AI #Cybersecurity #GPT5 #Claude #DeepSeek