Ein Anbieter behauptet, sein KI-Agent „erledigt 70 % der Aufgaben autonom“.

Diese Zahl klingt eindeutig – bis man fragt, was als Aufgabe gilt, wer sie bewertet hat und was mit den 30 % passiert, bei denen der Agent scheitert.

Benchmarks für KI-Agenten sollen diese Fragen beantworten. Die meisten messen jedoch etwas Engeres als „Zuverlässigkeit im Produktivbetrieb“. Genau die Lücke zwischen einem Ranglistenwert und einem funktionierenden Einsatz führt bei den meisten KI-Projekten in Unternehmen zu Problemen.

Kurz gesagt

  • Benchmarks für KI-Agenten messen meist drei voneinander unabhängige Dinge: die Genauigkeit beim Einsatz von Tools, die durchgängige Erledigung von Aufgaben und mehrstufiges Schlussfolgern unter Unsicherheit. Ein hoher Wert in einem Bereich garantiert keine hohen Werte in den anderen.

  • OpenAI und Anthropic verfolgen unterschiedliche Bewertungsphilosophien: OpenAI setzt auf breite Testsuiten zur Aufgabenerledigung wie GDPval und BrowseComp, während Anthropic neben öffentlichen Benchmarks für Coding und Computernutzung interne Testsuiten für Qualität und Regressionen einsetzt.

  • Selbst die schwierigsten öffentlichen Benchmarks zeigen große Leistungsunterschiede zwischen Spitzenmodellen. Unternehmen sollten daher jede einzelne Benchmark-Zahl als Mindestwert und nicht als Garantie betrachten, bevor sie einen Agenten in realen Arbeitsabläufen einsetzen.

Was ein Agenten-Benchmark tatsächlich bewertet

Ein „Agent“ ist in diesem Zusammenhang ein Modell in einer Schleife, das Tools aufrufen, im Web browsen, Code schreiben und ausführen oder eine Computeroberfläche bedienen und anschließend anhand der Ergebnisse über seine nächste Aktion entscheiden kann.

Ein Benchmark für ein solches System muss mehr als die reine Sprachfähigkeit bewerten. Er muss prüfen, ob der Agent das richtige Tool ausgewählt, es korrekt verwendet und das Ergebnis richtig interpretiert hat – und ob er all das zu einer abschließenden Antwort verknüpft hat, die den Erwartungen menschlicher Bewerter entspricht.

Das ist ein grundlegend anderes Messproblem als bei einem statischen Frage-Antwort-Test. Bei einem herkömmlichen Benchmark für Sprachmodelle erhält das Modell eine Eingabeaufforderung, und seine Ausgabe wird in einem einzigen Durchgang mit einer Referenzantwort verglichen.

Ein Agenten-Benchmark muss den gesamten Ablauf nachverfolgen: jeden Tool-Aufruf und jede Zwischenentscheidung. Außerdem muss sich die Umgebung, mit der der Agent interagiert, konsistent genug verhalten, damit dieselbe Aufgabe bei jedem Durchlauf fair bewertet werden kann.

Eine einzelne Benchmark-Punktzahl vermischt gewöhnlich drei getrennte Fähigkeiten: ob der Agent ein Tool korrekt einsetzen kann, ob er die gesamte Aufgabe von Anfang bis Ende erledigen kann und ob er über viele Schritte hinweg schlussfolgern kann, ohne das Ziel aus den Augen zu verlieren.

GAIA, ein Benchmark, der von einem Forschungsteam von Hugging Face und Meta entwickelt wurde, macht das konkret.

Er umfasst 450 Fragen, die den Einsatz von Tools bei realistischen Assistenzaufgaben erfordern. In der eigenen Dokumentation wird der Benchmark als bewusst konzeptionell einfach für Menschen, aber schwierig für die meisten KI-Systeme beschrieben, denn für eine richtige Antwort sind mehrere Schritte des Schlussfolgerns und des Web-Browsings sowie manchmal die Verarbeitung von Dateien oder Bildern nötig, wie in der veröffentlichten Arbeit zum Design erläutert wird.

Ein System kann bei einem reinen Schlussfolgerungstest glänzen und dennoch an GAIA scheitern, wenn es nicht die richtige Folge von Suchen und Tool-Aufrufen ausführen kann, um die endgültige Antwort zusammenzustellen.

Erfolgsquote beim Werkzeugeinsatz versus Aufgabenerfüllung

Die Erfolgsquote beim Werkzeugeinsatz stellt eine eng gefasste Frage: Wenn der Agent in einem bestimmten Moment eine Suchfunktion aufrufen, Code ausführen oder auf eine Schaltfläche klicken muss – hat er dann das richtige Tool ausgewählt und den Aufruf korrekt formatiert? Das lässt sich isoliert am einfachsten messen, da ein einzelner API-Aufruf mit einem erwarteten Schema abgeglichen und eindeutig als bestanden oder nicht bestanden eingestuft werden kann.

Die Aufgabenerfüllung ist die schwierigere, aber nützlichere Kennzahl, denn sie fragt, ob die gesamte mehrstufige Aufgabe korrekt erledigt wurde – nicht, ob ein einzelner Schritt darin richtig aussah. Ein Agent kann jeden einzelnen Tool-Aufruf korrekt ausführen und trotzdem bei der Gesamtaufgabe scheitern, wenn er den Überblick darüber verliert, was der Nutzer eigentlich wollte, zu früh aufhört oder ein Zwischenergebnis falsch interpretiert.

Deshalb stellt OpenAIs BrowseComp-Benchmark die Suche nach schwer auffindbaren Informationen in den Mittelpunkt – Informationen, für deren Auffinden möglicherweise Dutzende oder sogar Hunderte von Websites durchsucht werden müssen. Das geht aus der eigenen Beschreibung des Benchmarks hervor. Es wird also nicht bloß geprüft, ob der Agent eine gültige Suchanfrage gestellt hat.

Die Unterscheidung zwischen Genauigkeit auf Einzelschrittebene und Erfolg bei der gesamten Aufgabe ist wichtig, weil Anbieter häufig diejenige Zahl nennen, die für das Marketing besser aussieht. Ein Modell kann in einer Vorführung eine hohe Genauigkeit bei Tool-Aufrufen zeigen und gleichzeitig vollständige Arbeitsabläufe deutlich seltener abschließen. Käufer, die nicht nach der verwendeten Kennzahl fragen, überschätzen die Zuverlässigkeit in der Praxis.

  • Erfolgsquote beim Werkzeugeinsatz: Hat der Agent bei einem bestimmten Schritt den richtigen Tool-Aufruf korrekt formatiert und ausgeführt?

  • Aufgabenerfüllungsquote: Wurde die gesamte mehrstufige Aufgabe so abgeschlossen, dass das Ergebnis vom Bewerter als korrekt anerkannt wird?

  • Genauigkeit beim mehrstufigen Schlussfolgern: Hat der Agent über viele Zwischenentscheidungen hinweg an einem korrekten Plan festgehalten, ohne vom Ziel abzukommen?

Wie OpenAI seine agentischen Bewertungen strukturiert

OpenAIs öffentliche Benchmark-Arbeit umfasst mehrere unterschiedliche Bewertungsarten statt einer einzigen übergreifenden Punktzahl.

BrowseComp richtet sich speziell an Browsing-Agenten und testet, ob ein System schwer auffindbare Informationen aufspüren kann, die über viele Seiten verstreut sind. OpenAI veröffentlichte den Benchmark, um zu zeigen, dass ein leistungsfähiger Browsing-Agent Informationen finden sollte, die schwer zu entdecken sind und möglicherweise das Durchsuchen von Dutzenden oder sogar Hunderten von Websites erfordern, erklärte das Unternehmen auf seiner Forschungsseite.

GDPval verfolgt einen ganz anderen Ansatz. Der Benchmark misst die Modellleistung bei wirtschaftlich wertvollen Aufgaben aus der Praxis in 44 Berufsfeldern. OpenAI führte ihn ein, um die Leistung bei Benchmarks mit der Art von Arbeit zu verknüpfen, für die Menschen tatsächlich bezahlt werden, statt mit abstrakten akademischen Problemen.

Das ist für Unternehmenskunden wichtig, denn ein Modell, das bei Rätsel-Benchmarks herausragt, ist nicht automatisch auch für die konkreten beruflichen Aufgaben nützlich, die ein Unternehmen automatisieren möchte. GDPval versucht, diese Lücke zu schließen, indem die Bewertung an realen Berufskategorien ausgerichtet wird.

OpenAI hat auch damit begonnen, Benchmarks zu kritisieren, die das Unternehmen nicht selbst kontrolliert. In einer aktuellen Analyse untersuchte das Unternehmen Probleme bei SWE-Bench Pro, einem weithin genutzten Coding-Benchmark, und äußerte Bedenken hinsichtlich der Zuverlässigkeit und Genauigkeit der Berichterstattung über dessen Ergebnisse, wie das Unternehmen in seiner eigenen Überprüfung feststellte.

Eine solche Selbstkorrektur ist in der Branche ungewöhnlich und signalisiert, dass selbst die Entwickler von Benchmarks erkennen, dass Ergebnisse manipuliert oder falsch interpretiert werden können, wenn die Methodik nicht sorgfältig geprüft wird.

Für Multi-Agenten-Systeme beschreibt OpenAIs Developer Cookbook einen „Macro-Eval“-Ablauf, bei dem das System als Ganzes bewertet wird, statt jeden Sub-Agenten isoliert zu benoten. Die Einbeziehung von Agentenübergaben in eine solche Bewertung hilft dabei, Fehler bei der Weiterleitung aufzudecken, erklärte das Cookbook. Gemeint sind Fehler, bei denen ein Agent eine Aufgabe an den falschen spezialisierten Agenten übergibt oder während der Übergabe den Kontext verliert – ein Fehlermodus, der bei Benchmarks für Einzelagenten unsichtbar bleibt.

GDPval richtet die Bewertung an 44 realen Berufen statt an abstrakten Testfragen aus. Deshalb betrachtet OpenAI den Benchmark als besseren Näherungswert für den wirtschaftlichen Nutzen als die Punktzahl auf einer Rätsel-Bestenliste.

Wie Anthropic Claude als Agent testet

Anthropic verwendet eine andere Bewertungsarchitektur, die sich an den tatsächlich angebotenen Produkten orientiert. Für Claude Code, das Coding-Agent-Harness des Unternehmens, gibt es zwei getrennte Testsuiten: eine zum Leistungsvergleich mit Wettbewerbern und eine weitere ausschließlich für Regressionstests, mit denen erkannt werden soll, wenn eine neue Modellversion etwas beschädigt, das zuvor funktioniert hat. Das erklärte das Unternehmen in seinem technischen Beitrag zur Agentenbewertung.

Die Trennung dieser beiden Zwecke vermeidet eine häufige Falle: Ein für den Vergleich auf Bestenlisten optimierter Benchmark kann unbemerkt interne Regressionen übersehen, die für den Alltag der Nutzer wichtiger sind.

Für Computer-Use-Agenten – also Claudes Fähigkeit, eine Desktop-Oberfläche anhand von Screenshots zu bedienen und Klicks sowie Tastatureingaben auszuführen – gibt es einen eigenen Bewertungsbereich. Das Herzstück der Computernutzung ist die von Anthropic so genannte „Agentenschleife“: Claude fordert Werkzeugaktionen an, die Anwendung führt sie aus und die Ergebnisse werden an das Modell zurückgegeben, wie aus der Dokumentation des Unternehmens hervorgeht.

Ebenfalls lesen: Epoch-AI-Benchmark zeigt: KI gewinnt 90 % der einfachen Slay-the-Spire-Runden, aber nur 20 % der schwierigsten

Bei der Bewertung dieser Schleife muss nicht nur erfasst werden, ob der endgültige Bildschirminhalt korrekt ist, sondern auch, ob sich der Agent nach Fehlklicks oder unerwarteten Pop-ups auf dem Weg dorthin angemessen erholt hat, denn echte Desktop-Umgebungen sind chaotischer als eine saubere API-Antwort.

Ankündigungen neuer Modelle dienen zugleich als informelle Offenlegung von Benchmark-Ergebnissen. Als Anthropic Claude Opus 4.5 vorstellte, berichtete das Unternehmen, dass das Modell in Tests mit Junie, einem Coding-Agenten, bei allen getesteten Benchmarks besser abschnitt als das vorherige Modell Sonnet 4.5 und weniger Schritte benötigte, um dieselben Probleme zu lösen, wie aus den Versionshinweisen des Unternehmens hervorgeht.

Weniger Schritte bis zur gleichen richtigen Antwort sind selbst ein Zuverlässigkeitssignal, denn kürzere Abläufe bedeuten in der Regel weniger Gelegenheiten für den Agenten, vom Kurs abzukommen oder sein Kontextfenster auszuschöpfen.

Spätere Veröffentlichungen bauten auf diesem Ansatz auf. In der Ankündigung von Claude Opus 5.5 erklärte Anthropic, das Modell führe bei den eigenen Benchmarks in den Bereichen agentisches Coding, Computernutzung und Wissensarbeit. Außerdem löse Opus 5.5 in derselben Testsuite mehr Aufgaben als sein Vorgänger Opus 5, berichtete das Unternehmen.

Jede neue Veröffentlichung verbindet die zentrale Leistungsbehauptung mit Vergleichen der Schrittzahl oder Erfolgsquote gegenüber dem unmittelbar vorherigen Modell. Das gibt Käufern zumindest einen relativen Entwicklungstrend, auch wenn es keinen universellen absoluten Benchmark gibt.

Warum schwierige Benchmarks niedrige, ernüchternde Ergebnisse liefern

Benchmarks, die ausdrücklich so konzipiert sind, dass sie sich nicht leicht manipulieren lassen, liefern meist Ergebnisse, die wenig mit den selbstbewussten Marketingversprechen von „70 % Autonomie“ gemein haben, die Unternehmen in Verkaufsgesprächen hören. Der Benchmark Agents’ Last Exam ist ein drastisches Beispiel dafür.

Das leistungsstärkste getestete Modell, Claude Opus 4.8, erzielte bei diesem Test lediglich 13,4 %. Andere Modelle, darunter GPT-5.5, schnitten deutlich schlechter ab, wie die veröffentlichten Ergebnisse der Benchmark-Auswertung zeigen. Ein so niedriger Wert bei einem Benchmark, der ausdrücklich die Grenzen der Agentenfähigkeiten ausloten soll, ist eine nützliche Korrektur der Annahme, ein Agent sei bei offenen, schwierigen Problemen bereits annähernd vollständig autonom.

Benchmarks auf Aufgabenebene, die ein breiteres Spektrum an Anweisungsbefolgung testen, zeigen ein ähnliches Muster, sobald die Aufgaben allgemein genug sind. Ein Benchmark zur Bewertung der Anweisungsbefolgung allgemeiner Agenten auf Aufgabenebene ergab eine Gesamtpunktzahl von 0,645 für den leistungsstärksten getesteten Agenten, ein System namens Manus, wie eine Studie zu dem Benchmark feststellte.

Gemessen an den Wettbewerbern ist das bei diesem spezifischen Test ein starkes Ergebnis. Dennoch bedeutet es, dass mehr als ein Drittel der Aufgaben scheiterte, und unterstreicht, dass „Spitzenplatz auf der Bestenliste“ und „produktionsreif“ nicht dasselbe sind.

Forschende haben auch damit begonnen, direkt zu messen, wie KI-Fähigkeiten mit der Aufgabenlänge skalieren, statt nur mit dem Schwierigkeitsgrad der Aufgabe. Ein viel zitierter Ansatz schlägt eine Kennzahl namens „50-%-Aufgabenabschluss-Zeithorizont“ vor. Sie quantifiziert, wie lange eine Aufgabe – gemessen an der Zeit, die ein Mensch dafür benötigen würde – dauern muss, bevor die Erfolgsquote eines KI-Systems auf 50 % sinkt, wie aus der Studie hervorgeht, in der die Kennzahl eingeführt wurde.

Damit verschiebt sich die Benchmark-Frage von „Kann das System schwierige Rätsel lösen?“ hin zu „Wie viel Spielraum kann man ihm geben, bevor die Zuverlässigkeit einbricht?“ Für alle, die einem Agenten laufende Arbeit statt einer einzelnen Aufgabe übertragen möchten, ist das wohl die nützlichere Frage.

Benchmarks, die sich nur schwer manipulieren lassen, wie Agents’ Last Exam, erzielen regelmäßig einstellige oder niedrige zweistellige Erfolgsquoten. Das erinnert daran, dass selbst die Spitzenmodelle auf Bestenlisten bei offenen Problemen noch weit von vollständiger Autonomie entfernt sind.

Das verborgene Problem der Zuverlässigkeit von Benchmarks

Ein Benchmark ist nur dann nützlich, wenn seine Messungen stabil und fair sind. Forschende haben jedoch festgestellt, dass diese Voraussetzung häufiger verletzt wird, als den meisten Käufern bewusst ist. OpenAIs Analyse von SWE-Bench Pro fand konkrete methodische Probleme, die die Rangfolge von Coding-Agenten verzerren könnten. Das wirft allgemeinere Fragen dazu auf, ob beliebte Benchmarks tatsächlich das messen, was sie vorgeben zu messen, wie das Forschungsteam des Unternehmens herausfand.

In der akademischen Forschung wurde ein verwandtes, aber eigenständiges Problem untersucht: Die Durchführung einer vollständigen Agenten-Benchmarksuite ist teuer und zeitaufwendig, da jede Aufgabe Dutzende Tool-Aufrufe und echte API-Kosten verursachen kann.

Eine Studie zu effizientem Benchmarking schlug vor, neue Agenten nur anhand von Aufgaben mit historischen Erfolgsquoten zwischen 30 % und 70 % zu bewerten. Laut der Studie zeigten die Forschenden, dass sich dadurch die Zahl der benötigten Bewertungsaufgaben um 44 % bis 70 % senken lässt, ohne die Genauigkeit der Rangfolge wesentlich zu beeinträchtigen.

Das ist eine praktische Lösung für die Kosten von Benchmarks. Zugleich zeigt sie, wie stark das Benchmark-Design von Zielkonflikten zwischen statistischer Strenge und den realen Kosten abhängt, die beim Ausführen Tausender Agentenabläufe entstehen.

Eine umfassendere Übersicht über das Bewertungsgebiet formulierte die zentrale Messherausforderung klar: „Der Abschluss von Aufgaben ist ein grundlegendes Ziel der Agentenbewertung; dabei wird beurteilt, ob ein Agent die vorab definierten Ziele einer Aufgabe erfolgreich erreicht“, schrieben die Autoren der Übersicht.

Dieselbe Übersicht führt Dutzende konkurrierende Benchmarks in den Bereichen Coding, Browsing, Computernutzung und Schlussfolgern auf. Schon das zeigt, dass es derzeit keine einzelne Kennzahl gibt, die die Zuverlässigkeit von Agenten so erfasst, wie ein Bonitätsscore das finanzielle Risiko abbildet. Käufer, die Anbieter anhand unterschiedlicher Benchmarks vergleichen, vergleichen oft Äpfel mit Birnen, ohne es zu merken.

Wer über die Schlagzeilen-Punktzahl hinausblicken sollte

Unternehmen, die einen Agentenanbieter bewerten, sollten fragen, welcher konkrete Benchmark der genannten Zahl zugrunde liegt, ob damit die Genauigkeit beim Werkzeugeinsatz oder der vollständige Aufgabenabschluss gemessen wird und ob die Aufgaben dem eigenen Arbeitsablauf ähneln oder aus einem allgemeinen akademischen Rätseldatensatz stammen.

Ein Coding-Agent, der bei einem eng gefassten Coding-Benchmark an der Spitze liegt, sagt wenig darüber aus, wie er sich bei einem Kundenservice-Ablauf oder einer mehrstufigen Beschaffungsaufgabe schlagen wird, denn die Aufgabenverteilung ist völlig anders.

Entwicklungsteams, die eigene Agenten bauen, sollten sich an der internen Trennung von Anthropic orientieren: eine Testsuite ausschließlich für den Leistungsvergleich mit Wettbewerbern und eine separate Suite ausschließlich für Regressionstests gegenüber der vorherigen Version. Diese Aufteilung deckt den häufigen Fehler auf, dass eine neue Modellversion zwar die Punktzahl des Vorzeige-Benchmarks verbessert, aber unbemerkt einen bestimmten Arbeitsablauf beschädigt, auf den Produktionsnutzer täglich angewiesen sind.

Beschaffungs- und Risikoteams sollten gezielt nach Fehlermodi fragen und nicht nur nach Erfolgsquoten. Eine Abschlussquote von 70 %, bei der Fehler sauber abgefangen und mit einer klaren Fehlermeldung angezeigt werden, unterscheidet sich grundlegend von einer Abschlussquote von 70 %, bei der die übrigen 30 % unbemerkt falsche, aber überzeugend klingende Antworten liefern.

Keiner der hier besprochenen Benchmarks löst diesen Unterschied vollständig auf. Deshalb sind Vertragsklauseln und menschliche Aufsicht nach wie vor wichtiger als jede einzelne Zahl auf einer Bestenliste.

Fazit

Benchmarks für KI-Agenten sind tatsächlich nützlich, aber nur, wenn man versteht, welchen eng umrissenen Verhaltensausschnitt der jeweilige Benchmark misst. Die Genauigkeit beim Werkzeugeinsatz, der durchgängige Abschluss einer Aufgabe und mehrstufiges Schlussfolgern unter Unsicherheit sind drei unterschiedliche Fragen. Ein Anbieter, der eine einzelne Zahl nennt, sagt damit selten etwas über die beiden anderen aus.

OpenAIs GDPval und BrowseComp sowie Anthropics interne Qualitäts- und Regressionstestsuiten für Claude Code und Computernutzung stehen für zwei glaubwürdige, aber unterschiedliche Ansätze, diese Lücke zu schließen. Keiner davon erhebt den Anspruch, eine universelle Zuverlässigkeitskennzahl zu liefern.

Die ehrliche Schlussfolgerung für alle, die einen Agenten vor einem realen Einsatz bewerten, lautet: Die schwierigsten und am schwersten manipulierbaren Benchmarks liefern derzeit ernüchternde Ergebnisse, manchmal im niedrigen zweistelligen Bereich. Das sollte die Erwartungen daran neu justieren, was Marketingversprechen zu „KI-Agenten“ tatsächlich bedeuten.

Nur wer über die Schlagzeilenzahl hinaus auch die konkrete Benchmark-Methodik, die Aufgabenverteilung und die Fehlermodi prüft, kann zuverlässig beurteilen, ob ein Agent für eine bestimmte Aufgabe bereit ist.

Weiterlesen: AMDs MI355X tritt im ersten direkten KI-Agenten-Test gegen Nvidia an