Die Suche nach künstlicher allgemeiner Intelligenz (AGI) ist jetzt viel interessanter und herausfordernder geworden! In einer bahnbrechenden Entwicklung, die Wellen durch die KI-Welt schickt, hat die Arc Prize Foundation, angeführt von dem KI-Luminar François Chollet, einen neuen, unglaublich schwierigen AGI-Test vorgestellt. Mit dem Namen ARC-AGI-2 ist dieser Benchmark darauf ausgelegt, die allgemeine Intelligenz von KI-Modellen wirklich zu messen, und die frühen Ergebnisse sind, nun ja, demütigend selbst für die fortschrittlichsten Systeme.

Warum ist ARC-AGI-2 das neue Hindernis für KI-Modelle?

Laut einem aktuellen Blogbeitrag der Arc Prize Foundation erweist sich ARC-AGI-2 als eine formidable Herausforderung. Führende "denkenden" KI-Modelle wie OpenAI’s o1-pro und DeepSeek’s R1 kratzen gerade mal an der Oberfläche und erzielen nur 1% bis 1,3% auf der AGI-Test-Leiter. Sogar leistungsstarke nicht-denkende Modelle, darunter GPT-4.5, Claude 3.7 Sonnet und Gemini 2.0 Flash, erreichen nur etwa 1%. Dies steht in starkem Kontrast zur menschlichen Leistung, bei der die Panels eine solide Genauigkeit von 60% bei den gleichen Fragen zu ARC-AGI-2 aufwiesen.

Also, was macht diesen neuen KI-Benchmark so anders und schwierig?

• Visuelle Puzzleprobleme: ARC-AGI-2 präsentiert KI-Modellen puzzleähnliche Probleme, bei denen visuelle Muster in Gittern aus farbigen Quadraten identifiziert werden müssen. Das Ziel ist es, dass die KI das richtige "Antwort"-Gitter basierend auf diesen Mustern erzeugt.

• Anpassungsfähigkeit Fokus: Im Gegensatz zu früheren Tests wurde ARC-AGI-2 speziell entwickelt, um KI-Modelle dazu zu zwingen, sich an völlig neue Problemtypen anzupassen, die sie während des Trainings nicht begegnet sind. Dies testet die echte Problemlösungsfähigkeit und nicht nur das Abrufen.

• Effizienzmetriken: Eine wesentliche Innovation in ARC-AGI-2 ist die Einführung einer Effizienzmetrik. Das bedeutet, es geht nicht nur darum, die richtige Antwort zu erhalten, sondern auch darum, wie effizient das KI-Modell zur Lösung gelangt. Dies spricht direkt Bedenken an, dass brute-force Rechenleistung wahre Intelligenz in früheren Benchmarks maskiert.

Hier ist ein Vergleich, wie verschiedene Modelltypen abschneiden:

Beispiele für KI-Modelltypen ARC-AGI-2 Punktzahl (ca.) Denkende KI-Modelle OpenAI o1-pro, DeepSeek R1 1% – 1,3% Nicht-denkende KI-Modelle GPT-4.5, Claude 3.7 Sonnet, Gemini 2.0 Flash Etwa 1% Menschliche Panels Durchschnittliche Teilnehmer 60%

Quelle: Arc Prize Leaderboard

ARC-AGI-2 vs. ARC-AGI-1: Was hat sich geändert?

François Chollet selbst erklärte auf X (ehemals Twitter), dass ARC-AGI-2 ein überlegener Maßstab für die wahre Intelligenz eines KI-Modells im Vergleich zu seinem Vorgänger, ARC-AGI-1, ist. Das Kernziel der Tests der Arc Prize Foundation bleibt konstant: die Fähigkeit eines KI-Systems zu bewerten, neue Fähigkeiten über seine Trainingsdaten hinaus zu erlernen.

Allerdings geht ARC-AGI-2 einen kritischen Fehler in ARC-AGI-1 an – die Überabhängigkeit von brute-force Berechnungen. ARC-AGI-1, obwohl es jahrelang ein herausfordernder KI-Benchmark war, wurde schließlich von OpenAI’s o3 (low) Modell "gelöst". Während o3 (low) beeindruckende 75,7% auf ARC-AGI-1 erzielte und damit anscheinend menschliches Niveau erreichte, fiel seine Punktzahl auf nur 4% auf ARC-AGI-2, selbst bei erheblichen Kosten von 200 USD pro Aufgabe. Dies verdeutlicht den grundlegenden Fokuswechsel hin zu Effizienz und echter Intelligenz im neuen Test.

Warum ist dieser neue KI-Benchmark jetzt wichtig?

Die Ankunft von ARC-AGI-2 ist zeitgemäß. Viele Stimmen innerhalb der Tech-Industrie, darunter Hugging Face Mitgründer Thomas Wolf, haben sich für robustere und neuartige Benchmarks eingesetzt, um den Fortschritt von KI wirklich zu messen, insbesondere in Bereichen wie Kreativität – ein Schlüsselkomponente der künstlichen allgemeinen Intelligenz.

Die Einschränkungen früherer Benchmarks wurden zunehmend offensichtlich. Modelle konnten hohe Punktzahlen erzielen durch Methoden, die nicht unbedingt echte Intelligenz widerspiegelten, wie umfangreiche Memorierung oder brute-force Berechnungen. ARC-AGI-2 versucht, diese Mängel direkt anzugehen und die Grenzen der KI-Bewertung zu verschieben.

Der Arc Preis 2025: Eine Herausforderung zur Förderung der KI-Intelligenz

Um eine weitere Schicht der Aufregung hinzuzufügen, hat die Arc Prize Foundation den Arc Prize 2025 Wettbewerb angekündigt. Diese Herausforderung lädt Entwickler ein, eine Genauigkeit von 85% beim ARC-AGI-2-Test zu erreichen, während sie sich an eine strenge Kostenbeschränkung von nur 0,42 USD pro Aufgabe halten. Dieser Wettbewerb geht nicht nur darum, hohe Punktzahlen zu erzielen; es geht darum, effiziente und wirklich intelligente KI-Modelle zu fördern.

Dieser neue AGI-Test, ARC-AGI-2, stellt einen signifikanten Fortschritt in unserer Fähigkeit dar, künstliche allgemeine Intelligenz zu messen und zu verstehen. Es ist eine eindringliche Erinnerung daran, dass, obwohl KI-Modelle unglaubliche Fortschritte gemacht haben, wahre menschliche Intelligenz, die durch Anpassungsfähigkeit und Effizienz gekennzeichnet ist, eine gewaltige Herausforderung bleibt. Die Herausforderung ist gesetzt, und das Rennen, wirklich intelligente KI zu entwickeln, ist eröffnet, wobei ARC-AGI-2 als das neue, rigorosere Maß dient.

Um mehr über die neuesten Trends bei KI-Benchmarks zu erfahren, erkunden Sie unseren Artikel über wichtige Entwicklungen, die die Fortschritte in der KI beeinflussen.