arcagi

Dasselbe Modell, eine andere „Testumgebung“ – 37 Punkte Unterschied: Wie sind die 99,9 % von GPT-6 Astra zu verstehen?

· Offizieller Blog von ARC Prize: GPT-6 Astra erreichte auf dem halbprivaten ARC-AGI-3-Datensatz mit dem neutralen Standard-Harness höchstens 62,7 % (max-Stufe, Kosten ca. 26.000 US-Dollar); mit dem Provider-Adapter-Harness, das OpenAIs undurchsichtigen Reasoning-Zustand und die Kontextkomprimierung beibehält, waren es höchstens 99,9 % (high-Stufe, ca. 19.000 US-Dollar).
· Beide Werte sind von ARC Prize als SOTA anerkannt, werden jedoch getrennt ausgewiesen und sind nicht austauschbar. Mit dem Adapter war die Ausführung etwa 3,66-mal schneller und benötigte 49 % weniger Tokens (ARC Prize).
· Einige Medien (etwa Startup Fortune) schrieben, die „99,9 % seien für ungültig erklärt worden“. Das steht so nicht im Originaltext von ARC. Die Bewertung der AGI Society kommt hingegen zu dem Schluss, dass die vorliegenden Belege noch nicht ausreichen, um zu zeigen, dass Astra AGI erreicht hat.

【Einordnung】
Die eigentliche Nachricht ist nicht „Wer hat geschummelt?“, sondern: Die Testumgebung und das Kontextmanagement können selbst fast 40 Punkte ausmachen. Die Fähigkeiten der Modelle rücken immer näher zusammen, während die Ergebnisse zunehmend von der technischen Umgebung abhängen. Das dürfte Marketing nach dem Motto „AGI ist da“ abkühlen lassen. Zugleich zeigt es, dass Agent-Frameworks und das Management von Reasoning-Zuständen die eigentlichen Wettbewerbsvorteile der nächsten Phase sein könnten – zum Vorteil der Anbieter von Rechenleistung und Agent-Infrastruktur.

【Chancen/Risiken】
· Achte auf die Quartalszahlen von Microsoft und Google am 28.10. sowie von Amazon am 29.10.: Wie es um die KI-Erzählung steht, dürfte sich an den KI-Cloud-Umsätzen und den Capex-Prognosen zeigen.
· KI-Themen-Coins (wie $FET $RENDER ) reagieren empfindlich auf Schlagzeilen rund um „AGI“. Achte auf das Risiko, dass der Kurs nach einem durch reißerische Schlagzeilen ausgelösten Anstieg wieder fällt.
· Bei künftigen Modell-Benchmarks zuerst fragen: Welches Harness wurde verwendet und wie viel hat es gekostet?

Vertraust du eher den 62,7 % aus dem neutralen Test oder den 99,9 % in der Umgebung des Anbieters? Diskutiert in den Kommentaren.

#AI #GPT6 #ARCAGI #AI代理 #US-Berichtssaison
Nur zu Informationszwecken; keine Anlageberatung