KI-Forscher an der Stanford-Universität und der Universität Washington haben angeblich das Unmögliche möglich gemacht – sie haben ein KI-Modell namens s1 für unter 50 Dollar in Cloud-Computing-Guthaben entwickelt, laut einem am Montag veröffentlichten Forschungsbericht.
Das s1-Modell liefert Berichten zufolge eine Leistung, die mit erstklassigen Denkmodellen, einschließlich OpenAIs o1 und DeepSeeks R1, vergleichbar ist, laut Benchmarks bei Mathematik- und Programmierprüfungen. Noch besser ist, dass das gesamte Projekt auf GitHub verfügbar ist – Code, Daten und alles.
Das Team begann damit, ein Standardmodell zu verwenden, anstatt etwas Neues zu bauen. Von dort aus verfeinerten sie es durch einen Prozess namens Destillation. Laut ihrer Forschung destillierten sie die Denkfähigkeit aus Googles Gemini 2.0 Flash Thinking Experimentalmodell.
Sie trainierten s1, um die Problemlösungsmethoden von Gemini zu imitieren, indem sie aus seinen Antworten lernten. „Wir strebten nach Einfachheit“, sagte Niklas Muennighoff, einer der beteiligten Stanford-Forscher.
Kleiner Datensatz, große Ergebnisse
Destillation wird schnell zur Waffe der Wahl für KI-Teams, die Kosten senken wollen. Ein ähnliches KI-Modell, das letzten Monat von Forschern der Berkeley entwickelt wurde, kostete 450 Dollar für das Training – immer noch günstig nach Branchenstandards. Aber Stanford und UW gingen einen Schritt weiter und reduzierten die Kosten auf etwa 50 Dollar, indem sie ihr Modell mit einem kleineren Datensatz und optimierten Techniken destillierten.
Die Forscher wählten nur 1.000 Fragen aus, die jeweils mit detaillierten Antworten und schrittweiser Argumentation von Googles Gemini 2.0 gekoppelt waren. Dieser Datensatz stellte das gesamte Wissen zur Verfügung, das s1 benötigte, um auf hohem Niveau zu arbeiten. Laut dem Papier des Teams lernte das Modell, wie man Probleme durchdenkt.
Das überwachte Feintuning, oder SFT, war entscheidend, um dies zu ermöglichen. Anstatt Verstärkungslernen zu verwenden, das riesige Datensätze und enorme Rechenleistung erfordert, entschieden sich die Forscher für SFT, eine Methode, bei der die KI direkt darauf trainiert wird, Verhaltensweisen zu imitieren, die im Datensatz gefunden wurden. Es ist günstiger und schneller, und in diesem Fall hat es funktioniert.
Das Basismodell stammte von Qwen, dem KI-Labor, das Alibaba gehört. Ihr Standardmodell war kostenlos herunterzuladen, was das Projekt noch budgetfreundlicher machte. In weniger als 30 Minuten und mit nur 16 Nvidia H100 GPUs beendete das Team das Training von s1. „Wir könnten die erforderliche Rechenleistung heute für etwa 20 Dollar mieten“, sagte Muennighoff.
Der Befehl „Warten“ verbesserte die Genauigkeit von s1
Die Forscher haben Berichten zufolge einen cleveren Trick eingeführt, um das Denken von s1 zu verbessern: Sie fügten das Wort „warten“ während der Problemlösung hinzu. Indem sie dem Modell sagten, es solle eine Pause einlegen und seine Arbeit doppelt überprüfen, erhöhten sie die Genauigkeit. Das Forschungspapier beschreibt, wie dieser Trick s1 genug Zeit gab, um bessere Antworten zu bedenken, bevor sie eingereicht wurden.
OpenAI beobachtet genau. Sie haben bereits DeepSeek beschuldigt, Daten aus ihrer API unsachgemäß zu ernten, um KI-Konkurrenten aufzubauen. Da s1 zeigt, wie günstig die Replikation sein kann, sind große Akteure wie OpenAI nicht begeistert. Die Kommodifizierung von KI-Modellen könnte ihre Gewinnmargen beeinträchtigen.
Aber das Technologieunternehmen hat andere Probleme. Am Dienstag trat Elons rechtliches Team gegen OpenAI vor einem Bundesgericht in Oakland an. Elon, der ein früher Investor in OpenAI war, behauptet, das Unternehmen habe seine gemeinnützige Mission aufgegeben und seine ursprünglichen Ziele verraten.
Er verklagt, um ihren Übergang zu einem vollständig gewinnorientierten Unternehmen zu blockieren. Elons Anwalt, Marc Toberoff, sagte am Freitag vor Gericht, dass Elon zwischen der Gründung von OpenAI und 2018 45 Millionen Dollar in OpenAI investiert habe, weil er glaubte, dass es immer das öffentliche Wohl über den Gewinn stellen würde, genau wie es zu Beginn gesagt hatte.
Richterin Yvonne Gonzalez Rogers bezeichnete es als eine „Übertreibung“ und stellte in Frage, warum Elon so viel Geld investieren würde, ohne einen schriftlichen Vertrag. „Das ist einfach eine Menge Geld auf einem Handschlag“, verspottete sie. Anwalt Toberoff erklärte dann, dass Elon und OpenAIs CEO, Sam Altman, zu diesem Zeitpunkt eine enge Beziehung hatten und alles auf Vertrauen basierte.
Aber der Fall ist noch nicht tot. Der Richter ist besorgt über die enge Beziehung zwischen OpenAI und Microsoft. Zwei Schlüsselfiguren – LinkedIn-Mitgründer Reid Hoffman und Microsoft-Managerin Deanna Templeton – waren in den Vorstand von OpenAI involviert. Templeton wurde nach Altmans kurzer Absetzung im Jahr 2023 als nicht stimmberechtigtes Mitglied hinzugefügt, wurde aber später aufgrund von Bedenken hinsichtlich des Wettbewerbsrechts entfernt.
Elon möchte ihre Pläne stoppen und möglicherweise mehr Kontrolle über das Unternehmen durch sein eigenes KI-Vorhaben, xAI, gewinnen, das er als Kläger in den Fall aufgenommen hat. OpenAI argumentiert, dass Elons Anfrage ihr Geschäft lähmen würde und auf „farfeligen“ Behauptungen beruht.
Cryptopolitan Academy: Wie man einen Web3-Lebenslauf schreibt, der Interviews landet - KOSTENLOSE Checkliste