Der Bereich der großen Sprachmodelle wächst weiter, da StabilityAI, Hersteller des beliebten Bildgenerierungstools Stable Diffusion, eine Reihe von Open-Source-Sprachmodelltools auf den Markt gebracht hat.
Die öffentlich zugänglichen Alpha-Versionen der Suite mit dem Namen StableLM enthalten derzeit Modelle mit drei und sieben Milliarden Parametern, wobei Modelle mit 15, 30 und 65 Milliarden Parametern als „in Bearbeitung“ gekennzeichnet sind und ein 175-Milliarden-Modell für die zukünftige Entwicklung geplant ist.
Ankündigung von StableLM❗Wir veröffentlichen das erste unserer großen Sprachmodelle, beginnend mit den Parametermodellen 3B und 7B, gefolgt von 15-65B. Unsere LLMs werden unter der CC BY-SA-Lizenz veröffentlicht. Wir veröffentlichen auch RLHF-abgestimmte Modelle für Forschungszwecke. Lesen Sie mehr → https://t.co/R66Wa4gbnW pic.twitter.com/gvDDJMFBYJ
— Stabilitäts-KI (@StabilityAI), 19. April 2023
Im Vergleich dazu verfügt GPT-4 über eine geschätzte Parameteranzahl von einer Billion, sechsmal mehr als sein Vorgänger GPT-3.
Die Anzahl der Parameter ist jedoch möglicherweise kein einheitliches Maß für die Wirksamkeit von LLM, wie Stability AI in seinem Blogbeitrag zur Ankündigung der Einführung von StableLM feststellte:
„StableLM wird anhand eines neuen experimentellen Datensatzes trainiert, der auf The Pile basiert, aber mit 1,5 Billionen Inhaltstoken dreimal größer ist […] Der Reichtum dieses Datensatzes verleiht StableLM trotz seiner geringen Größe von 3 bis 7 Milliarden Parametern eine überraschend hohe Leistung bei Konversations- und Codieraufgaben.“
Derzeit ist unklar, wie robust die StableLM-Modelle wirklich sind. Das StabilityAI-Team hat auf der Github-Seite der Organisation darauf hingewiesen, dass in Kürze weitere Informationen zu den Fähigkeiten der LMs folgen werden, darunter Modellspezifikationen und Trainingseinstellungen.
Vorausgesetzt, die Modelle schneiden in Tests gut genug ab, könnte sich die Einführung einer leistungsstarken Open-Source-Alternative zu ChatGPT von OpenAI für die Welt des Kryptowährungshandels als interessant erweisen.
Wie Cointelegraph berichtete, werden derzeit fortschrittliche Trading-Bots auf Basis der GPT-API und neuer Varianten entwickelt, die den Zugriff auf Tools von Drittanbietern ermöglichen, etwa BabyAGI und AutoGPT.
Die Aufnahme von Open-Source-Modellen in den Mix könnte ein Segen für technisch versierte Händler sein, die die Zugangsgebühren von OpenAI nicht zahlen möchten.
Interessierte können eine Live-Schnittstelle für das 7B-Parameter-StableLM-Modell testen, das auf HuggingFace gehostet wird. Zum Zeitpunkt der Veröffentlichung dieses Artikels stellten unsere Versuche, dies zu tun, jedoch fest, dass die Website überlastet oder an ihre Kapazitätsgrenzen gestoßen war.