Hyung Won Chung, ein erfahrener KI-Forscher, der früher bei Google Brain beschäftigt war und derzeit Mitglied des OpenAI-Teams ist, hielt eine zum Nachdenken anregende 45-minütige Rede, in der er die Welt der großen Sprachmodelle im Jahr 2023 erkundete. Chung hat Erfahrung auf diesem Gebiet; er war der Erstautor des Google-Papiers „Scaling Instruction-Finetuned Language Models“, in dem untersucht wird, wie große Sprachmodelle trainiert werden können, Anweisungen zu befolgen.
Hyung Won Chung, OpenAI
Chung betont, dass die Welt der umfangreichen Sprachmodelle dynamisch ist. In der Welt der LLMs entwickelt sich das Leitprinzip ständig weiter, im Gegensatz zu traditionellen Bereichen, in denen grundlegende Annahmen normalerweise stabil bleiben. Mit der kommenden Generation von Modellen kann das, was derzeit als unmöglich oder unpraktisch gilt, möglich werden. Er betont, wie wichtig es ist, den meisten Aussagen über LLM-Fähigkeiten ein „für jetzt“ voranzustellen. Ein Modell kann eine Aufgabe ausführen; es hat dies nur noch nicht getan.
Die großen Modelle von heute werden in nur wenigen Jahren kleine Modelle sein.
Hyung Won Chung, OpenAI
Die Notwendigkeit einer sorgfältigen Dokumentation und Reproduzierbarkeit in der KI-Forschung ist eine der wichtigsten Lektionen, die aus Chungs Rede gelernt werden können. Es ist entscheidend, die laufenden Arbeiten gründlich zu dokumentieren, während sich das Feld entwickelt. Diese Strategie gewährleistet, dass Experimente schnell repliziert und erneut besucht werden können, was es den Forschern ermöglicht, auf früheren Arbeiten aufzubauen. Durch diese Praxis wird anerkannt, dass sich Fähigkeiten in der Zukunft entwickeln können, die während der ursprünglichen Forschung nicht praktikabel waren.
Chung widmet einen Teil seines Vortrags der Erläuterung der Feinheiten von Daten- und Modellparallelismus. Für diejenigen, die sich intensiver mit den technischen Aspekten der KI beschäftigen möchten, bietet dieser Abschnitt wertvolle Einblicke in die Funktionsweise dieser Parallelismustechniken. Das Verständnis dieser Mechanismen ist entscheidend für die Optimierung des Trainings großer Modelle.
Chung behauptet, dass die derzeitige Ziel-Funktion, Maximum Likelihood, die für das Vortraining von LLM verwendet wird, ein Engpass ist, wenn es darum geht, wirklich massive Maßstäbe zu erreichen, wie zum Beispiel 10.000 Mal die Kapazität von GPT-4. Mit dem Fortschritt des maschinellen Lernens werden manuell gestaltete Verlustfunktionen zunehmend einschränkend.
Chung schlägt vor, dass das nächste Paradigma in der KI-Entwicklung darin besteht, Funktionen durch separate Algorithmen zu lernen. Dieser Ansatz, obwohl noch in den Kinderschuhen, verspricht Skalierbarkeit über die aktuellen Grenzen hinaus. Er hebt auch laufende Bemühungen hervor, wie das Verstärkendes Lernen aus menschlichem Feedback (RLHF) mit Regelmodellierung, als Schritte in diese Richtung, obwohl Herausforderungen noch überwunden werden müssen.
Der Beitrag „Die großen Sprachmodelle von heute werden kleine Modelle sein, so ein Forscher bei OpenAI“ erschien zuerst auf Metaverse Post.