
Die Umwandlung schriftlicher Eingabeaufforderungen in überzeugende visuelle Erzählungen wurde als entscheidende Herausforderung im Bereich der Text-zu-Video-Generierung identifiziert, wo zahlreiche Modelle entstehen. Diese Aufgabe, die sich vom herkömmlichen Filmemachen unterscheidet, erfordert andere Fähigkeiten, ähnlich wie die Regie, und die Beherrschung der Videoobjektgenerierung (VOG) kann eine ziemliche Herausforderung sein. Darüber hinaus ist scharfes Beobachten eine Kunstform für sich.
Um dieses Problem anzugehen, bietet VideoDirectorGPT einen innovativen Ansatz zur Erstellung präziser und konsistenter Videos mit mehreren Szenen und optimiert so den Prozess. Im Kern nutzt VideoDirectorGPT eine zweistufige Methodik, die die Leistungsfähigkeit von Large Language Models (LLMs) mit der Kunst der Videoplanung verbindet.

LLM-gesteuerte PlanungIn der ersten Phase verwendet VideoDirectorGPT LLMs als Videoplaner. Der LLM fungiert als Meister des Geschichtenerzählens und erstellt die übergreifende Erzählung für das Video mit mehreren Szenen. Diese Erzählung besteht aus Textbeschreibungen auf Szenenebene, detaillierten Listen von Objekten und Hintergründen in jeder Szene, präzisen Objektlayouts Bild für Bild mit Begrenzungsrahmen und intelligenten Kohärenzgruppierungen für Objekte und Hintergründe.
Layout2Vid-VideogenerierungNachdem LLM den Videoplan sorgfältig ausgearbeitet hat, ist es an der Zeit, ihn in die Tat umzusetzen. Hier kommt Layout2Vid, das Videogenerierungsmodul, ins Spiel. Layout2Vid baut auf der im Anfangsstadium erstellten Blaupause auf und verwendet identische Bild- und Texteinbettungen, um Objekte und Hintergründe im Videoplan darzustellen. Aber das Bemerkenswerteste daran ist, dass es räumliche Kontrolle über Objektlayouts durch einen ausgeklügelten 2D-Aufmerksamkeitsmechanismus bietet, der in die räumliche Aufmerksamkeitseinheit integriert ist.
Das Modell VideoDirectorGPT kann einen umfassenden Videoplan mit genauen Objektbegrenzungsrahmenpositionen (überlagert), einer konsistenten Person in allen Szenen und einer richtig erweiterten Originaltextaufforderung zur Anzeige des Vorgangs erstellen. Kümmelkuchen und Pfirsichmelba sind die einzigen Lebensmittel, die ModelScopeT2V generiert, und sie variieren von Szene zu Szene.
Das Ergebnis ist ein nahtlos orchestriertes Video, das den ursprünglichen Textbeschreibungen folgt und diese in dynamische visuelle Sequenzen übersetzt. Es ist eine Verbindung aus KI-gesteuerter narrativer Konstruktion und sorgfältigem Video-Rendering, die sicherstellt, dass der generierte Inhalt genau mit der Vision des Erstellers übereinstimmt.
Im August hat Yandex eine neue Funktion namens Masterpiece eingeführt, mit der Benutzer kurze Videos mit einer Länge von bis zu 4 Sekunden und einer Bildrate von 24 Bildern pro Sekunde erstellen können. Die Technologie verwendet die kaskadierte Diffusionsmethode, um aufeinanderfolgende Videobilder zu erstellen und Bilder zu erzeugen, die mit der Beschreibung des Benutzers übereinstimmen. Masterpiece bietet Zugänglichkeit und Einfachheit und ist damit eine attraktive Option für Anfänger und Benutzer aller Fähigkeitsstufen. Die weitreichenden Auswirkungen der Technologie gehen über den kreativen Ausdruck hinaus und könnten die Erstellung und Nutzung digitaler Inhalte neu definieren.
Außerdem hat Runway Anfang des Jahres Gen-2 herausgebracht, ein Text-zu-Video-Modell, das mithilfe einer Textaufforderung neue Videos von Grund auf neu erstellen kann, eine deutliche Verbesserung gegenüber der vorherigen Version. Diese Funktion spart Zeit und Aufwand, indem sie Videos erstellt, für die keine fortgeschrittenen Bearbeitungskenntnisse erforderlich sind. Darüber hinaus kann Gen-2 ein hochgeladenes Bild in einen kurzen Videoclip von höherer Qualität als die Konkurrenz umwandeln. Diese Technologie soll die Erstellung und Weitergabe von Inhalten auf Social-Media-Plattformen verbessern und möglicherweise Plattformen wie Facebook und TikTok zugutekommen.
Lesen Sie mehr verwandte Themen:
Die 50 besten Text-zu-Video-KI-Eingabeaufforderungen: Einfache Bildanimation
Die 10 besten Text-zu-Video-KI-Generatoren: Leistungsstark und kostenlos
Der Beitrag „VideoDirectorGPT: Ein KI-gestützter Regisseur, der die Text-zu-Video-Produktion neu gestaltet“ erschien zuerst auf Metaverse Post.
