Transformer des invites écrites en récits visuels convaincants a été identifié comme un défi crucial dans le domaine de la génération texte-vidéo, où de nombreux modèles émergent. Cette tâche, qui diffère de la réalisation de films traditionnels, fait appel à un ensemble différent de capacités, similaires à celles de la réalisation, et maîtriser la génération d'objets vidéo (VOG) peut constituer tout un défi. De plus, l’observation approfondie est une forme d’art en soi.

Pour résoudre ce problème, VideoDirectorGPT propose une approche innovante pour créer des vidéos multi-scènes précises et cohérentes, rationalisant ainsi le processus. À la base, VideoDirectorGPT utilise une méthodologie en deux étapes qui allie les prouesses des grands modèles linguistiques (LLM) à l'art de la planification vidéo.

Planification guidée par LLM Dans la première phase, VideoDirectorGPT utilise les LLM comme planificateur vidéo. Le LLM agit en tant que maître de la narration, élaborant le récit global de la vidéo multi-scènes. Ce récit se compose de descriptions textuelles au niveau de la scène, de listes détaillées d'objets et d'arrière-plans dans chaque scène, de dispositions précises d'objets image par image avec des cadres de délimitation et de regroupements de cohérence intelligents pour les objets et les arrière-plans.

Layout2Vid Video GenerationUne fois que LLM a méticuleusement élaboré le plan vidéo, il est temps de le mettre en action. C'est là qu'intervient Layout2Vid, le module de génération vidéo. En développant le plan créé lors de la phase initiale, Layout2Vid utilise des intégrations d'images et de texte identiques pour représenter les objets et les arrière-plans dans le plan vidéo. Mais ce qui est remarquable, c’est qu’il permet un contrôle spatial sur la disposition des objets grâce à un mécanisme d’attention 2D sophistiqué intégré à l’unité d’attention spatiale.

Le modèle VideoDirectorGPT est capable de produire un plan vidéo complet avec des emplacements précis du cadre de délimitation des objets (superposés), une personne cohérente tout au long des scènes et une invite de texte originale correctement développée pour montrer le processus. Le gâteau au carvi et la pêche melba sont les seuls aliments générés par ModelScopeT2V, et ils varient d'une scène à l'autre.

Le résultat est une vidéo parfaitement orchestrée qui adhère aux descriptions textuelles initiales, les traduisant en séquences visuelles dynamiques. Il s’agit d’une union entre une construction narrative basée sur l’IA et un rendu vidéo méticuleux, garantissant que le contenu généré s’aligne précisément sur la vision du créateur.

En août, Yandex a introduit une nouvelle fonctionnalité appelée Masterpiece, qui permet aux utilisateurs de créer de courtes vidéos d'une durée maximale de 4 secondes avec une fréquence d'images de 24 images par seconde. La technologie utilise la méthode de diffusion en cascade pour créer des images vidéo ultérieures, générant ainsi des images qui correspondent à la description de l’utilisateur. Masterpiece offre accessibilité et simplicité, ce qui en fait une option attrayante pour les novices et les utilisateurs de tous niveaux. Les implications plus larges de la technologie vont au-delà de l’expression créative et pourraient redéfinir la création et la consommation de contenu numérique.

De plus, plus tôt cette année, Runway a publié Gen-2, un modèle de conversion texte-vidéo capable de générer de nouvelles vidéos à partir de zéro à l'aide d'une invite de texte, une amélioration significative par rapport à la version précédente. Cette fonctionnalité permet d'économiser du temps et des efforts en générant des vidéos qui ne nécessitent pas de compétences d'édition avancées. De plus, Gen-2 peut convertir une image téléchargée en un court clip vidéo de meilleure qualité que ses concurrents. Cette technologie devrait améliorer la création et le partage de contenu sur les plateformes de médias sociaux, bénéficiant potentiellement à des plateformes telles que Facebook et TikTok.

Lire d'autres sujets connexes :

  • Les 50 meilleures invites d'IA texte-vidéo : animation d'image facile

  • 10+ meilleurs générateurs d’IA texte-vidéo : puissants et gratuits

L'article VideoDirectorGPT : un réalisateur basé sur l'IA remodelant la production de texte en vidéo apparaît en premier sur Metaverse Post.