Comment transformer ComfyUI en un studio de montage complet avec le pipeline LTX 2.3

Quiconque a essayé d'assembler une vidéo cohérente ou un clip musical dans ComfyUI connaît cette galère. Le graphe devient rapidement un enchevêtrement interminable de connexions. Vous devez générer les fragments un par un, les faire glisser dans un éditeur vidéo, les synchroniser avec le beat, puis revenir en arrière quand vous réalisez que le visage du personnage a dérivé à la troisième seconde.

Un développeur utilisant le pseudo VRGameDevGirl a publié un pack de nœuds comfyui-vrgamedevgirl. C'est une tentative de transformer l'interface nodale d'un simple générateur de GIF en une suite de montage complète.

Ce que contient le pack

Le projet combine un outil d'assemblage vidéo, des capacités de traitement audio, des modules de restauration d'images et des pipelines d'entraînement LoRA.

L'élément principal ici est le nœud VRGDG Music Video Builder UI. Ajouté au canevas, il ouvre une interface de travail séparée directement dans ComfyUI. Vous pouvez charger un fichier audio ou des sous-titres prêts à l'emploi au format SRT, placer des marqueurs de scène et lier la génération de chaque image à la timeline.

Outils pour travailler avec les scènes et la vidéo

Au lieu de basculer manuellement les prompts pour chaque segment, Video Builder vous permet de gérer un projet scène par scène.

• Timeline interactive. Vous pouvez voir la structure des pistes et marquer les couplets, les refrains et les sections instrumentales.
• Génération inter-images. L'outil peut lier la première et la dernière image de scènes adjacentes. Cela maintient la cohérence visuelle lorsqu'un personnage effectue une transition d'un plan à un autre.
• Automatisation des prompts via LLM. Le builder se connecte à un réseau neuronal local via LM Studio ou une API tierce. Il lit les paroles de la chanson et suggère des options de description de scène.

Correction faciale et amélioration de la qualité

Les modèles vidéo dégradent souvent les détails lorsqu'un personnage est éloigné de la caméra. L'ensemble inclut des solutions prêtes à l'emploi pour la restauration.

Les nœuds du pack Face Fix localisent un visage dans la séquence, découpent le fragment correspondant, le font passer par un modèle de diffusion pour restaurer les détails, puis fusionnent soigneusement le résultat dans le clip original.

Pour les retouches finales, l'auteur a ajouté les algorithmes Fast Film Grain, Color Match et de sharpening. Ils amènent les segments générés disparates à une palette de couleurs unifiée et ajoutent du grain cinématographique sans perte notable de vitesse de rendu.

Audio, clonage vocal et datasets

En parallèle des séquences vidéo, le dépôt contient des outils pour la préparation audio et l'entraînement de modèles.

Le pack inclut le module VoxCPM2, qui peut cloner une voix à partir d'un court échantillon et générer de la parole à partir de texte. C'est pratique quand vous avez besoin d'une narration en voix off pour un clip. Des nœuds auxiliaires peuvent découper l'audio en segments, supprimer les silences et extraire des transcriptions.

Pour ceux qui entraînent leurs propres modèles, l'interface VRGDG LoRA Dataset Creator UI est utile. Elle simplifie l'étiquetage des paires d'images et la préparation des descriptions textuelles. Le dépôt contient des workflows prêts à l'emploi pour entraîner des LoRA sur LTX 2.3 et Z-Image en utilisant Musubi-Tuner.

Installation et détails de la licence

Vous pouvez installer l'ensemble de la manière standard via ComfyUI Manager en recherchant vrgamedev, ou en clonant directement le dépôt :

cd ComfyUI/custom_nodes
git clone https://github.com/vrgamegirl19/comfyui-vrgamedevgirl.git

Après l'installation, n'oubliez pas de charger les dépendances depuis requirements.txt dans votre environnement ComfyUI et de rafraîchir la page dans votre navigateur avec Ctrl+F5.

Faites attention à la licence. Le projet est distribué sous AGPL-3.0. Cela signifie que si vous utilisez le code dans des services commerciaux ou des produits SaaS, vous devrez rendre open source votre application sous la même licence.

À qui est destiné cet ensemble

Le package sera certainement utile à tous ceux qui créent des clips, des courts-métrages ou des histoires animées et qui sont fatigués de basculer entre une douzaine de programmes différents.

Vous n'avez pas besoin de plonger immédiatement dans toute la fonctionnalité de Video Builder. Vous pouvez choisir des nœuds individuels : utilisez Color Match pour ajuster les couleurs, corrigez le visage d'un personnage sur une vidéo terminée, ou générez une voix off via VoxCPM2.