So verwandeln Sie ComfyUI in einen vollwertigen Video-Editor für LTX Video

Videogenerierung durch Diffusionsmodelle in ComfyUI fühlt sich normalerweise an wie der Zusammenbau eines komplexen Lego-Sets mit Hunderten von Verbindungen. Wenn Sie mehrere Frames zusammenfügen, Audio hinzufügen, einen Dialog synchronisieren oder einfach eine misslungene Aufnahme herausschneiden müssen, schwillt der Graph sofort auf unlesbare Ausmaße an. Sie landen ständig dabei, zwischen Premiere Pro und dem Browser hin- und herzuspringen und Zwischenresultate hin- und herzuexportieren.

Ich bin kürzlich auf das WhatDreamsCost-ComfyUI-Repository gestoßen. Der Autor hatte es satt, ständig Dutzende von unverbundenen Nodes hin- und herzuschieben, und hat eine vollständige Bearbeitungsoberfläche direkt in einen einzigen Node für den LTX Video-Generator eingebaut. Das Projekt hat bereits fast 20.000 Sterne gesammelt und enthält mehrere wirklich clevere Interface-Lösungen, die viel Zeit sparen.

Warum die Timeline in Nodes integrieren

Das Herzstück der Suite ist der LTX Director Node. Anstatt Timings in Textfeldern anzupassen oder Frames mit dem Taschenrechner zu berechnen, erhalten Sie eine vertraute Timeline mit Spuren.

Sie können Videodateien per Drag-and-Drop hierher ziehen, Keyframes setzen (erste, Zwischen- und letzte), Spuren schneiden und Text-Prompts kombinieren. Es verfügt über einen integrierten Prompt Relay-Mechanismus, der die Steuerung nahtlos von einer Textbeschreibung zur nächsten übergehen lässt, während die Timeline fortschreitet.

Ein weiterer häufiger Schmerzpunkt bei der Generierung von Talking Heads ist die Berechnung der Szenenlänge, um sie an das Voiceover anzupassen. Der Autor hat einen separaten Speech Length Calculator Node erstellt. Er analysiert zitierten Dialog in Echtzeit und gibt die empfohlene Clip-Dauer in Sekunden basierend auf dem Sprechtempo aus. Dies verhindert Situationen, in denen die Generierung mitten im Wort abbricht oder das Video für ein paar zusätzliche Sekunden in Stille verharrt.

Was die Node-Suite leisten kann

Über grundlegende Bearbeitung hinaus führt Version zwei mehrere praktische Ergänzungen in der Pipeline ein:

• IC-LoRA-Unterstützung. Sie können ein Referenzvideo oder -bild auf eine separate Spur legen (LTX Ingredients wird unterstützt), um Bewegung oder Stil zu übertragen, ohne eine manuelle Vorverarbeitungskette erstellen zu müssen.
• Integriertes Audio-Handling. Sie können Ihre eigene Audiodatei importieren, sie direkt im Interface trimmen und Audio-Inpainting anwenden, wobei der Originaltrack mit generierten Sounds gemischt wird.
• Retake-Modus (noch in der Beta). Sie wählen ein Segment auf der Timeline aus und generieren nur den fehlgeschlagenen Teil direkt innerhalb des Projekts neu.
• Speicheroptimierung und Caching. Gepatchte Modelle werden zwischen den Durchläufen gecacht, sodass ComfyUI die Gewichte nicht jedes Mal neu in die VRAM laden muss, wenn Sie kleine Prompt-Änderungen vornehmen. Außerdem hat der Autor ordentliche SageAttention- und Triton-Unterstützung hinzugefügt.
• Zustandspersistenz. Die Timeline zusammen mit allen Einstellungen, importierten Mediendateien und Schnittpunkten kann in eine Standard-JSON-Datei exportiert werden.

Einfache Steuerung

Neuer Zuschnitt-Modus!

Das Paket enthält verbesserte Video- und Audio-Lade-Nodes (Load Video UI / Load Audio UI). Im Gegensatz zu Standard-ComfyUI-Komponenten unterstützen sie Drag-and-Drop korrekt, können auf verschiedene Seitenverhältnisse zugeschnitten werden und stürzen nicht bei Dateien über 100 MB ab.

Für die Stapelverarbeitung von Frames gibt es den Multi Image Loader Node. Er kombiniert Vorverarbeitung, Auflösungsanpassung und eine integrierte Mini-Galerie.

Installation und Hinweise

Sie können das Paket über den standardmäßigen ComfyUI Manager installieren (suchen Sie nach WhatDreamsCost-ComfyUI) oder manuell über das Terminal:

cd ComfyUI/custom_nodes/
git clone https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI.git

Bevor Sie starten, stellen Sie sicher, dass Sie die Abhängigkeiten ComfyUI-LTXVideo und ComfyUI-KJNodes auf ihre neuesten Versionen aktualisieren, da die Timeline-Nodes sonst einen Fehler während der Graph-Initialisierung werfen. Der Autor hat direkt im Ordner example_workflows im Repository gebrauchsfertige Workflow-Beispiele veröffentlicht.

Als Nachteil sei angemerkt: Der Autor warnt ehrlich in der README, dass der Retake-Modus noch rau und instabil ist. Außerdem stößt die Verarbeitung sehr langer Videos aufgrund von ComfyUI-Engine-Einschränkungen immer noch an die Wand des System-RAMs, sodass Sie keine einstündigen Filme in einem einzigen Node zusammenstellen können.

Für wen ist es gedacht

Wenn Sie mit dem LTX Video 2.3-Modell experimentieren und das Chaos der Verbindungen zwischen Dutzenden kleiner Nodes leid sind, lohnt es sich auf jeden Fall, dieses Projekt zu Ihrer Sammlung hinzuzufügen. Es ersetzt umständliche Ketten von Hilfsprogrammen durch eine saubere visuelle Timeline und beschleunigt spürbar die Iterationen bei der Generierung komplexer Szenen.