Como Transformar o ComfyUI em um Editor de Vídeo Completo para LTX Video
A geração de vídeo através de modelos de difusão no ComfyUI geralmente parece montar um complexo conjunto de Lego com centenas de fios. Se você precisa costurar vários quadros, adicionar áudio, sincronizar o diálogo de um personagem, ou simplesmente aparar uma tomada ruim, o gráfico instantaneamente incha a proporções ilegíveis. Você acaba constantemente saltando entre o Premiere Pro e o navegador, exportando resultados intermediários de um lado para outro.
Recentemente encontrei o repositório WhatDreamsCost-ComfyUI. O autor se cansou de constantemente gerenciar dezenas de nós desconectados e construiu um painel de edição completo diretamente dentro de um único nó para o gerador de LTX Video. O projeto já reuniu quase 20.000 estrelas, e inclui várias soluções de interface genuinamente inteligentes que economizam muito tempo.
Por Que Trazer a Linha do Tempo para Dentro dos Nós
O ponto central da suíte é o nó LTX Director. Em vez de ajustar temporizações em campos de texto ou calcular quadros em uma calculadora, você obtém uma linha do tempo familiar com faixas.
Você pode arrastar e soltar arquivos de vídeo aqui, definir keyframes (primeiro, intermediário, final), cortar faixas e combinar prompts de texto. Ele tem um mecanismo integrado de Prompt Relay que faz a transição suave do controle de uma descrição de texto para outra conforme a linha do tempo avança.
Outro problema comum ao gerar talking heads é calcular a duração da cena para combinar com a narração. O autor criou um nó separado de Speech Length Calculator. Ele analisa o diálogo entre aspas em tempo real e gera a duração recomendada do clipe em segundos com base no ritmo da fala. Isso evita situações onde a geração é cortada no meio de uma palavra ou o vídeo fica em silêncio por alguns segundos extras.
O Que a Suíte de Nós Pode Fazer
Além da edição básica, a versão dois introduz vários acréscimos práticos ao pipeline:
- Suporte a IC- LoRA. Você pode soltar um vídeo ou imagem de referência em uma faixa separada (LTX Ingredients é suportado) para transferir movimento ou estilo sem trabalho manual de cadeia de pré-processamento.
- Manipulação de áudio integrada. Você pode importar seu próprio arquivo de áudio, cortá-lo diretamente na interface e aplicar inpainting de áudio, misturando a faixa original com sons gerados.
- Modo Retake (ainda em beta). Você seleciona um segmento na linha do tempo e regenera apenas a parte com falha diretamente dentro do projeto.
- Otimização de memória e cache. Modelos corrigidos são armazenados em cache entre execuções, então o ComfyUI não recarrega os pesos na VRAM cada vez que você faz pequenos ajustes no prompt. Além disso, o autor adicionou suporte adequado a SageAttention e Triton.
- Persistência de estado. A linha do tempo junto com todas as configurações, arquivos de mídia importados e pontos de corte podem ser exportados para um arquivo JSON padrão.
|
Controles Simples
|
Novo Modo de Corte!
|
O pacote inclui nós melhorados de carregamento de vídeo e áudio (Load Video UI / Load Audio UI). Diferentemente dos componentes padrão do ComfyUI, eles suportam corretamente arrastar e soltar, podem cortar para diferentes proporções de aspecto e não travam em arquivos maiores que 100 MB.
Para trabalho em lote de quadros, existe o nó Multi Image Loader. Ele combina pré-processamento, ajuste de resolução e uma mini galeria integrada.
Instalação e Observações
Você pode instalar o pacote através do Gerenciador padrão do ComfyUI (pesquise por WhatDreamsCost-ComfyUI) ou manualmente via terminal:
cd ComfyUI/custom_nodes/
git clone https://github.com/WhatDreamsCost/WhatDreamsCost-ComfyUI.git
Antes de iniciar, certifique-se de atualizar as dependências ComfyUI-LTXVideo e ComfyUI-KJNodes para suas versões mais recentes, caso contrário os nós de linha do tempo lançarão um erro durante a inicialização do grafo. O autor postou exemplos de fluxos de trabalho prontos para uso diretamente na pasta example_workflows dentro do repositório.
No lado negativo: o autor adverte honestamente no README que o modo Retake ainda é áspero e instável. Além disso, processar vídeos muito longos ainda encontra uma barreira com a RAM do sistema devido às limitações do motor do ComfyUI, então você não conseguirá montar filmes de uma hora dentro de um único nó.
Para Quem É
Se você está experimentando com o modelo LTX Video 2.3 e cansado do caos de conexões entre dezenas de pequenos nós, este projeto definitivamente vale a pena adicionar à sua coleção. Ele substitui cadeias complicadas de utilitários auxiliares por uma linha do tempo visual limpa e acelera notavelmente as iterações ao gerar cenas complexas.
Projetos relacionados