Come creare una pipeline di generazione di modelli 3D in una singola finestra con 3DGenStudio

Creare asset 3D con l'AI sembra ancora di assemblare un set da costruzione con pezzi di diversi kit. Prima generi un'immagine in ComfyUI, poi la trascini su un servizio di terze parti come Tripo per ottenere una mesh tridimensionale. Poi apri Blender per sistemare la geometria o fare l'unwrap delle UV, e poi torni alle reti neurali per le texture. Importare ed esportare costantemente tra cinque finestre diventa estenuante in fretta.

Un developer con username visualbruno ha deciso di combinare questi passaggi. Il suo progetto 3DGenStudio collega la gestione della pipeline visiva, un editor integrato di file mesh e l'integrazione diretta con ComfyUI in un unico spazio di lavoro.

Perché serve un'interfaccia studio separata

L'idea alla base di 3DGenStudio è eliminare il caos di file, varianti di render e impostazioni dei workflow. Invece di una serie di cartelle con nomi come mesh_final_v2_fixed.glb, ottieni un ambiente di sviluppo visivo dove puoi vedere l'intero percorso di un oggetto dalla prima text prompt fino a un modello finito con animazione.

Il progetto è locale. Tutti i file sorgente, le texture e le versioni delle mesh vengono salvati sul tuo disco. Non c'è dipendenza da cloud di terze parti, e i dati sono facili da pushare su Git.

Due modalità per lavorare con un progetto

All'interno dell'app puoi passare tra due visualizzazioni.

Kanban board

Avanzi la card di un oggetto attraverso colonne standard: generazione immagine, elaborazione immagine, creazione mesh 3D, raffinazione geometria, texturing. In ogni fase, gli script ComfyUI richiesti o le API esterne possono essere lanciati direttamente dalla card.

Node graph

Se preferisci vedere le connessioni graficamente, il grafo mostra da quale specifica immagine una particolare mesh è stata generata. Cliccando su un nodo si aprono i parametri di generazione, dove puoi immediatamente cambiare le impostazioni e rieseguire il processo.

Editor 3D integrato direttamente nel browser

La sorpresa principale del progetto è un editor integrato basato su Three.js. Non è pensato per sostituire Blender, ma per rifinire rapidamente i risultati delle reti neurali.

Cosa può fare l'editor:

• Unwrap UV automatico e retopology. Le mesh generate da reti neurali producono spesso un caos di poligoni. Lo script integrato può pulire i bordi unwrappati e ricostruire la mesh in un aspetto più ordinato.
• Auto Rig. La funzione costruisce uno scheletro e associa i pesi della skin basandosi sulla libreria SkinTokens.
• Proiezione texture e inpainting. Puoi ruotare il modello nell'angolazione desiderata, dipingere sopra un problema con una maschera, e inviare il frame a ComfyUI. La rete neurale riempirà il frammento, e l'editor riproietterà il pezzo finito sull'oggetto 3D.
• Sculpting e painting di base. Ci sono pennelli familiari per lisciare, costruire la forma e texturing locale.

Integrazione diretta con ComfyUI

3DGenStudio può comunicare con ComfyUI direttamente. Non devi trasferire manualmente prompt o ricaricare maschere. L'app invia i parametri richiesti all'API di ComfyUI, recupera il risultato generato e lo allega come versione figlia alla card corrente.

Se usi servizi cloud come Tripo AI o Tencent Cloud, anche questi possono essere collegati tramite endpoint API esterni.

Stack tecnologico e avvio

Il progetto è composto da tre parti:

• Frontend: React, Vite, Three.js (@react-three/fiber).
• Backend: Node.js, Express, SQLite.
• Server Python: gestisce l'elaborazione 3D pesante, la retopology e l'auto-rig.

Per avviarlo, ti servirà Node.js installato, un ComfyUI in esecuzione e un ambiente Python.

Per avviare il progetto, clona il repository ed esegui i comandi di installazione delle dipendenze.

Dopo di che, apri http://localhost:3001 e specifica il tuo indirizzo ComfyUI nelle impostazioni.

In sintesi

Al momento della scrittura, 3DGenStudio ha appena più di 400 stelle su GitHub. Tuttavia, guardando il CHANGELOG, l'autore aggiorna il progetto quasi ogni giorno, aggiungendo nuovi strumenti come il supporto per il modello Flux, l'integrazione con Sam3.1 e gli ottimizzatori di mesh.

Pro:

• Collega strumenti sparsi di generazione 3D in un workflow chiaro.
• Automatizza le operazioni di routine come unwrap UV, retopology e rigging.
• Tutti i file vengono memorizzati localmente.

Contro:

• Richiede il deploy e la manutenzione di più servizi contemporaneamente (Node.js, Python, ComfyUI).
• L'editor basato su browser non sostituisce ancora un pacchetto 3D completo per la modellazione complessa.

Se stai assemblando asset per giochi o progetti indie usando reti neurali, provare 3DGenStudio è sicuramente worth it. Il progetto fa risparmiare un sacco di tempo sulle operazioni di routine tra la generazione e l'export verso un engine.