Comment créer un pipeline de génération de modèles 3D dans une seule fenêtre avec 3DGenStudio
La création de ressources 3D avec l'IA ressemble encore à assembler un jeu de construction avec des pièces de différents kits. D'abord, vous générez une image dans ComfyUI, puis vous la faites glisser vers un service tiers comme Tripo pour obtenir un maillage tridimensionnel. Ensuite, vous ouvrez Blender pour corriger la géométrie ou le dépliage UV, puis vous revenez aux réseaux de neurones pour les textures. Importer et exporter constamment entre cinq fenêtres devient épuisant rapidement.
Un développeur portant le nom d'utilisateur visualbruno a décidé de combiner ces étapes. Son projet 3DGenStudio associe la gestion visuelle du pipeline, un éditeur de fichiers de maillage intégré et l'intégration directe de ComfyUI dans un espace de travail unique.
Pourquoi un interface studio séparé est nécessaire
L'idée centrale derrière 3DGenStudio est d'éliminer le chaos des fichiers, des variantes de rendu et des paramètres de workflow. Au lieu d'un tas de dossiers avec des noms comme mesh_final_v2_fixed.glb, vous obtenez un environnement de développement visuel où vous pouvez voir le parcours complet d'un objet, du premier prompt textuel jusqu'au modèle fini avec animation.
Le projet est local. Tous les fichiers sources, textures et versions de maillage sont enregistrés sur votre disque. Il n'y a aucune dépendance envers les clouds tiers, et les données sont faciles à pousser sur Git.
Deux modes pour travailler sur un projet
À l'intérieur de l'application, vous pouvez basculer entre deux vues.
Tableau Kanban
Vous faites avancer la carte d'un objet à travers les colonnes standard : génération d'image, traitement d'image, création de maillage 3D, affinage de géométrie, texturation. À chaque étape, les scripts ComfyUI requis ou les API externes peuvent être lancés directement depuis la carte.
Graphe de nœuds
Si vous préférez voir les connexions graphiquement, le graphe montre de quelle image spécifique un maillage particulier a été généré. Cliquer sur un nœud ouvre les paramètres de génération, où vous pouvez immédiatement modifier les paramètres et relancer le processus.
Éditeur 3D intégré directement dans le navigateur
La principale surprise du projet est un éditeur intégré basé sur Three.js. Il n'est pas destiné à remplacer Blender, mais à affiner rapidement les résultats des réseaux de neurones.
Ce que l'éditeur peut faire :
- Dépliage UV automatique et retopologie. Les maillages générés par les réseaux de neurones produisent souvent un désordre de polygones. Le script intégré peut nettoyer les arêtes dépliées et reconstruire le maillage sous une apparence plus soignée.
- Auto Rig. La fonction construit un squelette et lie les poids de peau basés sur la bibliothèque SkinTokens.
- Projection de textures et inpainting. Vous pouvez faire pivoter le modèle vers l'angle souhaité, repeindre un problème avec un masque et envoyer l'image à ComfyUI. Le réseau de neurones remplira le fragment, et l'éditeur projettera la pièce finie en retour sur l'objet 3D.
- Sculpture et peinture de base. Il y a des pinceaux familiers pour lisser, construire la forme et texturer par endroits.
Intégration directe avec ComfyUI
3DGenStudio peut communiquer directement avec ComfyUI. Vous n'avez pas besoin de transférer manuellement les prompts ou de recharger les masques. L'application envoie les paramètres requis à l'API ComfyUI, récupère le résultat généré et l'attache comme version enfant à la carte actuelle.
Si vous utilisez des services cloud comme Tripo AI ou Tencent Cloud, ceux-ci peuvent également être connectés via des points de terminaison API externes.
Pile technique et lancement
Le projet se compose de trois parties :
- Frontend : React, Vite, Three.js (
@react-three/fiber). - Backend : Node.js, Express, SQLite.
- Serveur Python : gère le traitement 3D intensif, la retopologie et l'auto-rig.
Pour lancer, vous aurez besoin de Node.js installé, d'un ComfyUI en cours d'exécution et d'un environnement Python.
# Клонируем репозиторий
git clone https://github.com/visualbruno/3DGenStudio.git
cd 3DGenStudio
# Устанавливаем и запускаем клиент
npm install
npm run dev
# В соседнем терминале поднимаем python-сервер
cd python-server
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
python main.py
Après cela, ouvrez http://localhost:3001 et spécifiez votre adresse ComfyUI dans les paramètres.
En conclusion
Au moment de la rédaction, 3DGenStudio compte un peu plus de 400 étoiles sur GitHub. Cependant, d'après le CHANGELOG, l'auteur met à jour le projet presque chaque jour, ajoutant de nouveaux outils comme le support du modèle Flux, l'intégration de Sam3.1 et des optimiseurs de maillage.
Avantages :
- Relie des outils de génération 3D dispersés dans un workflow clair.
- Automatise les tâches répétitives de dépliage UV, retopologie et rigging.
- Tous les fichiers sont stockés localement.
Inconvénients :
- Nécessite le déploiement et la maintenance de plusieurs services à la fois (Node.js, Python, ComfyUI).
- L'éditeur basé sur le navigateur ne remplace pas encore un logiciel 3D complet pour la modélisation complexe.
Si vous assemblez des ressources pour des jeux ou des projets indépendants en utilisant des réseaux de neurones, essayer 3DGenStudio en vaut clairement la peine. Le projet fait gagner beaucoup de temps sur les opérations routine entre la génération et l'export vers un moteur.
Projets similaires