Zo bouw je een 3D-modelgeneratiepipeline in één venster met 3DGenStudio

3D-assets maken met AI voelt nog steeds als het in elkaar zetten van een bouwset met onderdelen uit verschillende kits. Eerst genereer je een afbeelding in ComfyUI, dan sleep je deze naar een externe service zoals Tripo om een driedimensionaal mesh te krijgen. Vervolgens open je Blender om de geometrie te repareren of UV uit te pakken, en dan ga je terug naar neurale netwerken voor texturen. Constant importeren en exporteren tussen vijf vensters wordt snel vermoeiend.

Een ontwikkelaar met de gebruikersnaam visualbruno besloot deze stappen te combineren. Zijn project 3DGenStudio koppelt visueel pipelinebeheer, een ingebouwde meshbestandseditor en directe ComfyUI-integratie in één werkruimte.

Waarom een apart studio-interfacenodig is

De kerngedachte achter 3DGenStudio is het elimineren van de chaos van bestanden, rendervarianten en workflowinstellingen. In plaats van een hoop mappen met namen zoals mesh_final_v2_fixed.glb, krijg je een visuele ontwikkelomgeving waarin je het volledige pad van een object kunt zien, van de eerste tekstprompt tot een afgewerkt model met animatie.

Het project is lokaal. Alle bronbestanden, texturen en meshversies worden op je schijf opgeslagen. Er is geen afhankelijkheid van cloudservices van derden, en de data is eenvoudig naar Git te pushen.

Twee modi voor het werken met een project

Binnen de app kun je schakelen tussen twee weergaven.

Kanban-bord

Je verplaatst de kaart van een object door standaardkolommen: beeldgeneratie, beeldbewerking, 3D-meshcreatie, geometrieverfijning, textureren. In elke fase kunnen de vereiste ComfyUI-scripts of externe API's rechtstreeks vanuit de kaart worden gestart.

Node-graaf

Als je de voorkeur geeft aan een grafische weergave van verbindingen, toont de graaf van welke specifieke afbeelding een bepaalde mesh is gegenereerd. Door op een node te klikken open je de generatieparameters, waar je direct instellingen kunt wijzigen en het proces opnieuw kunt uitvoeren.

Ingebouwde 3D-editor direct in de browser

De grootste verrassing van het project is een ingebouwde editor gebaseerd op Three.js. Het is niet de bedoeling om Blender te vervangen, maar om de resultaten van neurale netwerken snel bij te werken.

Wat de editor kan doen:

• Automatische UV-uitpakking en retopologie. Meshen van neurale netwerken produceren vaak een warboel van polygonen. Het ingebouwde script kan uitgepakte randen opschonen en de mesh opnieuw opbouwen in een nettere vorm.
• Auto Rig. De functie bouwt een skelet en bindt skin weights op basis van de SkinTokens-bibliotheek.
• Textureprojectie en inpainting. Je kunt het model naar de gewenste hoek draaien, een probleem met een masker overschilderen en het frame naar ComfyUI sturen. Het neurale netwerk vult het fragment in, en de editor projecteert het afgewerkte stuk terug op het 3D-object.
• Basis sculpten en schilderen. Er zijn vertrouwde penselen voor gladmaken, vorm opbouwen en plektexturering.

Directe koppeling met ComfyUI

3DGenStudio kan rechtstreeks communiceren met ComfyUI. Je hoeft prompts of maskers niet handmatig over te dragen. De app stuurt de vereiste parameters naar de ComfyUI API, haalt het gegenereerde resultaat op en koppelt het als onderliggende versie aan de huidige kaart.

Als je cloudservices gebruikt zoals Tripo AI of Tencent Cloud, kunnen deze ook worden gekoppeld via externe API-eindpunten.

Tech stack en opstarten

Het project bestaat uit drie delen:

• Frontend: React, Vite, Three.js (@react-three/fiber).
• Backend: Node.js, Express, SQLite.
• Python-server: verwerkt zware 3D-bewerking, retopologie en auto-rig.

Om op te starten heb je Node.js geïnstalleerd, een draaiende ComfyUI en een Python-omgeving nodig.

# Клонируем репозиторий
git clone https://github.com/visualbruno/3DGenStudio.git
cd 3DGenStudio

# Устанавливаем и запускаем клиент
npm install
npm run dev

# В соседнем терминале поднимаем python-сервер
cd python-server
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
python main.py

Open daarna http://localhost:3001 en geef je ComfyUI-adres op in de instellingen.

Conclusie

Op het moment van schrijven heeft 3DGenStudio iets meer dan 400 sterren op GitHub. Maar volgens de CHANGELOG werkt de auteur het project bijna elke dag, met nieuwe tools zoals Flux-modelondersteuning, Sam3.1-integratie en mesh-optimizer.

Voordelen:

• Koppelt verspreide 3D-generatietools aan een duidelijke workflow.
• Automatiseert de routine van UV-uitpakking, retopologie en rigging.
• Alle bestanden worden lokaal opgeslagen.

Nadelen:

• Vereist het deployen en onderhouden van meerdere services tegelijk (Node.js, Python, ComfyUI).
• De browsergebaseerde editor vervangt nog geen volwaardig 3D-pakket voor complexe modellering.

Als je assets in elkaar zet voor games of indie-projecten met neurale netwerken, is het zeker de moeite waard om 3DGenStudio te proberen. Het project bespaart een hoop tijd op routineuze bewerkingen tussen generatie en export naar een engine.