So erstellst du eine 3D-Modell-Generierungs-Pipeline in einem einzigen Fenster mit 3DGenStudio

3D-Assets mit KI zu erstellen fühlt sich immer noch an wie ein Baukasten, dessen Teile aus verschiedenen Kits stammen. Zuerst erzeugst du ein Bild in ComfyUI, dann ziehst du es zu einem Drittanbieter-Dienst wie Tripo, um ein dreidimensionales Mesh zu erhalten. Anschließend öffnest du Blender, um die Geometrie zu korrigieren oder UV-Mapping durchzuführen, und kehrst dann wieder zu neuronalen Netzen für Texturen zurück. Ständiges Importieren und Exportieren zwischen fünf Fenstern wird schnell ermüdend.

Ein Entwickler mit dem Benutzernamen visualbruno beschloss, diese Schritte zu kombinieren. Sein Projekt 3DGenStudio verbindet visuelle Pipeline-Verwaltung, einen integrierten Mesh-Datei-Editor und direkte ComfyUI-Integration in einem einzigen Arbeitsbereich.

Warum ein separater Studio-Interface benötigt wird

Die Kernidee hinter 3DGenStudio ist es, das Chaos aus Dateien, Render-Varianten und Workflow-Einstellungen zu beseitigen. Anstatt einer Reihe von Ordnern mit Namen wie mesh_final_v2_fixed.glb erhältst du eine visuelle Entwicklungsumgebung, in der du den gesamten Pfad eines Objekts vom ersten Text-Prompt bis zum fertigen Modell mit Animation sehen kannst.

Das Projekt ist lokal. Alle Quelldateien, Texturen und Mesh-Versionen werden auf deiner Festplatte gespeichert. Es gibt keine Abhängigkeit von Drittanbieter-Clouds, und die Daten lassen sich einfach zu Git pushen.

Zwei Modi für die Arbeit mit einem Projekt

Innerhalb der App kannst du zwischen zwei Ansichten wechseln.

Kanban-Board

Du bewegst die Karte eines Objekts durch Standard-Spalten: Bilderzeugung, Bildverarbeitung, 3D-Mesh-Erstellung, Geometrieverfeinerung, Texturierung. In jedem Schritt können die erforderlichen ComfyUI-Skripte oder externen APIs direkt von der Karte aus gestartet werden.

Node-Graph

Wenn du es bevorzugst, Verbindungen grafisch zu sehen, zeigt der Graph, aus welchem spezifischen Bild ein bestimmtes Mesh erzeugt wurde. Wenn du auf einen Node klickst, werden die Generierungsparameter geöffnet, wo du sofort Einstellungen ändern und den Prozess erneut ausführen kannst.

Integrierter 3D-Editor direkt im Browser

Die größte Überraschung des Projekts ist ein integrierter Editor basierend auf Three.js. Er ist nicht dazu gedacht, Blender zu ersetzen, sondern um die Ergebnisse neuronaler Netze schnell zu verfeinern.

Was der Editor kann:

• Automatisches UV-Mapping und Retopology. Neuronale Netzwerk-Meshes erzeugen oft ein Chaos von Polygonen. Das integrierte Skript kann entpackte Kanten bereinigen und das Mesh in ein aufgeräumteres Aussehen umbauen.
• Auto Rig. Die Funktion baut ein Skelett auf und bindet Skin-Weights basierend auf der SkinTokens-Bibliothek.
• Texturprojektion und Inpainting. Du kannst das Modell auf den gewünschten Winkel drehen, ein Problem mit einer Maske übermalen und das Bild an ComfyUI senden. Das neuronale Netz füllt das Fragment auf, und der Editor projiziert das fertige Stück zurück auf das 3D-Objekt.
• Einfaches Sculpting und Painting. Es gibt vertraute Pinsel zum Glätten, Formaufbau und punktueller Texturierung.

Direkte ComfyUI-Integration

3DGenStudio kann direkt mit ComfyUI kommunizieren. Du musst Prompts oder Masken nicht manuell übertragen. Die App sendet die erforderlichen Parameter an die ComfyUI-API, ruft das generierte Ergebnis ab und hängt es als untergeordnete Version an die aktuelle Karte an.

Wenn du Cloud-Dienste wie Tripo AI oder Tencent Cloud nutzt, können diese ebenfalls über externe API-Endpunkte verbunden werden.

Tech Stack und Start

Das Projekt besteht aus drei Teilen:

• Frontend: React, Vite, Three.js (@react-three/fiber).
• Backend: Node.js, Express, SQLite.
• Python-Server: übernimmt schwere 3D-Verarbeitung, Retopology und Auto-Rig.

Um es zu starten, benötigst du Node.js installiert, eine laufende ComfyUI-Instanz und eine Python-Umgebung.

# Клонируем репозиторий
git clone https://github.com/visualbruno/3DGenStudio.git
cd 3DGenStudio

# Устанавливаем и запускаем клиент
npm install
npm run dev

# В соседнем терминале поднимаем python-сервер
cd python-server
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
python main.py

Anschließend öffnest du http://localhost:3001 und gibst deine ComfyUI-Adresse in den Einstellungen an.

Das Fazit

Zum Zeitpunkt der Erstellung dieses Artikels hat 3DGenStudio etwas über 400 Sterne auf GitHub. Doch laut CHANGELOG aktualisiert der Autor das Projekt nahezu täglich und fügt neue Tools wie Flux-Modell-Unterstützung, Sam3.1-Integration und Mesh-Optimierer hinzu.

Vorteile:

• Verbindet verstreute 3D-Generierungstools zu einem klaren Workflow.
• Automatisiert die Routine von UV-Mapping, Retopology und Rigging.
• Alle Dateien werden lokal gespeichert.

Nachteile:

• Erfordert das Deployen und Warten mehrerer Dienste gleichzeitig (Node.js, Python, ComfyUI).
• Der browserbasierte Editor ersetzt noch kein vollwertiges 3D-Paket für komplexe Modellierung.

Wenn du Assets für Spiele oder Indie-Projekte mit neuronalen Netzen zusammenstellst, lohnt es sich definitiv, 3DGenStudio auszuprobieren. Das Projekt spart enorm viel Zeit bei Routineaufgaben zwischen Generierung und Export in eine Engine.