Jak zbudować pipeline generowania modeli 3D w jednym oknie dzięki 3DGenStudio

Tworzenie zasobów 3D z wykorzystaniem AI wciąż przypomina składanie konstrukcji z części z różnych zestawów. Najpierw generujesz obraz w ComfyUI, następnie przesyłasz go do zewnętrznej usługi jak Tripo, aby uzyskać trójwymiarową siatkę. Potem otwierasz Blendera, aby poprawić geometrię lub rozwinąć UV, i wracasz do sieci neuronowych po tekstury. Ciągłe importowanie i eksportowanie między pięcioma oknami szybko staje się męczące.

Developer o nazwie użytkownika visualbruno postanowił połączyć te kroki. Jego projekt 3DGenStudio łączy wizualne zarządzanie pipeline'em, wbudowany edytor plików siatkowych oraz bezpośrednią integrację z ComfyUI w jednym środowisku pracy.

Dlaczego potrzebny jest osobny interfejs studia

Główna idea stojąca za 3DGenStudio to eliminacja chaosu plików, wariantów renderowania i ustawień workflow. Zamiast wielu folderów z nazwami typu mesh_final_v2_fixed.glb, otrzymujesz wizualne środowisko programistyczne, w którym możesz zobaczyć całą ścieżkę obiektu od pierwszego promptu tekstowego do gotowego modelu z animacją.

Projekt jest lokalny. Wszystkie pliki źródłowe, tekstury i wersje siatek są zapisywane na dysku. Nie ma zależności od zewnętrznych chmur, a dane łatwo wrzucić na Git.

Dwa tryby pracy z projektem

Wewnątrz aplikacji możesz przełączać się między dwoma widokami.

Tablica Kanban

Przesuwasz kartę obiektu przez standardowe kolumny: generowanie obrazu, przetwarzanie obrazu, tworzenie siatki 3D, dopracowywanie geometrii, teksturowanie. Na każdym etapie wymagane skrypty ComfyUI lub zewnętrzne API mogą być uruchamiane bezpośrednio z karty.

Graf węzłów

Jeśli wolisz widzieć połączenia graficznie, graf pokazuje, z którego konkretnie obrazu wygenerowano daną siatkę. Kliknięcie węzła otwiera parametry generowania, gdzie możesz natychmiast zmienić ustawienia i ponownie uruchomić proces.

Wbudowany edytor 3D bezpośrednio w przeglądarce

Główną niespodzianką projektu jest wbudowany edytor oparty na Three.js. Nie jest przeznaczony do zastępowania Blendera, ale do szybkiego dostrajania wyników sieci neuronowych.

Co potrafi edytor:

• Automatyczne rozwijanie UV i retopologia. Siatki generowane przez sieci neuronowe często produkują chaos polygonów. Wbudowany skrypt może wyczyścić rozwinięte krawędzie i przebudować siatkę na bardziej uporządkowany wygląd.
• Auto Rig. Funkcja buduje szkielet i przypisuje wagi skóry na podstawie biblioteki SkinTokens.
• Projekcja tekstur i inpainting. Możesz obrócić model do żądanego kąta, zamaskować problem i wysłać klatkę do ComfyUI. Sieć neuronowa wypełni fragment, a edytor rzutuje gotowy element z powrotem na obiekt 3D.
• Podstawowe rzeźbienie i malowanie. Dostępne są znajome pędzle do wygładzania, budowania formy i miejscowego teksturowania.

Bezpośrednia integracja z ComfyUI

3DGenStudio może komunikować się z ComfyUI bezpośrednio. Nie musisz ręcznie przesyłać promptów ani przeładowywać masek. Aplikacja wysyła wymagane parametry do API ComfyUI, pobiera wygenerowany wynik i dołącza go jako wersję potomną do bieżącej karty.

Jeśli korzystasz z usług chmurowych jak Tripo AI czy Tencent Cloud, te również mogą być połączone przez zewnętrzne endpointy API.

Stos technologiczny i uruchomienie

Projekt składa się z trzech części:

• Frontend: React, Vite, Three.js (@react-three/fiber).
• Backend: Node.js, Express, SQLite.
• Serwer Python: obsługuje ciężkie przetwarzanie 3D, retopologię i auto-rig.

Aby uruchomić projekt, potrzebujesz zainstalowanego Node.js, działającego ComfyUI oraz środowiska Python.

# Клонируем репозиторий
git clone https://github.com/visualbruno/3DGenStudio.git
cd 3DGenStudio

# Устанавливаем и запускаем клиент
npm install
npm run dev

# В соседнем терминале поднимаем python-сервер
cd python-server
python -m venv .venv
.venv\Scripts\activate
pip install -r requirements.txt
python main.py

Po tym otwórz http://localhost:3001 i określ adres ComfyUI w ustawieniach.

Podsumowanie

W momencie pisania tego artykułu 3DGenStudio ma nieco ponad 400 gwiazdek na GitHubie. Jednak sądząc po CHANGELOG, autor aktualizuje projekt niemal codziennie, dodając nowe narzędzia jak wsparcie modelu Flux, integrację Sam3.1 oraz optymalizatory siatek.

Zalety:

• Łączy rozproszone narzędzia do generowania 3D w przejrzysty workflow.
• Automatyzuje rutynowe operacje rozwijania UV, retopologii i rigowania.
• Wszystkie pliki są przechowywane lokalnie.

Wady:

• Wymaga wdrożenia i utrzymywania kilku usług jednocześnie (Node.js, Python, ComfyUI).
• Edytor oparty na przeglądarce nie zastępuje jeszcze pełnoprawnego pakietu 3D do złożonego modelowania.

Jeśli tworzysz zasoby do gier lub projektów indie z wykorzystaniem sieci neuronowych, wypróbowanie 3DGenStudio zdecydowanie jest warte zachodu. Projekt oszczędza mnóstwo czasu na rutynowych operacjach między generowaniem a eksportem do silnika.