Wie Microsoft neuronale Netze lehrte, 3D-Modelle in Sekunden zusammenzusetzen

Denken Sie daran, wie lange es normalerweise dauert, ein hochwertiges 3D-Asset zu erstellen. Selbst wenn Sie nicht von Hand modellieren, sondern neuronale Netze der ersten Generation verwenden, fühlt sich der Prozess oft wie ein Glücksspiel an: Texturen „driften", Geometrie wird zum Chaos, oder der GPU geht der Speicher aus. Microsoft hat TRELLIS.2 vorgestellt, und dies ist wahrscheinlich einer der vernünftigsten Versuche, die Generierung von 3D-Objekten aus einem einzelnen Bild wirklich schnell und hochwertig zu gestalten.

Was es ist und warum wir es brauchen

TRELLIS.2 ist ein großes generatives Modell mit 4 Milliarden Parametern. Einfach gesagt: Es nimmt ein normales 2D-Bild und verwandelt es in ein vollwertiges 3D-Objekt. Aber im Gegensatz zu vielen akademischen Projekten, die eine „Punktwolke" oder ein kaputtes Mesh ausgeben, erhalten Sie hier ein render-fertiges Asset mit PBR-Materialien (Farbe, Metallic, Roughness).

Interessant ist, dass die Entwickler die üblichen Signed Distance Fields (SDF) zugunsten einer Struktur namens O-Voxel aufgegeben haben. Dadurch konnte das Modell komplexe Topologien „verstehen": Kleidung, Baumblätter oder Objekte mit inneren Hohlräumen, an denen frühere Algorithmen scheiterten.

Was TRELLIS.2 von den anderen unterscheidet

Ich sehe oft Projekte, die „Fotorealismus" versprechen, aber in der Realität eine H100 und eine halbe Stunde für einen einzelnen Stuhl benötigen. Hier ist die Situation anders.

Geschwindigkeit und Auflösung

Das Modell läuft auf einem Sparse 3D VAE mit 16-facher räumlicher Kompression. Dadurch ist es möglich, Objekte mit 512³ Auflösung in nur 3 Sekunden zu generieren. Wenn Sie etwas Ernsthaftes brauchen, wie 1024³, müssen Sie etwa 17 Sekunden warten. Zum Vergleich: Viele Alternativen brauchen dafür Minuten, und das Ergebnis sieht oft schlechter aus.

Arbeit mit Materialien

Das ist nicht nur eine farbige Figur. Das Modell generiert vollständige Oberflächenattribute:

• Base Color
• Roughness
• Metallic
• Opacity

Der letzte Punkt ist besonders schön. Jetzt können Sie Glasobjekte oder halbtransparente Stoffe generieren, und sie sehen anständig aus, wenn sie gerendert werden.

Topologie-Vielseitigkeit

Dank O-Voxel versucht das Modell nicht, alle Löcher in einem Objekt zu „flicken". Es bewältigt mühelos offene Oberflächen (wie ein dünnes Blatt Papier oder einen Kleidersaum), ohne die Geometrie zu beschädigten, wo Flächen sich nicht berühren.

Die technische Seite der Dinge

Unter der Haube läuft TRELLIS.2 auf einem DiT (Diffusion Transformer). Um das alles zum Laufen zu bringen, hat das Microsoft-Team mehrere Hilfsbibliotheken geschrieben, die gebündelt mitgeliefert werden:

1. FlexGEMM — Sparse-Convolution-Implementierung auf Triton.
2. CuMesh — CUDA-Utilities für schnelle Mesh-Verarbeitung, UV-Unwrapping und Dezimierung.
3. O-Voxel — das Kernstück selbst für die Arbeit mit ihrer neuen Datenrepräsentation.

git clone -b main https://github.com/microsoft/TRELLIS.2.git --recursive
cd TRELLIS.2
# Скрипт создаст окружение и поставит все зависимости, включая специфичные либы
. ./setup.sh --new-env --basic --flash-attn --nvdiffrast --nvdiffrec --cumesh --o-voxel --flexgemm

from trellis2.pipelines import Trellis2ImageTo3DPipeline
from PIL import Image

# Загружаем модель (веса подтянутся с Hugging Face)
pipeline = Trellis2ImageTo3DPipeline.from_pretrained("microsoft/TRELLIS.2-4B")
pipeline.cuda()

# Берем картинку и запускаем магию
image = Image.open("your_image.png")
mesh = pipeline.run(image)[0]

# Экспортируем в GLB с текстурами
# (в коде репозитория есть подробный пример в example.py)