Jak Microsoft nauczył sieci neuronowe składać modele 3D w kilka sekund

Pomyśl, ile zwykle zajmuje stworzenie dobrej jakości zasobu 3D. Nawet jeśli nie modelujesz ręcznie, ale używasz sieci neuronowych pierwszej generacji, proces często przypomina loterię: tekstury „dryfują", geometria zamienia się w chaos, albo GPU nie wyrabia z pamięcią. Microsoft wypuścił TRELLIS.2 i to prawdopodobnie jedna z najbardziej rozsądnych prób sprawienia, by generowanie obiektów 3D z jednego obrazu było naprawdę szybkie i wysokiej jakości.

Co to jest i dlaczego tego potrzebujemy

TRELLIS.2 to duży model generatywny z 4 miliardami parametrów. Mówiąc prosto, przyjmuje zwykły obraz 2D i zamienia go w pełnoprawny obiekt 3D. Ale w przeciwieństwie do wielu projektów akademickich, które wypluwają „chmurę punktów