NVIDIA udostępnia framework Cosmos do trenowania i uruchamiania modeli światów

Kiedy programiści mówią o sieciach multimodalnych, zazwyczaj mają na myśli kombinację tekstu i obrazów. NVIDIA poszło dalej i wydało rodzinę Cosmos 3 — modele światów, w których tekst, wideo, audio i sekwencje fizycznych działań są łączone w pojedynczej architekturze Mixture-of-Transformers. Aby pracować z tą rodziną, firma udostępniła repozytorium cosmos-framework.

Co kryje się wewnątrz frameworka

Kod źródłowy jest zbundlowany w pojedynczy pakiet Pythona cosmos_framework. Projekt jest przeznaczony dla inżynierów, którzy potrzebują dostroić modele multimodalne do konkretnych zadań lub wdrożyć je do produkcji. Jeśli pracujesz nad robotyką lub generowaniem wideo z kontrolowalnym zachowaniem, to repozytorium zaoszczędzi Ci mnóstwo czasu na pisaniu kodu szablonowego.

Cała logika jest podzielona na dwa główne bloki.

Pierwszy blok odpowiada za rozproszony trening. Narzędzie obsługuje równoległość FSDP, tensorową (TP), kontekstową (CP) i potokową (PP). Checkpointy są zapisywane w formacie DCP, ale kod zawiera konwersję do znanego formatu HuggingFace safetensors. Przygotowanie danych jest uproszczone dzięki gotowym adapterom dla formatów JSONL, WebDataset, HuggingFace i LeRobot. Główny skrypt uruchomieniowy znajduje się pod adresem cosmos_framework.scripts.train.

Drugi blok obsługuje inferencję. Pod maską możesz używać backendów Diffusers, Transformers, vLLM lub własnych wrapperów. Do generowania w tle dostępny jest tryb offline, a do tworzenia API wdrożony jest stos Ray i Gradio. Inferencja jest uruchamiana przez moduł cosmos_framework.scripts.inference.

Do zadań robotycznych framework zawiera Policy Server. Obsługuje model Cosmos3-Policy-DROID i przekazuje generowane polecenia bezpośrednio do aktuatorów.

Wymagania sprzętowe i pierwsze uruchomienie

Apetyt sprzętowy projektu jest znaczny. Gotowe konfiguracje z folderu examples były testowane na serwerach wyposażonych w 8 kart NVIDIA H100 80GB. Możesz dostosować stopień równoległości i parametry sharding poprzez NPROC_PER_NODE i ustawienia FSDP, ale trenowanie modelu na pojedynczej karcie konsumenckiej nie będzie możliwe.

Projekt wykorzystuje menedżer pakietów uv do konfiguracji środowiska. Autorzy zalecają rozpoczęcie od oficjalnego obrazu Docker NVIDIA NGC (nvcr.io/nvidia/pytorch:25.09-py3).

Instalacja zależności systemowych wygląda następująco:

sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libx11-dev tree wget

Tworzenie środowiska wirtualnego dla CUDA 13.0 odbywa się jednym poleceniem:

uv sync --all-extras --group=cu130-train
source .venv/bin/activate && export LD_LIBRARY_PATH=

Aby przetestować inferencję na pojedynczej karcie GPU, repozytorium zawiera gotowy preset:

python -m cosmos_framework.scripts.inference \
    --parallelism-preset=latency \
    -i "inputs/omni/t2v.json" \
    -o outputs/omni_nano \
    --checkpoint-path Cosmos3-Nano \
    --seed=0

Automatyczna integracja z agentami kodującymi

Ciekawe szczegóły: autorzy wbudowali obsługę asystentów AI w strukturę repozytorium. Katalog .agents/skills/ zawiera gotowe instrukcje dla Cursor, Claude Code i Codex CLI.

Wewnątrz znajdziesz kilka plików w formacie SKILL.md. Każda instrukcja obejmuje swój własny obszar:

• Konfiguracja środowiska, pobieranie wag i praca z Dockerem
• Nawigacja po plikach pakietu cosmos_framework
• Konfiguracja inferencji i parametrów równoległości
• Pełny cykl fine-tuningu SFT od przygotowania danych po eksport
• Diagnozowanie błędów CUDA, OOM i awarii kontenerów

Gdy poprosisz Claude Code lub Cursor o naprawienie błędu importu lub zmodyfikowanie parametru w skrypcie uruchomieniowym, agent automatycznie załaduje odpowiedni plik z instrukcjami z katalogu .agents/skills/.

Czy warto wypróbować

Framework będzie przydatny dla zespołów robotycznych i deweloperów systemów generatywnego wideo. Repozytorium jest jeszcze młode, ale zawiera już kompletny zestaw narzędzi do workflow modelu: od ładowania zbiorów danych po kontrolę sprzętu fizycznego.

Jeśli masz dostęp do klastrów GPU i szukasz gotowego frameworka do eksperymentowania z modelami światów, sprawdź cosmos-framework. Skrypty z folderu examples dadzą Ci dobry start.