NVIDIA öffnet Cosmos-Framework für Training und Ausführung von World Models

Wenn Entwickler über multimodale Netzwerke sprechen, meinen sie normalerweise eine Kombination aus Text und Bildern. NVIDIA ging einen Schritt weiter und veröffentlichte die Cosmos-3-Familie — World Models, bei denen Text, Video, Audio und Sequenzen physischer Aktionen in einer einzelnen Mixture-of-Transformers-Architektur kombiniert werden. Für die Arbeit mit dieser Familie hat das Unternehmen ein Repository cosmos-framework veröffentlicht.

Was steckt im Framework

Die Codebasis ist in einem einzigen Python-Paket gebündelt cosmos_framework. Das Projekt richtet sich an Ingenieure, die multimodale Modelle für spezifische Aufgaben feintunen oder in die Produktion deployen möchten. Wenn Sie an Robotik oder Videogenerierung mit steuerbarem Verhalten arbeiten, spart Ihnen dieses Repository viel Zeit beim Schreiben von Boilerplate-Code.

Die gesamte Logik ist in zwei Hauptblöcke unterteilt.

Der erste Block verarbeitet verteiltes Training. Das Tool unterstützt FSDP, Tensor- (TP), Context- (CP) und Pipeline-Parallelität (PP). Checkpoints werden im DCP-Format gespeichert, der Code enthält jedoch Konvertierung in das vertraute HuggingFace-Format safetensors. Die Datenvorbereitung wird mit fertigen Adaptern für JSONL, WebDataset, HuggingFace und LeRobot vereinfacht. Das Hauptskript zum Starten befindet sich unter cosmos_framework.scripts.train.

Der zweite Block verarbeitet Inference. Im Hintergrund können Sie Diffusers, Transformers, vLLM-Backends oder benutzerdefinierte Wrapper verwenden. Für die Hintergrundgenerierung ist ein Offline-Modus verfügbar, und für die API-Erstellung wird ein Ray- und Gradio-Stack bereitgestellt. Inference wird über das Modul cosmos_framework.scripts.inference gestartet.

Für Robotik-Aufgaben enthält das Framework einen Policy Server. Er bedient das Cosmos3-Policy-DROID-Modell und leitet generierte Befehle direkt an Aktoren weiter.

Hardware-Anforderungen und erster Start

Der Hardware-Hunger des Projekts ist beträchtlich. Fertige Konfigurationen aus dem Ordner examples wurden auf Servern mit 8 NVIDIA-H100-80GB-Karten getestet. Sie können den Parallelitätsgrad und die Sharding-Parameter über NPROC_PER_NODE und FSDP-Einstellungen anpassen, aber das Training eines Modells auf einer einzelnen Consumer-GPU wird nicht möglich sein.

Das Projekt verwendet den uv-Paketmanager für die Umgebungseinrichtung. Die Autoren empfehlen, mit dem offiziellen NVIDIA-NGC-Docker-Image (nvcr.io/nvidia/pytorch:25.09-py3) zu beginnen.

Die Installation von Systemabhängigkeiten sieht folgendermaßen aus:

sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libx11-dev tree wget

Der Aufbau einer virtuellen Umgebung für CUDA 13.0 erfolgt mit einem einzigen Befehl:

uv sync --all-extras --group=cu130-train
source .venv/bin/activate && export LD_LIBRARY_PATH=

Um Inference auf einer einzelnen GPU zu testen, enthält das Repository ein fertiges Preset:

python -m cosmos_framework.scripts.inference \
    --parallelism-preset=latency \
    -i "inputs/omni/t2v.json" \
    -o outputs/omni_nano \
    --checkpoint-path Cosmos3-Nano \
    --seed=0

Automatische Integration mit Coding-Agents

Ein interessantes Detail: Die Autoren haben AI-Assistent-Unterstützung in die Repository-Struktur eingebaut. Das Verzeichnis .agents/skills/ enthält fertige Anweisungen für Cursor, Claude Code und Codex CLI.

Darin finden Sie mehrere Dateien im Format SKILL.md. Jede Anweisung deckt ihren eigenen Bereich ab:

• Umgebungseinrichtung, Gewichtungs-Download und Arbeit mit Docker
• Navigation durch die cosmos_framework-Paketdateien
• Inference- und Parallelitätsparameterkonfiguration
• Vollständiger SFT-Finetuning-Zyklus von der Datenvorbereitung bis zum Export
• Diagnose von CUDA-Fehlern, OOM und Container-Abstürzen

Wenn Sie Claude Code oder Cursor bitten, einen Importfehler zu beheben oder einen Parameter im Startskript zu ändern, lädt der Agent automatisch die entsprechende Regeln-Datei aus dem Verzeichnis .agents/skills/.

Lohnt es sich, es zu versuchen

Das Framework ist für Robotik-Teams und Entwickler generativer Videosysteme nützlich. Das Repository ist noch jung, enthält aber bereits ein vollständiges Toolset für den Modell-Workflow: vom Laden des Datensatzes bis zur Steuerung physischer Hardware.

Wenn Sie Zugang zu GPU-Clustern haben und ein fertiges Framework für Experimente mit World Models suchen, schauen Sie sich cosmos-framework an. Skripte aus dem Ordner examples geben Ihnen einen guten Start.