NVIDIA、World Modelsの学習と実行のためのCosmosフレームワークを開放

開発者がマルチモーダルネットワークについて話す場合、通常はテキストと画像の組み合わせを指します。NVIDIAはさらに踏み込み、Cosmos 3ファミリーを公開しました——テキスト、ビデオ、オーディオ、身体動作のシーケンスが1つのMixture-of-Transformersアーキテクチャで統合されたworld modelsです。このファミリーを扱うために、同社はリポジトリ cosmos-framework を公開しました。

フレームワークの中身

コードベースは単一のPythonパッケージ cosmos_framework にバンドルされています。このプロジェクトは、マルチモーダルモデルを特定のタスク用にファインチューンしたり、本番環境にデプロイする必要があるエンジニア向けに設計されています。ロボティクスや制御可能な動作を持つビデオ生成に取り組んでいる場合、このリポジトリはボイラープレートコードの記述に多くの時間を節約してくれるでしょう。

すべてのロジックは2つの主要なブロックに分かれています。

最初のブロックは分散学習を処理します。このツールはFSDP、テンソル(TP)、コンテキスト(CP)、パイプライン(PP)並列性をサポートしています。チェックポイントはDCP形式で保存されますが、コードには使い慣れたHuggingFace safetensors への変換が含まれています。データ準備は、JSONL、WebDataset、HuggingFace、LeRobot用の готов-made アダプターで簡素化されています。メインの起動スクリプトは cosmos_framework.scripts.train にあります。

2番目のブロックは推論を処理します。内部では、Diffusers、Transformers、vLLMバックエンド、またはカスタムラッパーを使用できます。バックグラウンド生成にはオフラインモードが、API作成にはRayとGradioスタックがデプロイされています。推論は cosmos_framework.scripts.inference モジュールを通じて起動されます。

ロボティクスタスク向けに、フレームワークにはPolicy Serverが含まれています。Cosmos3-Policy-DROIDモデルをサーブし、生成されたコマンドを直接アクチュエータに渡します。

ハードウェア要件と最初の起動

プロジェクトのハードウェア需要は相当なものです。 examples フォルダからの готов-made 設定は、8枚のNVIDIA H100 80GBカードを持つサーバーでテストされました。並列度とシャーディングのパラメータは NPROC_PER_NODE とFSDP設定を通じて調整できますが、コンシューマーGPU1枚でモデルを学習することは不可能です。

プロジェクトは環境セットアップに uv パッケージマネージャーを使用しています。著者は公式のNVIDIA NGC Dockerイメージ (nvcr.io/nvidia/pytorch:25.09-py3) から始めることを推奨しています。

システム依存関係のインストールは次のようになります:

sudo apt-get install -y --no-install-recommends curl ffmpeg git-lfs libx11-dev tree wget

CUDA 13.0用の仮想環境構築は1つのコマンドで完了します:

uv sync --all-extras --group=cu130-train
source .venv/bin/activate && export LD_LIBRARY_PATH=

単一GPUでの推論をテストするために、リポジトリには готов-made プリセットが含まれています:

python -m cosmos_framework.scripts.inference \
    --parallelism-preset=latency \
    -i "inputs/omni/t2v.json" \
    -o outputs/omni_nano \
    --checkpoint-path Cosmos3-Nano \
    --seed=0

コーディングエージェントとの自動統合

興味深い詳細として、著者はリポジトリ構造にAIアシスタントサポートを組み込んでいます。 .agents/skills/ ディレクトリには、Cursor、Claude Code、Codex CLI用の готов-made 命令が含まれています。

内部には SKILL.md 形式の複数のファイルがあります。各命令はそれぞれの領域をカバーしています:

• 環境のセットアップ、重みのダウンロード、Dockerでの作業
• cosmos_framework パッケージファイルのナビゲーション
• 推論と並列性パラメータの設定
• データ準備からエクスポートまでの完全なSFTファインチューニングサイクル
• CUDAエラー、OOM、コンテナクラッシュの診断

Claude CodeやCursorにインポートエラーの修正や起動スクリプトのパラメータ変更を依頼すると、エージェントは自動的に .agents/skills/ ディレクトリから対応するルールファイルをロードします。

試す価値はあるか

このフレームワークは、ロボティクスチームや生成ビデオシステム開発者にとって有用です。リポジトリはまだ若いですが、データセットのロードから物理ハードウェアの制御まで、モデルワークフロー用の完全なツールセットがすで含まれています。

GPUクラスターへのアクセスがあり、world modelsで実験するための готов-made フレームワークを探している場合は、 cosmos-framework をチェックしてください。 examples フォルダのスクリプトが、良いスタートになるでしょう。