NVIDIA открыла модели Cosmos 3 для потоковой симуляции мира

NVIDIA выложила четыре открытые модели семейства Cosmos 3. Они генерируют то, что должны увидеть сенсоры машины или робота: синхронное видео с нескольких камер, данные LiDAR и картинку для управляющей нейросети. Часть моделей работает в потоковом режиме: они выдают кадры по ходу симуляции и реагируют на действия агента.

Все четыре чекпойнта дообучены из Cosmos 3 Nano, у каждого 16 млрд обучаемых параметров. Распространяются они по лицензии OpenMDW1.1, которая на её условиях разрешает коммерческое и некоммерческое использование. Вместе с весами NVIDIA опубликовала технический отчёт, демонстрации, запись трансляции Cosmos Labs и рецепты дообучения. Анонс вышел в блоге NVIDIA на Hugging Face 5 ноября 2026 года.

Четыре модели под четыре задачи

• Cosmos3-Nano-Transfer-Auto генерирует данные вождения в офлайн-режиме. Модель выдаёт синхронизированное видео максимум с 11 камер, в том числе с объективов «рыбий глаз», и умеет генерировать цветную картинку вместе с данными LiDAR. Ракурсы всех камер синхронизированы между собой.
• Cosmos3-Nano-Sim-Auto — потоковая версия Transfer-Auto. Её дистиллировали так, чтобы каждый следующий фрагмент опирался только на уже сгенерированные. Камеру и LiDAR она генерирует за несколько шагов шумоподавления, поэтому подходит для интерактивной симуляции: машина действует, сцена откликается.
• Cosmos3-Nano-Sim-Transfer берёт из симулятора пространственные управляющие сигналы (глубину, сегментацию, контуры, размытую раскладку сцены) и вместе с текстовым запросом превращает их в фотореалистичное цветное видео. Это видео затем получает на вход управляющая модель робота или автомобиля.
• Cosmos3-Nano-Sim-Bimanual интерактивно симулирует двуруких роботов YAM и AgiBot. Управлять ими может обученная политика или живой оператор с джойстиками. В примере со смешанными действиями на вход идут 59 управляющих значений, при обучении их дополняют до 64.

Для технического художника, который собирает сцены для симуляции, наиболее интересен Sim-Transfer. Физику, контакты и состояние сцены по-прежнему считает симулятор, а внешний вид кадра задаёт текстовый запрос. Вероятно, при таком подходе часть визуальной доводки окружения материалами и светом можно переложить на модель.

Как устроены модели и что нужно для запуска

В основе Cosmos 3 лежит архитектура Mixture-of-Transformers: обработкой текста и генерацией изображения занимаются отдельные сети, связанные механизмом внимания. После стартового изображения каждый шаг во внутреннем представлении модели соответствует четырём кадрам RGB. Обучение потоковых вариантов идёт в четыре этапа: сначала модель адаптируют к двунаправленной генерации, затем учат продолжать последовательность, потом дистиллируют, а в конце дообучают на собственных генерациях. На этапе дистилляции модель-ученик генерирует каждый фрагмент видео за четыре шага шумоподавления. Рецепты начинаются с весов Cosmos3-Nano или совместимых базовых весов и покрывают все четыре этапа, так что модели можно адаптировать под свой набор камер или своего робота.

Для запуска нужны Linux, видеокарта NVIDIA, Docker и NVIDIA Container Toolkit. Инструкции по инференсу и готовые ноутбуки лежат в репозитории cosmos-framework: для Transfer-Auto, Sim-Auto и Sim-Transfer, а для Sim-Bimanual описан формат данных для дообучения. Минимальных требований к видеопамяти NVIDIA не называет. Опубликованную конфигурацию для Sim-Bimanual проверяли на одном серверном ускорителе GB200, и компания прямо оговаривает, что это не минимальная спецификация. Сколько памяти хватит на рабочей станции, в материалах не сказано.

Сама NVIDIA подаёт релиз как общую отправную точку для исследователей и разработчиков:

«Впереди работа по измерению того, где модели достоверно поддерживают обучение и оценку политик, по пониманию их ограничений и по улучшению там, где они не дотягивают».

Так в анонсе сформулированы следующие шаги команды Cosmos. Чисел о качестве и скорости потоковых вариантов в анонсе нет; подробности об архитектуре семейства изложены в техническом отчёте Cosmos 3.

Куда это встраивается

Cosmos 3 вышел в мае 2026 года, в июле NVIDIA добавила облегчённую версию Cosmos3-Edge на 4 млрд параметров для запуска прямо на устройстве: Jetson AGX Orin, Thor и RTX Pro 6000. В пайплайне NVIDIA для беспилотников реальные заезды сначала реконструируют в 3D через Omniverse NuRec на основе гауссовых библиотек. Затем модели Cosmos и Cosmos-Dreams генерируют вариации сцен с другой погодой, освещением и редкими ситуациями, а проверка идёт в замкнутом цикле в открытом симуляторе AlpaSim. По данным NVIDIA, модели Cosmos для синтеза данных вождения применяют Oxa, Plus и Uber.

Судя по составу релиза, NVIDIA сдвигает генеративные модели из роли офлайн-генератора датасетов ближе к роли самого симулятора: Sim-Auto и Sim-Bimanual интерактивно отвечают на действия, а Sim-Transfer может взять на себя фотореалистичную картинку. Для тех, кто строит сцены для обучения роботов и автопилотов, это потенциально снижает требования к визуальной доводке окружения, но добавляет зависимость от железа NVIDIA и вопрос, насколько сгенерированный кадр физически точен. Оценку этого компания сама называет дальнейшей работой. Для художников вне робототехники и автопрома прикладной пользы, вероятно, немного: модели заточены под сенсоры, многокамерные риги и управляющие сигналы роботов.

Почему NVIDIA открывает Cosmos 3 для коммерческого использования: продвижение своего железа, гонка за стандартом симуляции, нехватка реальных данных?