NVIDIA Lyra 2.0 собирает 3D-мир из одной картинки

NVIDIA рассказала о Lyra 2.0, генеративной модели, которая по одному изображению строит трёхмерное окружение, по которому можно перемещаться. Пользователь сам задаёт путь камеры, а модель генерирует сцену вдоль этого маршрута. Исследователи решали проблему, знакомую всем, кто пробовал собирать окружение из сгенерированного видео: при долгом облёте сцена постепенно искажается, а участок, который камера уже прошла, при возвращении может выглядеть иначе. О модели компания написала в посте в X 6 ноября 2026 года. Статья, код и демонстрации собраны на странице проекта.

Как модель удерживает сцену целой

Lyra 2.0 соединяет два этапа. Сначала видеомодель генерирует проход камеры по сцене, затем этот ролик переводится в 3D реконструкцией за один проход, без пошаговой оптимизации сцены. В карточке модели на Hugging Face названы две проблемы длинных проходов: пространственное забывание, когда модель теряет то, что уже показывала, и накопление дрейфа, когда мелкие ошибки от кадра к кадру складываются в заметные искажения.

Против этого работают два механизма:

• Маршрутизация информации с учётом геометрии. Для каждого кадра модель хранит его 3D-геометрию и по ней находит подходящие прошлые кадры и соответствия между ними. Когда камера возвращается в уже показанное место, модель опирается на кадры, где оно уже было.
• Коррекция дрейфа. При обучении модели подавали истории, дополненные её собственными результатами с ошибками, чтобы она училась исправлять накопленные ошибки синтеза и не переносила их в следующие кадры.

По словам авторов, это даёт существенно более длинные траектории камеры, согласованные в 3D, которые затем реконструируются в высококачественные трёхмерные сцены. В компании формулируют это так:

«Lyra опирается на ранее сгенерированные виды и учится исправлять накапливающиеся визуальные ошибки, помогая миру оставаться согласованным, когда вы исследуете его и возвращаетесь в знакомые места».
— NVIDIA, пост в X

Что уже можно скачать

Lyra 2.0 вышла раньше этого поста. Судя по репозиторию проекта на GitHub, который ведёт NVIDIA Spatial Intelligence Lab, модель опубликовали 15 апреля 2026 года, а 20 июля к ней добавили графический интерфейс и код обучения. Первая версия, Lyra 1.0, появилась 23 сентября 2025 года и умела генерировать 3D- и 4D-сцены по одному изображению или видео.

Лицензии разделены. Исходный код Lyra распространяется под Apache 2.0, а для весов каждой версии действуют отдельные лицензии, на которые ссылается репозиторий. Карточка Lyra 1.0 указывает NVIDIA Open Model License и прямо говорит, что модель готова к коммерческому использованию. Условия по весам Lyra 2.0 имеет смысл проверить отдельно, прежде чем закладывать модель в коммерческий проект.

Формат результата подробно описан для первой версии: Lyra 1.0 выдаёт сцену в виде 3D Gaussian Splatting, рендерится в реальном времени и не требует 3D-датасетов для обучения, поскольку опирается на 3D-согласованность самого видео. Для Lyra 2.0 в карточке сказано только о реконструкции в «высококачественные 3D-сцены». Карточка Lyra 1.0 называет в качестве целевого железа NVIDIA A100 и H100 и Linux; для Lyra 2.0 требования к видеокарте не приводятся, время генерации одной сцены не указано ни для одной из версий.

Кому это пригодится и где границы

По нашей оценке, главное отличие Lyra 2.0 от привычных способов получить окружение по референсу — в объёме исходных данных. Фотограмметрии и классической реконструкции нужен набор снимков с разных точек, здесь хватает одного кадра, а недостающие ракурсы модель достраивает сама. Это делает её интересной для превиза, концепт-арта и быстрого блокаута окружений: из одного концепта можно получить пространство, по которому проходит камера, и проверить композицию с разных точек.

Есть и ограничения. Если результат, как у первой версии, представлен гауссовыми сплатами, это не полигональная сетка с UV и материалами: для игрового движка или классического DCC-пайплайна сцену, вероятно, придётся конвертировать или перестраивать. Сгенерированная геометрия достроена нейросетью, поэтому для точной архитектурной визуализации она вряд ли подойдёт. Если требования Lyra 2.0 близки к первой версии, ориентированной на серверные A100 и H100, на рабочей станции художника её запуск может оказаться непростым, а без данных о скорости трудно оценить, впишется ли генерация в рабочий цикл. Наличие GUI снижает порог входа, но с установкой и лицензиями весов придётся разбираться самостоятельно.

Зачем NVIDIA выкладывает Lyra 2.0 в открытый доступ: ради спроса на серверные GPU, гонки world models или борьбы за разработчиков?