NVIDIA уместила 3D-реконструкцию по фото в 117 млн параметров

NVIDIA вместе с исследователями из Университета Модены и Реджо-Эмилии, Университета Торонто и ETH Zurich выпустила Déjà View. Это нейросеть, которая по фотографиям объекта или сцены, снятым с разных ракурсов, восстанавливает положения камер и плотную геометрию. В модели 117 млн параметров. По заявлению компании в посте в X, на пяти бенчмарках она не уступает моделям до 10 раз крупнее или обходит их, причём при сопоставимых или меньших вычислительных затратах.

Главная особенность в том, что объём вычислений можно выбирать при запуске. Одна и та же модель работает быстрее или тщательнее в зависимости от того, сколько шагов уточнения ей задать, и для этого не нужно обучать отдельные модели разного размера. Статья о Déjà View принята на NeurIPS 2026 в формате устного доклада.

Один блок вместо десятков слоёв

Современные трансформеры для реконструкции по нескольким кадрам, как пишут авторы на странице проекта, разрослись до более чем миллиарда параметров. Исследователи исходят из того, что соседние слои таких сетей часто выполняют похожую работу и постепенно уточняют один и тот же результат. Отсюда их тезис: глубина модели отчасти покупает повторные итерации и оплачивает их уникальными параметрами, то есть неэффективно.

Déjà View делает эту итерацию явной. Вместо стопки разных слоёв сеть многократно прогоняет данные через один общий блок трансформера. Каждый проход уточняет оценку для каждого кадра. Модель обучают один раз, а число повторений выбирают уже при запуске. Выложенная контрольная точка рассчитана на диапазон от 8 до 16 шагов.

«Исследователи могут подбирать число повторений под свой вычислительный бюджет».

Так компания описала эту возможность в анонсе. Авторы проверили и альтернативу: такую же сеть, где у каждого шага свои отдельные параметры. При одинаковых обучающих данных и вычислениях вариант с одним повторяемым блоком оказался лучше.

Что модель выдаёт и с кем её сравнивали

На вход подаётся неупорядоченный набор RGB-снимков без известных положений камер или видео. За один проход модель выдаёт:

• карты глубины для каждого пикселя;
• карты лучей, из которых получаются 3D-точки;
• внутренние и внешние параметры камеры для каждого кадра, то есть фокусное расстояние и положение в пространстве;
• оценку уверенности.

Сравнение шло на пяти наборах данных: интерьеры, уличные сцены, отдельные объекты и съёмка с автомобиля. Против π³ и старшей версии Depth Anything 3 у Déjà View, по данным NVIDIA, в 8–10 раз меньше параметров и в 1,9–2,3 раза меньше вычислений. В репозитории лежат обёртки для проверки на тех же тестах пяти конкурентов: VGGT, VGGT-Omega, Depth Anything 3, MapAnything и π³, так что результаты можно перепроверить самостоятельно.

Где взять и что с лицензией

Код для запуска модели, код оценки и обучения выложены в репозитории на GitHub. Там же есть инструменты визуализации результатов на базе Rerun. Веса опубликованы на Hugging Face.

Для студий здесь важна разница в лицензиях. Исходный код в основном распространяется под Apache 2.0. Веса и конфигурации выпущены под NVIDIA License: на странице модели сказано, что она предназначена только для исследований и разработки, а в репозитории лицензия весов названа некоммерческой, только для исследований и оценки. Поэтому использовать модель в коммерческом заказе по визуализации или сканированию, судя по условиям, нельзя.

Что это значит для тех, кто снимает и сканирует

Для 3D-художника и визуализатора первый этап фотограмметрии — понять, откуда снят каждый кадр. Классические пакеты решают это сопоставлением точек между снимками, и на больших съёмках этот шаг занимает заметное время. Модели вроде Déjà View дают камеры и глубину сразу, одним проходом. Компактность здесь практична: 117 млн параметров против моделей, перешагнувших миллиард, вероятно, означает запуск на более скромном железе. Однако конкретных требований к видеопамяти и ограничений по числу кадров авторы в открытых материалах не приводят.

Есть и рамки. На выходе нет меша или текстур: это глубина, точки и камеры, а сборку геометрии придётся делать другими инструментами. Поведение на бликующих и прозрачных поверхностях, в динамичных и очень больших сценах в доступных материалах не описано. Пока это исследовательский инструмент. Его ценность для продакшена, вероятно, прежде всего в подходе: если повторяемый блок действительно экономит параметры без потери точности, такую схему могут перенять и модели с коммерческой лицензией.

Перейдут ли крупные модели реконструкции на один повторяемый блок вместо стопки слоёв? Или Déjà View так и останется исследовательским экспериментом?