NVIDIA представляет Neuralangelo: ИИ для преобразования 2D-видео в 3D-объекты

Компания NVIDIA представила новую модель искусственного интеллекта Neuralangelo, способную создавать 3D-копии объектов на основе 2D-видео, включая классические скульптуры, автомобили и здания. Neuralangelo анализирует несколько кадров из 2D-видео, чтобы получить полное представление о форме, размере и глубине объекта. Затем модель создает первичное 3D-представление объекта и оптимизирует его, чтобы передать максимально точные детали реального объекта.

Компания заявляет, что Neuralangelo использует передовые технологии своего предшественника — Instant NeRF, чтобы воспроизводить даже самые мельчайшие детали объектов, включая текстуры, узоры и цветовые оттенки. Она особенно хорошо справляется с передачей сложных текстур, таких как шероховатость кровельной черепицы и гладкость мрамора, превосходя предыдущие методы. Neuralangelo также позволяет создавать виртуальные объекты из видео, снятого на смартфоны, что упрощает задачу создания 3D-реконструкций для различных проектов. Более того, эта модель работает быстро: исследователи из NVIDIA сообщают, что она может создавать 3D-сцены всего за два часа.

Минг-Ю Лю, соавтор статьи о Neuralangelo, подчеркнул, что в конечном итоге эта технология позволит разработчикам импортировать детализированные объекты, будь то небольшие статуи или огромные здания, в виртуальные среды для видеоигр или создания цифровых двойников в промышленности. В представленном видео продемонстрированы возможности этой технологии.

Компания NVIDIA утверждает, что Neuralangelo способна создавать пейзажи в большом масштабе из видео, снятого с помощью дронов, что облегчает задачу разработчикам воссоздания реальных мест в их играх. Эта модель также имеет множество других потенциальных применений, включая робототехнику, виртуальную реальность, архитектуру и, конечно же, искусство.
Исследовательский отдел компании представит Neuralangelo на конференции по компьютерному зрению и распознаванию образов, которая состоится с 18 по 22 июня в Ванкувере.

725 0 850 5
33
2023-06-03
А вот это уже что-то...
2023-06-03
[quote]эта технология позволит[/quote]Кнопки "скачать" на сайте нету. Значит не позволит.
2023-06-03
Наконец-то сканы докрутили. Интересно как справляется с подвижными объектами типа листьев и длинных платьев.
Но, любом случае, чистить придется теперь меньше.
2023-06-04
Скоро 3дшники будут заменены
2023-06-04
Sir, нет.
2023-06-04
Sir AlbusСкоро 3дшники будут заменены
Моделлеры точней. Ну и хорошо, крутится, игратся тока останется в сфере 3д)
2023-06-04
Ну все,пипец 3дэшке..останутся "кустари -одиночки с мотором"!😁
2023-06-04
А чем это от NERf отличается?
2023-06-05
Пока что похоже на обычные сканы с геометрией, которую увы потом ещё чистить и чистить. Такое давно уже делают. Вот если отсканированные объекты попытаются заанимировать ещё, а то зачем они литые нужны? Двери машины открыть там, колёса закрутить, стёкла не распознались. Вот произведения искусства, конечно, лучше сканировать.
2023-06-05
Joe MitchellНаконец-то сканы докрутили. Интересно как справляется с подвижными объектами типа листьев и длинных платьев.
Но, любом случае, чистить придется теперь меньше.

интересно как это будет работать с блестящими и отражаюцими поверхностями а так же преломляемыми.
2023-06-05
всё пацаны... это 3д ))
2023-06-05
Дженн Д.Пока что похоже на обычные сканы с геометрией, которую увы потом ещё чистить и чистить.

Вопрос времени и вряд ли продолжительного, - как раз чистка базового меша (тот же "обычный скан"), это самая рациональная задача для нейронки, особенно, если в специализированной области (для тех же музейных работ, к примеру, где она может быть натаскана на похожих задачах, и далее конвейер).
2023-06-05
kroket
как раз чистка базового меша (тот же "обычный скан"), это самая рациональная задача для нейронки, особенно, если в специализированной области
Тогда почему до сих пор не занялись чисткой той же ретопологии или UV?

З.Ы. Очередная революция от nvidia, которая в итоге станет игрушкой а-ля rtx.
2023-06-05
Дмитрий Волков Тогда почему до сих пор не занялись чисткой той же ретопологии или UV?

З.Ы. Очередная революция от nvidia, которая в итоге станет игрушкой а-ля rtx.

Ну rt ядра очень в рендерах помогают, гораздо быстрее, в играх я отключаю трассировку сильно фпс просаживает даже в 1080р а длсс мылит
2023-06-05
Лис БелыйНу все,пипец 3дэшке..останутся "кустари -одиночки с мотором"!😁

Обычный 3д скан тока из видео, что то не видел чтоб 3д скан убил тридешников
2023-06-05
Дмитрий ВолковТогда почему до сих пор не занялись чисткой той же ретопологии или UV?

Откуда такая информация, что не занялись? Если об этом нет в новостях, это не значит, что работы не ведутся или даже не проведены, протестированы и может даже вовсю используются не первый год, просто пока не для всех, а теми, кто вложился в разработку.
2023-06-05
kroket
Откуда такая информация, что не занялись? Если об этом нет в новостях, это не значит, что работы не ведутся или даже не проведены, протестированы и может даже вовсю используются не первый год, просто пока не для всех, а теми, кто вложился в разработку.

Откуда информация, что занялись? Вот когда появится результат работы в свободном или коммерческом доступе, тогда и будем говорить, что работы провели, протестировали и далее по списку. А данный момент ничего не сделано.

Виктор Бучинский (Pir)
в играх я отключаю трассировку сильно фпс просаживает даже в 1080р а длсс мылит
О чём и речь - революция не удалась, rtx нашли свое нишевое применение, но не более того.
2023-06-05
Дмитрий ВолковО чём и речь - революция не удалась, rtx нашли свое нишевое применение, но не более того.

Я бы не сказал что нишевая, скорее всего скоро она будет по дефолту во всех играх, просто не будут упоминать, как физикс сейчас, на котором почти вся физика работает только уже не пишут при старте что он есть
2023-06-05
Виктор Бучинский (Pir)Я бы не сказал что нишевая, скорее всего скоро она будет по дефолту во всех играх, просто не будут упоминать, как физикс сейчас, на котором почти вся физика работает только уже не пишут при старте что он есть

Новое поколение видеокарт от nvidia говорит об обратном: они увеличивают ценник, урезая шину и память до такой степени, что новое поколение иногда даже уступает старому. Также не стоит забывать о консолях, где лишними фпс не разбрасываются ради маркетинга. А о "физиксе" как о мертвом можно либо хорошо, либо никак.
2023-06-05
Sir, вообще нет
2023-06-06
А по-моему, выглядит как утка подсадная. Вот тебе говорят "снято на телефон", а смотришь - будто дроном облетели. И второй момент: для кого доступен данный инструмент? Сделали для себя? Молодцы, а остальные довольствуются верой в то, что "оно существует", да?
2023-06-06
Жильбер, а кто будет тогда?
2023-06-06
Sir, кто будет заменен? Хз. Пока 2дшники ближе всех, но даже им еще далековато
2023-06-06
Теперь ещё бы этой самой ИИ научиться разделять всю эту кашу слипшуюся на отдельные меши ))) А то сейчас что колонна здания, что деревянная балка, всё одним мешем))
2023-06-06
ну это же буквально модернизированная фотограмметрия
2023-06-06
Жильбер, ну если власти не забьют на беспредел с авторскими правами и нейронщики получат по рылу за скам, то мб всё образумится как-то
2023-06-07
Сканы и сканы... . Или тут какой-то улучшенный алгоритм в сравнении с той же Реалити Кэпчур? Видос не продемонстрировал какие-то чудеса нейронки, где она на выходе дает сносную хайпольку.
2023-06-08
Вы видели эти деревья возле карусели? Это не деревья, а вата на палочке. А мрамор действительно гладкий? Поцарапаться можно.
2023-06-08
вот моей командой работаем над этим. основная проблема в том, что большинство существующих наработок в этой теме анализирует облако точек. конечно всегда можно конвертировать одно в другое, но есть побочные эффекты
2023-06-08
Sir, ну рукожопы и халявщики как были на 80% без работы, так и остануться. у кого бед с башкой нет - всегда найдёт себя
2023-06-08
Катя, не переживай. На наш с тобой век и правнукам нашим будет работа в 3д)))
2023-08-16
Sir AlbusСкоро 3дшники будут заменены

Да. 3дшникам всё. Скоро нейронки смогут генерить изображения модели с разных ракурсов и строить модель. А то и целую локацию
2023-08-16
Андрей Козлов (Andrey3D)А чем это от NERf отличается?

всем. НЕрф это ничто по сравнению с этим. Нвидиа может взять пачку изображений нагенереных в стейбле и сделать из этого неплохую модель. Любой школотрон сможет сделать то над чем раньше приходилось работать неделю. Еще появится нейронка которая по промтам будет генерить картинки и шлифовать модель хоть по миллиону изображений. Не нужно ползать с камерой и снимать объект. Я даже сейчас знаю как этим надо пользоваться. Берем SD обучаем модель на определенный LORA подрубаем редактор поз чтобы модель замерла и просим снимать с любого ракурса. Автоматизируем отправку в эту нейронку. И получаем через пару часов охринительно сложную модель которую вы ручками бы делали неделю
Увидим Neuralangelo в automatic1111 черезз 2 недели
3дшники скоро начнут вымирать как сейчас вмирают программисты благодаря GPT
RENDER.RU