3Dpresso - 3D модели из видео

Уже давно существует ряд инструментов для реконструкции 3D моделей по фотографиям реальных объектов, некоторые из них даже доступны бесплатно, 3Dpresso отличается от них рядом особенностей.

Во-первых, его движок MateRECON сочетает традиционную фотограмметрию NeRF (Nural Radiance Fields) для создания и оптимизации объёмного представления 3D объекта из набора исходных изображений.
Движок создаёт "более точные и стабильные реконструкции", нежели традиционные инструменты, особенно для поверхностей без текстуры или отражающих поверхностей, которые фотограмметрия не в состоянии точно воссоздать.
Во-вторых, 3Dpresso вскоре будет использовать генеративный искусственный интеллект для создания различных текстурных карт для 3D моделей, причём пользователи смогут вводить обычные текстовые подсказки для определения внешнего вида создаваемых текстур.

Сам процесс создания 3D модели при помощи 3Dpresso начинается с загрузки видео 3D объекта, который был снят на смартфон или цифровую камеру, перемещаясь вокруг него, чтобы продемонстрировать его со всех сторон.
Для этого потребуется около минуты видео, на котором показаны два полных 360 градусных облёта вокруг объекта, один снят лицом вперед, а другой под углом, чтобы показать верхнюю часть объекта, как описано в видео руководстве.
Чем выше качестве видео, тем лучше получается результат - Recon Labs рекомендует загружать кадры в формате 4K, а на канале 3Dpresso на YouTube есть примеры подходящих видео для реконструкции пропсов, мебели и одежды.
После чего видео обрабатывается на серверах Recon Labs, что в среднем занимает "менее 30 минут", после чего 3Dpresso отправляет по электронной почте ссылку на скачивание, после завершения обработки.

video_guide.gif

Полученную модель можно загрузить в формате GLB или OBJ с диффузной текстурой 1024x1024 пикселей. Качество выглядит вполне подходящим для использования в реалтайм приложениях, включая игры и проекты дополненной реальности, конечно после некоторой доработки.
3Dpresso также имеет функцию AI текстурирования, которая позволяет генерировать различные карты текстур, набирая текстом такие подсказки, как "голубой кристалл" или "гиперреализм", чтобы определить визуальный стиль результата.
На данный момент функция находится в альфа версии, поэтому её нельзя использовать с моделями, которые вы создаёте сами. Recon Labs также планирует запустить мобильное приложение, позволяющее загружать видео непосредственно с телефона.

main_variation.png

3Dpresso находится в стадии бета тестирования, его можно использовать совершенно бесплатно, софт работает через веб интерфейс, поэтому должен работать с любым стандартным браузером. Дата коммерческого релиза и стоимость ещё не объявлены.
Политика авторского права даёт Recon Labs неисключительную лицензию на использование всего, что загружено на 3Dpresso, в своих рекламных материалах, поэтому он не подходит для чего-то коммерчески важного.

571 0 850 4
8
2023-04-04
После загрузки видео предлагает подождать 35 минут. Наверно, за это время индусы моделят модельку. Посмотрим, чего намоделят.)
2023-04-04
ProcXel.AПосле загрузки видео предлагает подождать 35 минут. Наверно, за это время индусы моделят модельку. Посмотрим, чего намоделят.)

:D
2023-04-04
В общем, пока-что стандартный радар-лидар-скан-вотэтовотвсё. За бесплатно пойдёт.)



[quote]Качество выглядит вполне подходящим для использования в реалтайм приложениях, включая игры и проекты дополненной реальности, конечно после некоторой доработки.[/quote]
Ну, если только хорроры...



Либо нужно, наверно, видео в 4К 60ФПС заливать...
2023-04-04
Ну как обычно все криво получается, пока еще ничего нового не придумали...
2023-04-04
Главное в конце прикрутить слово ИИ) Прогресс уже не остановить, еще немножко и все пойдут на эти ваши заводы, есть будет нечего - кричал они)
2023-04-05
Антон Верховой (De Verh)Главное в конце прикрутить слово ИИ)
Маркетинг же, несколько лет назад все носились с нано-технологиями - теперь вот это.
2023-04-10
Неужели фотограмметрия потихоньку начинает шевелиться и разрабатываться ?? конечно все это еще в смешном зародышевом состоянии но все таки рад что появляются такие попытки ,Создано куча приложений по созданию облака из фото, но пока они все "попытки ",
2023-04-18
БОНО боно (bong)Неужели фотограмметрия потихоньку начинает шевелиться и разрабатываться ?? конечно все это еще в смешном зародышевом состоянии но все таки рад что появляются такие попытки ,Создано куча приложений по созданию облака из фото, но пока они все "попытки ",

Все так - именно в фотограмметрии нейросети - очень серьезно способны дать реальный буст - за счет того что будет уменьшаться требование к качеству материалу для генерации 3д
По сути тут нейросети выступают в роли неявно заданных алгоритмов
RENDER.RU