3Dpresso - 3D модели из видео
Уже давно существует ряд инструментов для реконструкции 3D моделей по фотографиям реальных объектов, некоторые из них даже доступны бесплатно, 3Dpresso отличается от них рядом особенностей.
Во-первых, его движок MateRECON сочетает традиционную фотограмметрию NeRF (Nural Radiance Fields) для создания и оптимизации объёмного представления 3D объекта из набора исходных изображений.
Движок создаёт "более точные и стабильные реконструкции", нежели традиционные инструменты, особенно для поверхностей без текстуры или отражающих поверхностей, которые фотограмметрия не в состоянии точно воссоздать.
Во-вторых, 3Dpresso вскоре будет использовать генеративный искусственный интеллект для создания различных текстурных карт для 3D моделей, причём пользователи смогут вводить обычные текстовые подсказки для определения внешнего вида создаваемых текстур.
Сам процесс создания 3D модели при помощи 3Dpresso начинается с загрузки видео 3D объекта, который был снят на смартфон или цифровую камеру, перемещаясь вокруг него, чтобы продемонстрировать его со всех сторон.
Для этого потребуется около минуты видео, на котором показаны два полных 360 градусных облёта вокруг объекта, один снят лицом вперед, а другой под углом, чтобы показать верхнюю часть объекта, как описано в видео руководстве.
Чем выше качестве видео, тем лучше получается результат - Recon Labs рекомендует загружать кадры в формате 4K, а на канале 3Dpresso на YouTube есть примеры подходящих видео для реконструкции пропсов, мебели и одежды.
После чего видео обрабатывается на серверах Recon Labs, что в среднем занимает "менее 30 минут", после чего 3Dpresso отправляет по электронной почте ссылку на скачивание, после завершения обработки.
Полученную модель можно загрузить в формате GLB или OBJ с диффузной текстурой 1024x1024 пикселей. Качество выглядит вполне подходящим для использования в реалтайм приложениях, включая игры и проекты дополненной реальности, конечно после некоторой доработки.
3Dpresso также имеет функцию AI текстурирования, которая позволяет генерировать различные карты текстур, набирая текстом такие подсказки, как "голубой кристалл" или "гиперреализм", чтобы определить визуальный стиль результата.
На данный момент функция находится в альфа версии, поэтому её нельзя использовать с моделями, которые вы создаёте сами. Recon Labs также планирует запустить мобильное приложение, позволяющее загружать видео непосредственно с телефона.
3Dpresso находится в стадии бета тестирования, его можно использовать совершенно бесплатно, софт работает через веб интерфейс, поэтому должен работать с любым стандартным браузером. Дата коммерческого релиза и стоимость ещё не объявлены.
Политика авторского права даёт Recon Labs неисключительную лицензию на использование всего, что загружено на 3Dpresso, в своих рекламных материалах, поэтому он не подходит для чего-то коммерчески важного.