Nerfstudio получил поддержку видео 360°
Впервые выпущенная в прошлом году, Nerfstudio представляет собой библиотеку модульных компонентов для внедрения Neural Radiance Fielsd (NeRF) - метод для генерации новых изображений сцены с различных ракурсов.
Не смотря на то, что его создатели рассматривали NeRF как средство синтеза новых представлений сцены, объёмное представление может быть преобразовано в 3D сетку, что делает его альтернативой фотограмметрии для 3D сканирования.
Используя Nerfstudio художники могут обучать нейронную сеть на наборе пользовательских изображений и экспортировать созданные 3D данные в программное обеспечение DCC либо в виде облака точек в формате PLY, либо в виде текстурированных моделей в формате OBJ.
Фреймворк поставляется со специальным дополнением для Blender, а на сайте проекта есть инструкция по экспорту моделей Nerfstudio в Unreal Engine в формате NVOL. Сами исходные изображения могут быть загружены в Nerfstudio через фотограмметрический конвейер COLMAP с открытым исходным кодом или непосредственно из фотограмметрических приложений, включая Kiri Engine, Polycam и Metashape.
Начиная с версии Nerfstudio 0.1.19 пользователи могут обрабатывать видео в равноугольном формате, например, снятое 360 градусными камерами, что упрощает реконструкцию больших открытых пространств. Nerfstudio может быть скомпилирована из исходников для Windows и Linux. Исходный код доступен под лицензией Apache 2.0.
Полный список зависимостей и инструкции по компиляции можно найти на сайте проекта. Обращаем внимание, что Nerfstudio использует CUDA, соответственно для его запуска понадобится совместимый графический процессор Nvidia.