NVIDIA представляет Neuralangelo: ИИ для преобразования 2D-видео в 3D-объекты
Компания NVIDIA представила новую модель искусственного интеллекта Neuralangelo, способную создавать 3D-копии объектов на основе 2D-видео, включая классические скульптуры, автомобили и здания. Neuralangelo анализирует несколько кадров из 2D-видео, чтобы получить полное представление о форме, размере и глубине объекта. Затем модель создает первичное 3D-представление объекта и оптимизирует его, чтобы передать максимально точные детали реального объекта.
Компания заявляет, что Neuralangelo использует передовые технологии своего предшественника — Instant NeRF, чтобы воспроизводить даже самые мельчайшие детали объектов, включая текстуры, узоры и цветовые оттенки. Она особенно хорошо справляется с передачей сложных текстур, таких как шероховатость кровельной черепицы и гладкость мрамора, превосходя предыдущие методы. Neuralangelo также позволяет создавать виртуальные объекты из видео, снятого на смартфоны, что упрощает задачу создания 3D-реконструкций для различных проектов. Более того, эта модель работает быстро: исследователи из NVIDIA сообщают, что она может создавать 3D-сцены всего за два часа.
Минг-Ю Лю, соавтор статьи о Neuralangelo, подчеркнул, что в конечном итоге эта технология позволит разработчикам импортировать детализированные объекты, будь то небольшие статуи или огромные здания, в виртуальные среды для видеоигр или создания цифровых двойников в промышленности. В представленном видео продемонстрированы возможности этой технологии.
Компания NVIDIA утверждает, что Neuralangelo способна создавать пейзажи в большом масштабе из видео, снятого с помощью дронов, что облегчает задачу разработчикам воссоздания реальных мест в их играх. Эта модель также имеет множество других потенциальных применений, включая робототехнику, виртуальную реальность, архитектуру и, конечно же, искусство.
Исследовательский отдел компании представит Neuralangelo на конференции по компьютерному зрению и распознаванию образов, которая состоится с 18 по 22 июня в Ванкувере.