Wunderparc — ИИ, создающий 3D окружение по фото

На проходящей в эти дни европейской конференции GamesCom представили софт Wunderparc — новый проект с применением ИИ-технологий и Unreal Engine, который позволит создавать 3D окружение из 2D фотографий ландшафта. Как обещают разработчики, софт позволит значительно экономить время и ресурсы при создании видеоигр и в кинопроизводстве.

Как это работает?

В качестве источника для создания трехмерной сцены выбирается исходное 2D-изображение ландшафта: это может быть фотография, концепт-арт или мэт-пэйнтинг. Специально обученная нейросеть считывает и интерпретирует данные исходного изображения, такие как глубину резкости, цветовую палитру, наличие и плотность тумана, освещение и тени. Далее эти данные преобразуются в параметры, на основе которых и происходит реконструкция сцены в 3D.

Как это реализовано?

ПО построено по модульному принципу и состоит из четырех модулей:

• Moods — считывает цветовую температуру исходного изображения, наличие тумана, его плотность, освещение, погоду, облачность и другие эффекты, передающие атмосферу и тональность и передает их в Unreal Engine для построения прототипа сцены
• Camera — восстанавливает перспективу и положение фокуса, глубину резкости, оптические эффекты, экспозицию и другие связанные параметры
• Objects — определяет твердую поверхность, растительность, водную поверхность, облака и другие объекты, а также правила их расстановки при построении сцены. Сами объекты не создаются, а берутся из подключенной библиотеки 3D моделей
• Materials — определяет и распределяет по объектам материалы с учетом времени года и погодных явлений.

Первый прототип

На данный момент реализован только прототип модуля Moods, который и был представлен на конференции GamesCom.

Загрузка исходника и считывание параметров в модуле Moods.

Результат построение прототипа 3D сцены по параметрам исходника в Unreal Engine.

Хотя реализация данного проекта еще очень далека от завершения, определенно, наработки в области ИИ продолжают волновать сообщество. Недавно ученые Корейского университета обучили машину автоматически раскрашивать скетчи.