Разбор интерьерной сцены. ChatGPT + Trellis AI + Blender|EEVEE
Постепенно изучаю новые возможности нейросетей, а в частности генераторов 3D моделей, картинок и языковые мультимодальные нейронки в контексте создания видео роликов/синематиков/мультиков. В данном примере я собрал сцену в блендере с помощью уже довольно старой локальной нейронки Trellis, так как алгоритмы поиска формы у нее довольно неплохие. Она генерирует геометрию и одну текстуру цвета, поэтому материалы в данном случае (хоть они и довольно простые) я собирал вручную.
Первым этапом было создание примерного концепта сцены, которую я буду воспроизводить в 3D. В этом примере я использовал Chat GPT, так как он мультимодальный и позволяет извлекать из общей сцены (изображения) отдельные объекты, что нужно для удобства подачи входных изображений в генератор 3D моделей (в данном случае Trellis). Когда общий вид был получен, я попросил chat GPT разбить его на составляющие в рамкой одного изображения. Элементов для заполнения оказалось маловато и я попросил его сгенерировать объекты которые теоретически могли бы находится в данной сцене, что собственно он и сделал. Далее я попросил его сгенерировать все эти элементы и объекты каждый отдельно. По итогу я собрал небольшой 2D ассет пак. Ниже приведён пример того что у меня получилось в рамках этого эксперимента.
Затем все эти изображения я импортировал по очереди в Trellis и сгенерировал все эти ассеты уже в 3D. Вот такой ассет пак у меня получился.
Следующим шагом было настроить материалы, так как Trellis делает только одну текстуру цвета. Материалы я сделал простые на основе одной текстуры и процедурного встроенного ноиза. Ниже привёл несколько примеров моделей уже с материалами.
Далее я собрал саму сцену исходя из референса (но не сильно ему придерживался). Создал несколько камер и расставил ассеты относительно кадра с этих камер. А так же сделал небольшие пролёты.
После я выставил источники света и настроил в реалтайм композиторе небольшую связку нод для посткоррекции. По итогу сделал монтаж в Davinci Resolve и чуть чуть доправил цвет. Звук окружения (огня в камине) я сгенерировал в бесплатной локальной нейросети MMAudio, а музыку бесплатно в облачном сервисе UDIO AI. Итоговый результат можно посмотреть ниже. А так же прилагаю более подробный обзор этой сцены. Ссылка на файл проекта будет в конце статьи.
Спасибо за просмотр, надеюсь эта информация будет кому то полезна!
Ссылка на файл проекта:
Я использовал версию Blender 4.5 beta.