Какое-то время я наблюдал и продолжаю наблюдать за развитием нейросетей. В том числе нейросетей, которые могут генерировать 3D-модели по входному изображению. Долго не мог найти время хорошенько их потестить, а ещё лучше попробовать всё это дело в полевых условиях. И вот я таки добрался до них.
На данный момент существует множество различных нейронок для генерации 3D-моделей. Я попробовал многие самые известные из них и остановился на бесплатной локальной нейросети под названием Trellis. О ней я расскажу подробнее чуть позже. Если быть объективным все они плюс минус довольно сомнительного качества "из коробки", поэтому я решил немного доработав исходные сгенерированные модели собрать небольшую сценку с персонажами и короткой забавной историей. Изначально я хотел сделать один-два анимированных шота, но немного увлёкся и решил собрать некую пародию на короткий мультик в рамках эксперимента.
Первым делом я сгенерировал с помощью так же локальной бесплатной нейросети Fooocus изображения персонажей, частей интерьера, деревьев, кустов и травы. Далее с помощью Trellis я сгенерировал сами модели из этих изображений и доработал их в блендере. Я создал материалы из единственной текстуры, кое-где подправил геометрию и сделал персонажам риг для последующей анимации.
Следующий этапом я собрал из сгенерированных частей интерьер и процедурно расклонировал траву, деревья и кусты по быстро созданному ландшафту. Выставил свет и благодаря довольно неплохому реалтайм-композитору в блендере подправил общую картинку. Рендер движок к слову я тоже решил использовать реал-таймовый. Я давно полюбил EEVEE и подумал, что для этой задачи он прекрасно подойдет.
Далее я решил, что одной сцены будет маловато и сделал еще одну. По тому же принципу я сгенерировал модель космического корабля, откопал текстуры планеты земля в своих старых проектах и сделал небольшой кадр с пролётом.
Во время анимации я понял, что мне нужна озвучка и решил пойти дальше. Я нашел все так же бесплатную локальную нейросеть под названием MMVCServerSIO, которая в реалтайме меняет голос на выбранный из найденых в свободном доступе моделей голосов. Я подобрал пару более менее как мне показалось подходящих моделей и написал небольшой текст диалогов. В результате я быстренько отрендерил все это дело, смонтировал, добавил несколько звуков и наложил дорожки записанных ранее голосов практически углубляясь в обработку.
Вот такой результат у меня получился.
Некоторое количество людей просили показать что и как я делал, поэтому я записал пару видеообзоров.
Так же я сделал небольшое сравнение нейросетей Trellis и Hunyuan 3D 2.0
Экспериментом я доволен и считаю он прошел достаточно успешно. В процессе я попробовал много всего интересного. Я как человек, который всегда мечтал делать анимационное кино был рад, что многие технические и не только вещи теперь можно упростить. Многие относятся к нейронкам скептически, кто то их ненавидит и боится что они отберут у них работу, я же воспринимаю нейросети как инструмент, который при грамотном подходе может экономит время и помогать в реализации своих идей.Этот опыт натолкнул меня на идею создания сообщества художников, в котором мы будем делать короткометражный анимационный сериал по типу всем известного "Любовь, смерть и роботы" и подобных. Я начал разрабатывать пайплайн, который отличается от всех нам привычных киношных "золотых стандартов", но как по мне он имеет потенциал для развития и очень удобен для работ созданных в "соло". Я собрал несколько таких же воодушевлённых на создание сериала людей и мы уже начали совместную работу над препродакшеном, что не может меня не радовать) Скоро мы начнем показывать свои первые наработки и проводить стримы, рассказывать о проекте и делиться процессом создания) Кому интересно все ссылки оставлю ниже.
В завершение хотелось бы подвести итог. Я рад, что появляются инструменты позволяющие таким как я реализовывать свои идеи, развиваться быстрее и эффективнее. А использовать их или нет каждый решит для себя сам. Впасибо за внимание!)
Ссылки на мои соцсети:
https://youtube.com/@rublev_cg
Ссылки на сообщество сериала:
https://t.me/freeartistscommunity
Спасибо вам)
рад если было полезно)