"Сны неандертальца" - создание видео в нейросетях

Здравствуйте!

Запишу свои мысли, пригодятся ли кому - не ведаю.

Создавал я давеча видео в нейросетях на тему встречи неандертальца с роботом из будущего.

Первым делом мною было принято решение генерировать сначала изображения в нейросети Midjourney, по задуманному сценарию, а затем уже оживлять в нейросети Runway Gen-3. Почему я принял такое решение - потому как при генерации видео текстом результат не всегда предсказуем и почти не управляем. При оживлении изображения я уже заведомо могу придать направление, движение, эмоцию персонажам и сотворить нужную мне атмосферу и фон.

busyastar_covered_in_animal_skin_c9f93679-e261-4116-8e2a-7aba300e5df0.png


Полный видеоролик вы можете посмотреть ниже.

Для генерации видео я выбрал нейросеть Runway Gen-3, так как работаю с ней уже второй год. По соотношению цена - качество считаю нейросеть самой оптимальной. Работал в режиме Gen-3 Alpha Turbo. Будьте готовы, что на создание минутного ролика могут уйти десятки тысяч рублей. Генерации не всегда удачные и приходится продумывать prompts к изображению и делать неоднократные испытания. Замечу, что при одинаковом prompt и прикрепленном изображении - всегда будет немного разный результат на выходе, так пока работают все исследованные мной нейросети для создания видео.

При создании видеоролика я преследовал прежде всего ознакомительные цели для себя и нарабатывание личного опыта.

Да, потратив пару недель или месяц - можно было бы добиться идентичности персонажа в каждой сцене видео. Например, генерировать персонажа по референсу, а затем сторонним приложением монтировать лицо, что означало бы для меня дополнительные денежные расходы и дополнительное время на создание ролика. Но на данном этапе развития нейросетей, а это примерно 2 года, я получил отличный результат, увидел нюансы и решения проблем с нестабильностью внешностей персонажей. Потенциал у нейросетей огромный!

a3dad9c1c5c48544bb690cc247783be28.jpg

Для того, чтобы переместить моих персонажей в современную Москву - я создавал коллажи в Adobe Photoshop. Замечу, что верно пишут в manual к нейросетям - лучше оживлять изображения, созданные только в нейросети. И я на личном опыте убедился в этом. Прикрепляя коллажи в Runway Gen-3 заметил, что нейросеть буд-то распознает коллаж и некоторые части коллажа делает более статичными, не вовлеченными в динамику сцены. Также, если вы используете управление камерой в Runway Gen-3 - зумирование, сдвиг перспективы например - то нейросеть будет хуже понимать ваш prompt, а сконцентрируется лишь на движении камеры. Мною были проделаны сотни попыток генераций и могу сказать, так оно пока и есть, на данном этапе разыития нейросети Runway Gen-3.

Музыку для видеоролика я сгенерировал в нейросети Udio.

Монтировал в программе CapCut на компьютере. CapCut уверенно развивается, в программе есть и фильтры, которые кинематографично красят видеоролик, и эффекты перехода от сцены к сцене и многое другое.

busyastar_air_cab_EMU_is_Chinas_CRH5_from_the_future_a8e9998e-2a8d-4829-aeb3-1cff99ec5e6c.png

При работе с заказчиками я уже четко для себя понимаю, какой ролик реально сотворить в нейросетях, а какой еще нет.

Существует множество нейросетей для видео генераций, почти все я испытывал, но на данном этапе Runway Gen-3 - мой фаворит.

274 0 850 3
5
2025-01-04
"А зачем люди?! И правда. Пусть вырождаются. Останутся животные и роботы, которыми управляет дюжина людей за кулисами". Хотя нет, еще будут бегать по помойкам кучка бродяг - потомки обманутых любителей ИИ, которого не существует:)
2025-01-04
Спасибо за публикацию 👾
2025-01-06
Интересно, спасибо! Коротко и по делу
2025-01-06
Сергей МетельскийИнтересно, спасибо! Коротко и по делу

спасибо за отзыв!
2025-01-06
Сергей, спасибо за ценный отзыв!!!
RENDER.RU