Прототипирование персонажей для игр.
Краткое описание процесса:
1. Концепт персонажа для генерации 3d модели по нему.
2. Генерация модели и драфтовый риггинг персонажа.
3. Тест персонажа на готовых анимациях или игровых механиках в UnrealEngine.
Для создания концепта персонажа в T позе я использую ComfyUI. Установить его проще всего через Stability Matrix при этом будет возможность использовать множество других интерфейсов для Stable Diffusion.
Интересный момент с использованием ComfyUI и OpenPose то что можно из любого видео извлекать скелет и по нему обрисовывать сгенерированного персонажа, что может быть хорошим подспорьем в создании 2D игр.
Но перепробовав множество моделей для SD я все таки остановился на варианте от Midjourney. Запрос, который я использовал для генерации персонажа - colorfully vivid T pose character for rigging in 3d The Bear Fighter is an impressive and formidable character, reminiscent of the hero from the Street Fighter game. This is a massive Russian bear standing on its hind legs, dressed in combat gear. His body is covered with thick white-blue-red fur, symbolizing the Russian flag. He wears massive combat gloves on his paws, specially designed to protect and deliver powerful blows. The bear has a massive head with sharp eyes radiating determination and strength. His muzzle is decorated with scars, indicating the numerous battles in which he participated. The bear's chest and shoulders are decorated with tattoos and battle symbols, emphasizing its martial spirit.
Используя IP-Adapter в Stable Diffusion можно поиграть уже с картинкой из Midjourney, в том числе и поставить её в необходимую позу. Подробнее тут.
Далее переходим в tripo3d.ai и создаем модель по картинке.
Самый быстрый способ создать драфтовый скелет и скин для персонажа - использовать AccuRig.
Теперь переходим в Unreal Engine 5 и переносим на персонажа анимации из подходящего пака или отснятые с помощью MoveAI или любые анимации, которые вы хотите протестировать на персонаже. Для этого создаем IKRig для созданного персонажа и для скелета, на котором есть анимации. Используя IK Retargeter запекаем анимации на персонажа. Соответственно, если есть уже какие то прототипные игровые механики на скелете UE5 можно перенести все анимации на тестового персонажа и посмотреть как работает задумка с этими формами персонажа или поискать таким образом подходящие силуэты и образы.