Epic Games выпустили MetaHuman Animator

MetaHuman Animator - новейшая часть платформы MetaHuman От Epic Games для создания 3D персонажей нового поколения, для использования в играх и приложениях реального времени, а также в автономной анимации.

Первая часть - облачный инструмент для создания персонажей MetaHuman Creator, который позволяет создавать реалистичных цифровых людей, настраивая предустановленных 3D персонажей, была выпущена в раннем доступе 2021 году.
Пользователи могут создавать новых персонажей, смешивая пресеты, после чего корректируя пропорции лица и настраивая готовые причёски, а также одежду.

Вторая часть - плагин MetaHuman для Unreal Engine, была выпущена в прошлом году и позволяет создавать металюдей, соответствующих 3D скану или моделям лиц, созданных в других DCC приложениях.

У персонажей MetaHuman есть лицевой риг, соответственно они уже поддерживали захват движения лица, но для передачи данного движения с видеозаписи актёра с другими пропорциями лица требовалась ручная обработка, MetaHuman Animation призван упростить данный процесс ретаргетинга. Как и в случае с Mesh для MetaHuman, он генерирует персонажа, который соответствует исходным данным основанным на видеозаписи актёра и вспомогательных данных о глубине.

Процесс начинается с загрузки отснятого материала в Unreal Engine и определения ключевых опорных кадров на основе которых плагин MetaHuman может выполнить решение.

На кадрах, отснятых профессиональной камерой, необходим только один кадр — вид актёра спереди с нейтральным выражением лица. При съёмке с iPhone Epic рекомендует также определять вид лица актёра слева и справа, чтобы улучшить качество изображения. Дополнительный опорный кадр, показывающий зубы актёра, улучшает качество анимации рта.

230615_EpicGamesReleasesMetaHumanAnimator_Cameras.jpg

После чего плагин MetaHuman преобразует отснятый материал в соответствии с шаблонной сеткой - MetaHuman head с данными. Пользователи могут провести пальцем между 3D головой и исходным изображением, чтобы проверить корректность преобразования.
После чего сетка шаблона используется для создания ассета, который можно использовать для анимации.
Обработка выполняется в облаке - это единственная часть рабочего процесса, которая не выполняется локально, после чего полученный MetaHuman загружается в Unreal Engine при помощи плагина Quixel Bridge от Epic.

В результате мы получаем сетап, откалиброванный в соответствии с пропорциями лица актёра. Далее плагин MetaHuman может извлечь движение лица из видеозаписи этого актёра и перенести его на 3D персонажа, при этом пользователь сможет просмотреть результат во вьюпорте.

iammetahuman-1dbe5ed2af56.gif

После чего анимацию можно экспортировать в Unreal Engine в виде последовательности уровней или анимационной последовательности. Управляющие кривые, сгенерированные в процессе, являются "семантически правильными", то есть структурированы таким же образом, как если бы они были созданы человеком - аниматором, что облегчает редактирование анимации.
MetaHuman Animator также поддерживает временной код, позволяющий синхронизировать анимацию лица с захватом движения всего тела. MetaHuman Animator предназначен для работы с полным спектром систем лицевых камер.

Для инди артистов имеется возможность транслирования видеозаписи с iPhone с помощью бесплатного приложения Epic Live Link Face.
Live Link Face 1.3, выпущенный совместно с MetaHuman Animator обновляет приложение, позволяя ему снимать необработанные видеоматериалы и необходимые сопутствующие данные о глубине, последние при помощи камеры TrueDepth iPhone.
Более крупные студии могут использовать стандартные камеры, устанавливаемые на шлем, так как MetaHuman Animator работает с "любым профессиональным решением для вертикальной стереосъёмки HMC", в том числе от подразделения Technoprops ILM.

metahuman-animator-iphone-setup-1920x1080-eb4de6909ad9.jpg (1920×1080) - Google Chrome.jpg

Набор инструментов MetaHuman Animator является частью бесплатного плагина MetaHuman от Epic Games. Плагин совместим с Unreal Engine 5.0 и выше, однако для использования MetaHuman Animator требуется Unreal Engine 5.2 и выше.
Live Link Face доступен бесплатно для iOS 16.0 и выше. Чтобы использовать его с MetaHuman Animator, вам понадобится версия плагина 1.3 и выше и iPhone 12 или более поздней версии.

Meta Human Creator доступен в раннем доступе. Он работает в облаке и совместим с браузером Chrome, Edge, Firefox и Safari, работающими на Windows или macOS. Она бесплатна для использования с Unreal Engine.

750 0 850 7
12
2023-06-16
Очень вкучно для криейтеров. Интерестно посмотреть.
2023-06-16
И вновь поддерживается только ось, видимо проплачивают тему раз под андройд не пилят, это уже не первый случай.
2023-06-17
monah62rusИ вновь поддерживается только ось, видимо проплачивают тему раз под андройд не пилят, это уже не первый случай.

Это, скорее, к производителям самих смартфонов. На айфонах датчики глубины довольно продвинутый, под андроидами лишь бы был - Сяоми даже датчик приближения победить не может, вечно с ним беда при звонках.
2023-06-17
Владимир Спасокукоцкий
Это, скорее, к производителям самих смартфонов. На айфонах датчики глубины довольно продвинутый, под андроидами лишь бы был - Сяоми даже датчик приближения победить не может, вечно с ним беда при звонках.

Есть и другие производители.
2023-06-18
А потом окажется, что мы деньги отдали, а туда еще что-то надо программировать, как обычно. А ведь оно могло спасти Андромеду )
2023-06-18
Дмитрий Волков
Есть и другие производители.

Кто то из этих других производителей имеет унифицированный набор железа и хорошие API? Не стоит строить теории заговора где все объясниться банальными сложностоями и ленью.
2023-06-18
Копья Мастер (SpearMasters)
Кто то из этих других производителей имеет унифицированный набор железа и хорошие API? Не стоит строить теории заговора где все объясниться банальными сложностоями и ленью.
Действительно, во фразе "есть и другие производители" говорится о целом сионистском заговоре, лол.
2023-06-18
Дмитрий Волков Действительно, во фразе "есть и другие производители" говорится о целом сионистском заговоре, лол.

Cорян это должно было быть к первому коменту про "апл платит деньги"
2023-06-18
там вроде всё на айфон заточено, ждём поддержку андроида!
2023-06-19
Однако, лицевая анимация уже конечно вышла на высокий уровень
2023-06-20
на андроиде не будет, до тех пор пока они не запилят себе функционал съемки лица в 3д пространстве (не путать с тупим фей-айди который у них есть)
2023-06-20
Так в чём смысл, если у большинства пользователей нет профессиональных актёров, чтобы с них мокап снять?
RENDER.RU