Epic Games выпустили MetaHuman Animator
MetaHuman Animator - новейшая часть платформы MetaHuman От Epic Games для создания 3D персонажей нового поколения, для использования в играх и приложениях реального времени, а также в автономной анимации.
Первая часть - облачный инструмент для создания персонажей MetaHuman Creator, который позволяет создавать реалистичных цифровых людей, настраивая предустановленных 3D персонажей, была выпущена в раннем доступе 2021 году.
Пользователи могут создавать новых персонажей, смешивая пресеты, после чего корректируя пропорции лица и настраивая готовые причёски, а также одежду.
Вторая часть - плагин MetaHuman для Unreal Engine, была выпущена в прошлом году и позволяет создавать металюдей, соответствующих 3D скану или моделям лиц, созданных в других DCC приложениях.
У персонажей MetaHuman есть лицевой риг, соответственно они уже поддерживали захват движения лица, но для передачи данного движения с видеозаписи актёра с другими пропорциями лица требовалась ручная обработка, MetaHuman Animation призван упростить данный процесс ретаргетинга. Как и в случае с Mesh для MetaHuman, он генерирует персонажа, который соответствует исходным данным основанным на видеозаписи актёра и вспомогательных данных о глубине.
Процесс начинается с загрузки отснятого материала в Unreal Engine и определения ключевых опорных кадров на основе которых плагин MetaHuman может выполнить решение.
На кадрах, отснятых профессиональной камерой, необходим только один кадр — вид актёра спереди с нейтральным выражением лица. При съёмке с iPhone Epic рекомендует также определять вид лица актёра слева и справа, чтобы улучшить качество изображения. Дополнительный опорный кадр, показывающий зубы актёра, улучшает качество анимации рта.
После чего плагин MetaHuman преобразует отснятый материал в соответствии с шаблонной сеткой - MetaHuman head с данными. Пользователи могут провести пальцем между 3D головой и исходным изображением, чтобы проверить корректность преобразования.
После чего сетка шаблона используется для создания ассета, который можно использовать для анимации.
Обработка выполняется в облаке - это единственная часть рабочего процесса, которая не выполняется локально, после чего полученный MetaHuman загружается в Unreal Engine при помощи плагина Quixel Bridge от Epic.
В результате мы получаем сетап, откалиброванный в соответствии с пропорциями лица актёра. Далее плагин MetaHuman может извлечь движение лица из видеозаписи этого актёра и перенести его на 3D персонажа, при этом пользователь сможет просмотреть результат во вьюпорте.
После чего анимацию можно экспортировать в Unreal Engine в виде последовательности уровней или анимационной последовательности. Управляющие кривые, сгенерированные в процессе, являются "семантически правильными", то есть структурированы таким же образом, как если бы они были созданы человеком - аниматором, что облегчает редактирование анимации.
MetaHuman Animator также поддерживает временной код, позволяющий синхронизировать анимацию лица с захватом движения всего тела. MetaHuman Animator предназначен для работы с полным спектром систем лицевых камер.
Для инди артистов имеется возможность транслирования видеозаписи с iPhone с помощью бесплатного приложения Epic Live Link Face.
Live Link Face 1.3, выпущенный совместно с MetaHuman Animator обновляет приложение, позволяя ему снимать необработанные видеоматериалы и необходимые сопутствующие данные о глубине, последние при помощи камеры TrueDepth iPhone.
Более крупные студии могут использовать стандартные камеры, устанавливаемые на шлем, так как MetaHuman Animator работает с "любым профессиональным решением для вертикальной стереосъёмки HMC", в том числе от подразделения Technoprops ILM.
Набор инструментов MetaHuman Animator является частью бесплатного плагина MetaHuman от Epic Games. Плагин совместим с Unreal Engine 5.0 и выше, однако для использования MetaHuman Animator требуется Unreal Engine 5.2 и выше.
Live Link Face доступен бесплатно для iOS 16.0 и выше. Чтобы использовать его с MetaHuman Animator, вам понадобится версия плагина 1.3 и выше и iPhone 12 или более поздней версии.
Meta Human Creator доступен в раннем доступе. Он работает в облаке и совместим с браузером Chrome, Edge, Firefox и Safari, работающими на Windows или macOS. Она бесплатна для использования с Unreal Engine.