Развитие технологий снизило стоимость захвата движений почти до 0. В этом посте приведу сравнение наиболее доступных рядовому пользователю решений на базе Unreal Engine 5.6 и новее. А именно: Metahuman Animator Depth - захват лицевой анимации с помощью IOS устройства с функцией FACE ID (начиная с Iphone 12), либо стерео-камеры и захват из обычного видео любого происхождения. Нижеприведенный пример сделан в Unreal Engine 5.6.

Прошу прощения за несвязный текст). Как видно, видео слева (Metahuman Animator - далее MHA) точнее передает движения головы (шеи) и глаз. Тем не менее алгоритмы интерпретации для моновидео (картинка справа) иногда преувеличивают экспрессию, что дает более интересный с визуальной точки зрения результат.
Источником для моновидео захвата здесь послужил футаж в качестве 720p@30fps, идущий как превью для MHA видео.
На практике, при отсутствии живых актеров, чья внешность использовалась для создания цифрового Metahuman-двойника, объемный (с картой глубины) захват лицевой анимации (MHA, стерео-камера ) значительно не превосходит результат моновидео захвата. На Синематике ниже лицевая анимация - результат процессинга видео с вебкамеры 1280/960p@30 fps

Увеличение частоты кадров видео источника до 60 fps улучшает точность захвата, увеличение разрешения выше FHD при сохранении крупности кадра заметных улучшений не вносит.
Технология захвата лицевой анимации из обычного видео была представлена Epic Games около года назад и довольна дружелюбна в использовании. При условии, что в вашем Unreal Engine проекте уже запущены Metahuman Плагины, для придания жизни вашему персонажу с помощью презаписанного видео достаточно:

Шаг1: Запустить LiveLinkHub (Вкладка Tools/LiveLinkHub)
Шаг2: Переключить режим с LiveLink на CaptureManager, затем Кнопкой Add Device добавить тип ввода Mono Video Ingest и в графе Take Directory указать путь к папке с видео. После чего, выбрав желаемые "дубли" добавить их в очередь кнопкой Add to Queue и кликнуть Start.



По завершении обработки в вашем проекте автоматически будут созданы ассеты готовых к процессингу дублей - секвенций изображений.

Шаг3: Переварить эти секвенции в лицевые анимации с помощью ассета Metahuman Perfomance, переключив Тип Ввода на Monocular Footage, выбрав нужный "дубль" и нажав кнопку Process


ГОТОВО! После обработки появится возможность экспортировать Ассет Лицевой Анимации без движений головы (удобен при наличии готовой анимации тела), либо с ней нажатием кнопки Export Animation.

При необходимости, в sequencer'e есть возможность подкорректировать полученную анимацию без запечки слоем Conrol Rig'a (Layered CR)



Конечно, опытным пользователям этот неполный гайд ни к чему, но возможно кому-то пригодится.

В завершении упомяну, что эта канитель работает начиная с версии Unreal Engine 5.6. Также Epic разрешила рендерить Metahuman'ов в любом движке, а значит собранную в Unreal Engine персонажку, легально перенести в любимое DCC. На Fab.com доступны бесплатные плагины интеграции для Maya и Houdini, редакция в новостях рассказывала про такой плагин для Blender. Но даже без плагинов остается возможность экспорта анимации с помощью старого доброго FBX прямиком из секвенсора.

Спасибо за внимание.
P.S.
Озвучка английская, т.к. в использованном для её создания сервисе ElevenLabs.io более-менее правдоподобные нейроголоса - англоговорящие.