Dinamixyz представили ИИ-систему безмаркерной лицевой анимации

Разработчики из Dynamixyz в сотрудничестве с Pixelgun Studios успешно протестировали алгоритм на основе машинного обучения Performer, предназначенный для создания безмаркерной лицевой анимации из предварительно отсканированных снимков. Алгоритм также опробован в Maya.

В демо-ролике представлено "доказательство технологического новшества", позволяющего создать цифрового дублера актера с высокой степенью точности проработки благодаря объединению технологии захвата движений (motion + capture = mocap или мокап) и машинных алгоритмов их запоминания и распознавания. В процессе работы приложения автоматически извлекаются ключевые кадры из сканов, которые затем накладываются на риг в соответствии с заложенной логикой.

• построение модели отслеживания (Tracking Profile) — заключается в том, чтобы вручную отметить ключевые положения актера (в видеоисточнике), которые будут использоваться в качестве исходной выборки на входе софта. По времени занимает 2—3 часа.
• построение модели наложения (Retargeting Profile) — на данном этапе аниматор подстраивает элементы управления в редакторе так, чтобы выбранные ключевые позы накладывались на нужный риг персонажа. Выполняется также вручную, но занимает меньше времени. В дальнейшем благодаря машинному обучению процесс автоматизируется, позволяя переносить мокап на любой риг любого персонажа.

Чтобы сэкономить художникам часы драгоценного времени, разработчики Dynamixyz решили натренировать систему на основе громадной коллекции образов лицевой анимации, охватывающих 80 различных выражений и полученных методов фотограмметрии студией Pixelgun Studio. Также учтена вся геометрия и текстуры, такие как морщины и индивидуальные черты лица.

Полностью исключить вмешательство человека не удалось, так как помимо количества технических средств (использовались 63 камеры для захвата лицевой и 145 камер для телесной анимации), важно освещение. Необходимо было вручную отметить 2—3 кадра из съемочной серии для получения шаблона освещения. Итого, входная выборка, использовавшаяся командой Dynamixyz для тренировки машинного алгоритма, позволила синтезировать цифрового двойника с корректным освещением и извлечением ключевых поз, как если бы это были кадры мокапа, записанные с применением экзокостюма и специального шлема.

“Результат процедурной анимации практически идентичен мокап-анимации, что позволило нам построить модель отслеживания (tracking profile) для Performer, как если бы для этого мы вручную размечали исходное видео,” — пояснил разработчик ИИ-алгоритма Винсент Барриэль (Vincent Barrielle). — “Алгоритм позволяет добиться высокой точности, так как он натренирован на высококачественных сканах. Также в нем заложена возможность синтеза большого разнообразия выражений и эмоций.”

Полученная технология безмаркерного распознавания 3D-сканов устраняет необходимость ручного труда, зачастую подверженного ошибкам, а синтезируемые на ее основе выражения лица отличаются высокой точностью благодаря дополнительным данным об уникальных чертах лица актера.

Применение ИИ-системы в риггинге Maya

Dynamixyz решили на практике применить наработки и натренировать алгоритм не только на распознавание образов, но и системы ригов. Для этого разработчики сделали систему, которая экспортирует и воспроизводит вычислительный граф логики ригов и дублирует все типы нодов в системе Dynamixyz для создания модели.

“Мы можем извлекать данные ригов из сцены Maya и на основе этой выборки натренировать кастомную модель, распознающую риги”, — добавил Барриэль. “На практике уже сейчас можно создавать цифровых клонов в точности копирующих движения актеров. В будущем можно полностью перенести этот процесс на распознавание ригов различных персонажей, не важно антропоморфных или нет, поскольку алгоритм теперь знает все степени свободы рига и может задавать корректные настройки для синтеза заданного выражения."

Демонстрация извлечения логики работы рига

А для удобства работы с ригами в Maya предусмотрены специальные пикеры, реализованные в виде бесплатных плагинов.