Omniverse Audio2Face получил возможность генерировать блендшейпы лица
Audio2Face - инструмент, впервые выпущенный в прошлом году, разработанный для создания анимации лица трёхмерного персонажа из аудио исходников: как автономных записей речи, так и живого аудиопотока.
Наряду с дочерним приложением Omniverse Machinima - данное программное обеспечение является одним из набора новых игровых инструментов, которые Nvidia разрабатывает на базе Omniverse - своей новой платформы для совместной работы в реальном времени на основе USD.
В первоначальном релизе единственным способом изменения анимации, создаваемой данным ПО, были параметры постобработки, однако с тех пор Nvidia начали внедрять альтернативный рабочий процесс, основанный на блендшейпах лица.
В релизе Audio2Face 2021.3.0 была добавлена возможность привязки пользовательского ассета персонажа на основе блендшейпов к базовому ассету Audio2Face и уже в релизе Audio2Face 2021.3.1 добавлены элементы управления симметрией.
В Audio2Face 2021.3.2 добавлена возможность генерировать набор блендшейпов для пользовательской модели головы.
На представленном видео продемонстрировано, как ПО используется для переноса набора из готовых 46 блендшейпов, охватывающих стандартный диапазон выражений лица из ассета A2F в пользовательскую модель головы.
Процесс переноса можно контролировать, настраивая точки соответствия, определяющие эквивалентные черны - расположение одинаковых черт лица на двух моделях головы.
Процесс сохраняет текстурную развертку, что позволяет повторно использовать оригинальные текстуры лица.
Полученный набор блендшейпов может быть экспортировать в формат USD, что позволит редактировать отдельные формы лица в приложениях DCC, способных импортировать USD файлы, таких как Maya или Blender.
Среди других новых возможностей Audio2Face 2021.3.2 отмечаются потоковый аудиоплеер для передачи аудиоданных в программу из внешних источников, таких как приложения для преобразования текста в речь, по протоколу gRPC.
Появилась возможность использовать анимации Audio2Face на MetaHumans - 3D персонажах, созданных с помощью бесплатного приложения Epic Games MetaHuman Creator.
Omniverse Audio2Face 2021.3.2 доступна для Windows 10. Для работы требуется графический процессор Nvidia RTX. Рекомендуются GeForce RTX 3070 или RTX A4000 или выше. Все инструменты Omniverse бесплатны для индивидуальных художников.
Ознакомиться с полным списком новых функций Omniverse Audio2Face 2021.3.2 можно на официальном сайте
Загрузить Audio2Face