Audio2Face - инструмент, впервые выпущенный в прошлом году, разработанный для создания анимации лица трёхмерного персонажа из аудио исходников: как автономных записей речи, так и живого аудиопотока.
Наряду с дочерним приложением Omniverse Machinima - данное программное обеспечение является одним из набора новых игровых инструментов, которые Nvidia разрабатывает на базе Omniverse - своей новой платформы для совместной работы в реальном времени на основе USD.

В первоначальном релизе единственным способом изменения анимации, создаваемой данным ПО, были параметры постобработки, однако с тех пор Nvidia начали внедрять альтернативный рабочий процесс, основанный на блендшейпах лица.
В релизе Audio2Face 2021.3.0 была добавлена возможность привязки пользовательского ассета персонажа на основе блендшейпов к базовому ассету Audio2Face и уже в релизе Audio2Face 2021.3.1 добавлены элементы управления симметрией.
В Audio2Face 2021.3.2 добавлена возможность генерировать набор блендшейпов для пользовательской модели головы.
На представленном видео продемонстрировано, как ПО используется для переноса набора из готовых 46 блендшейпов, охватывающих стандартный диапазон выражений лица из ассета A2F в пользовательскую модель головы.

Процесс переноса можно контролировать, настраивая точки соответствия, определяющие эквивалентные черны - расположение одинаковых черт лица на двух моделях головы.
Процесс сохраняет текстурную развертку, что позволяет повторно использовать оригинальные текстуры лица.
Полученный набор блендшейпов может быть экспортировать в формат USD, что позволит редактировать отдельные формы лица в приложениях DCC, способных импортировать USD файлы, таких как Maya или Blender.
Среди других новых возможностей Audio2Face 2021.3.2 отмечаются потоковый аудиоплеер для передачи аудиоданных в программу из внешних источников, таких как приложения для преобразования текста в речь, по протоколу gRPC.
Появилась возможность использовать анимации Audio2Face на MetaHumans - 3D персонажах, созданных с помощью бесплатного приложения Epic Games MetaHuman Creator.
Omniverse Audio2Face 2021.3.2 доступна для Windows 10. Для работы требуется графический процессор Nvidia RTX. Рекомендуются GeForce RTX 3070 или RTX A4000 или выше. Все инструменты Omniverse бесплатны для индивидуальных художников.

Ознакомиться с полным списком новых функций Omniverse Audio2Face 2021.3.2 можно на официальном сайте
Загрузить Audio2Face

2022-01-08

Пока что очень сыро и не качественно, возможно в далеком бушующем допилят! Мнение англоязычного сообщества.

2022-01-08

Imortl, "какого-то ноунейма старающегося придать значения своим словам"

2022-01-08

Святослав, все мы нонеймы в каком-то роде, я лишь на основе своего понимания и уважаемого сообщества строю подобные комментарии.

2022-01-08

Годно, вполне. Зря вы так.

2022-01-09

программисты продолжают успешно издеваться над художниками, %)))

почему собственно они действуют независимо от аниматоров и художников создавая какие-то коды чисто по своему усмотрению совершенно не представляя, что вообще требуется и желается вышеупомянутым персоналом! %)))

2022-01-09

Imortl, Мы вообще все едины и действуем по воле Всевшнего! Харе Кришна!

2022-01-09

Терен Тамабрахаманад художниками

Это не для художников. При переходе человечества в метавселенную человекам понадобятся цифровые аватары. :)