Audio2Face - приложение на основе искусственного интеллекта для создания лицевой анимации из аудио, доступное как часть платформы NVIDIA Omniverse. Хотя оно также может анимировать изменения выражения лица, его основное назначение - это генерировать анимацию синхронизации губ из записи голоса актера.
В отличие от многих автоматизированных систем синхронизации губ, он не ориентирован только на английский язык - в обновлении 2023.1 добавлена новая модель ИИ, основанная на женском китайском персонаже. В сообщении Reallusion отмечается его "исключительная способность" генерировать анимацию из любого языка, включая "песни и тарабарщину".

Хотя Audio2Face уже поддерживает персонажей Reallusion и может передавать генерируемую им лицевую анимацию в другие приложения, новые плагины значительно упрощают рабочий процесс.

Первый плагин: CC Character Auto Setup - экспортирует персонажей CC3+ из Character Creator или iClone в Audio2Face, "сокращая ручной 18-шаговый процесс до одного".

Второй плагин: Audio2Face (A2F) для iClone - передаёт лицевую анимацию, созданную Audio2Face, обратно в iClone и включает элементы управления для настройки или сглаживания анимации. Этот рабочий процесс является альтернативой встроенной в iClone автоматической системе синхронизации губ AccuLips.

Плагины Audio2Face для iClone совместимы с iClone 8.4 и выше, Audio2Face 2023.2 и выше и Character Creator 4.4 и выше. Их можно скачать бесплатно.
Для их использования также необходимы бесплатные Character Creator и iClone Omniverse Connectors.

Character Creator и iClone доступны для Windows 7 и выше. Стоимость новых лицензий составляет 299 и 599 долларов соответственно. Audio2Face доступен для Windows 10 и выше и является бесплатной частью Omniverse.