AI-липсинк UNOMi дошёл до Blender и понимает русский
Компания UNOMi выпустила версию своего AI-липсинка для Blender. До сих пор её плагин автоматической речевой анимации существовал только для Autodesk Maya и Cinema 4D, а поддержка Blender и Unreal Engine значилась на сайте разработчика как будущая. Одно из двух обещаний закрыто.
Схема работы прежняя: аниматор отдаёт плагину звуковую дорожку реплики и её текст, а тот разбирает речь и расставляет ключи по заранее слепленным позам рта. Ручная раскладка фонем по таймлайну из пайплайна уходит, дальше художник правит результат сам. На этом разработчик и строит аргумент: ускорить производство, оставив контроль за аниматором.
Для русскоязычных студий значимее другое. В списке языков Blender-версии есть русский: всего их восемь — английский, испанский, мандаринский, португальский, французский, немецкий, корейский и русский, остальные компания обещает добавить позже. Набор отличается от того, что UNOMi указывала для своего 3D-плагина раньше: там перечислялись английский, французский, немецкий, итальянский, японский, испанский и португальский с пометкой, что поддерживаются и другие языки.
Что потребуется от персонажа
Моделирование плагин на себя не берёт: его задача — кейфрейминг и анимация, позы рта нужно слепить заранее. Для версии под Maya разработчик описывает такой набор требований:
- 14 слепленных поз рта (блендшейпов), соответствующих фонетическим звукам;
- аудиодорожка реплики и её текстовая расшифровка;
- постоянное подключение к интернету — через него проверяется лицензия и выполняется сама генерация липсинка.
Составные персонажи поддерживаются: глаза, зубы и губы могут быть разведены по отдельным объектам. Липсинк для нескольких персонажей в одной сцене тоже возможен, но из-за ограничений Maya при проигрывании активна только одна звуковая дорожка. Модели принимаются в FBX и GLTF, звук — в MP3, WAV и AIFF, результат выгружается обратно в FBX, GLTF или в видео QuickTime. Отдельного списка требований для Blender компания пока не публиковала, так что детали интеграции могут отличаться.
Пробную версию можно скачать бесплатно, полная требует покупки; страница продукта — UNOMi 3D Lip Sync. В пробном режиме длительность липсинка ограничена несколькими секундами. Разработчик просит пользователей Blender присылать пожелания по дальнейшим функциям.
Зачем вендору коммерческого софта идти в Blender
Выход плагина выглядит частью более широкого разворота компании. UNOMi заявляла, что в течение трёх месяцев её 3D-липсинк превратится в UNOMi 3D со встроенной безмаркерной системой захвата движения, работающей с веб-камеры или телефона; в планах по этому направлению Blender указан наравне с Maya, Cinema 4D и Unreal Engine.
Причина, вероятно, в структуре аудитории. Малые и средние студии, фрилансеры и инди-команды — то есть те, кому автоматизация лицевой анимации экономит больше всего человеко-часов, — всё чаще работают именно в Blender. Для поставщика нишевого AI-инструмента это крупнейший неосвоенный рынок, и игнорировать его дальше становилось дороже, чем портировать плагин.
Сопротивление, однако, тоже предсказуемо. Сообщество Blender привыкло к бесплатным аддонам липсинка на основе фонемных словарей и к инструментам, которые работают офлайн. Платная лицензия и обязательная связь с сервером — привычная модель для рынка Maya, но для Blender это чувствительный барьер: без интернета и действующей лицензии плагин просто не сработает. Если UNOMi хочет закрепиться в этой аудитории, качество распознавания на восьми языках придётся предъявлять убедительно — именно оно отличает платный инструмент от бесплатных аналогов.
Что важнее в липсинке для вас?
- Готовые ключи по позам рта
- Поддержка русской озвучки