VooDoo — мокап лица с помощью мобильника

Разработчики из Hot Knife представили новое приложение Voodoo для смартфона, которое позволяет захватывать и записывать выражение лица и голос прямо на устройство. Кроме того, разработчики добавили скрипты 3ds Max, чтобы синхронизировать записанные данные с ригом лицевой анимации персонажа в редакторе.

Voodoo_Header.jpg

Перед записью необходимо настроить приложение: задать частоту кадров и продолжительность записи на экране настроек (в правом верхнем углу), после чего достаточно нажать кнопку записи на главном экране и начать "действовать". Приложение разбивает запись на аудио и видео потоки, сохраняя их в файлах .wav и .vdr, которые затем можно перенести на компьютер, например путем перетаскивания в локальную папку через itunes.

После переноса файлов необходимо запустить Voodoo, выбрать сетку персонажа и загрузите .vdf. Персонаж должен иметь модификатор Morpher, также нужно будет сопоставить morph-каналы с формами лица в окне Mapping, которое находится в разделе Track / Mapping на выдвижной панели Voodoo. Для настройки синхронизации необходимо указать IP-адрес устройства в локальной сети в параметрах приложения.

Скрипты HK_MirrorMorph.mcg и HK_MirrorVertColour.mcg устанавливаются вместе с пакетом Scripting/Install Max Creation Graph .MCG.
Скрипт HK_Poser.V11.mse необходимо разместить в папке C:\Program Files\Autodesk\3ds Max 2020\scripts\Startup или другой настроенной папки запуска скриптов.

Настройки приложения
AppArtboard-1.png

App_scriptArtboard-1.png

MappingArtboard-1.png

669 0 850 5
17
2019-08-26
Олег, через Г
2019-08-26
ну нельзя одной камерой нормально захватить лицо. соберите хоть приблуду из 3-4 вебок и через проги специальные обработайте. и то лучше будет
2019-08-26
Сырое наверно, пока что?
2019-08-26
Артем, а если лицо миниатюрное?)
2019-08-26
Holden, никак не связанно. одна камера по аналогии с одним глазом не может измерить глубину.
2019-08-26
Данил, https://youtu.be/i51CizUXd7A
2019-08-26
Александр, у 10 яблока две камеры как раз потому что разблокировка по лицу там производится по 3д модели. но ты уверен что 10 так распостранен? и что в приложении есть поддержка двух камер?
2019-08-26
Артем, сейчас больше смартфонов появляется с поддержкой большего количества камер. Так что рано или поздно это распространится. Для распознавания лица нужен сейчас только софт.
2019-08-26
Александр, отмаза. да и все равно через ПК лучше и удобнее. Телефон никогда не был и не будет машинкой для работы. только для потребления контента.
2019-08-26
Артем, ну, грубо говоря опять же, с нужным софтом вместо айфончика достаточно будет повесить на голову хорошую камеру и *без маркеров* делать мокап. С ML это вполне возможно сейчас.
2019-08-26
не относится к теме поста
2019-08-26
Артем, ну и к чему ты начал тогда писать про ПК?
2019-08-27
Артем, а как так организовать " связать" вебки, для единой командной работы ?
2019-08-27
Not avalible on App Store (
2019-08-28
Артем, ммм ну вот ты 1 глазом не можешь распознать мимику лица? Я могу, значит это исключительно проблема DataScience
2019-08-28
Иван, ты воспринимаешь картинку мозгом и уже он достраивает твое впечатление от лица и соответственно его мимику. а камера интеллектом не обладает
2019-08-28
Артем, А по твоему что написал?
RENDER.RU