Компания DeepMotion, основанная в 2014 году ветераном игровой индустрии Кевином Хе, является одним из пионеров в области захвата движений с использованием ИИ и проложила путь для других недавних браузерных mocap-инструментов. С помощью SayMotion компания перешла в мир генеративного ИИ, позволяя создавать анимационные ролики путём ввода текстовых описаний движений, которые пользователи хотят сгенерировать. Описания делятся три подраздела: тема, действие и детали.
Тема описывает характер анимируемого персонажа (например, "женщина", "ребенок" или "пловец"), а действие описывает... выполняемое действие.
Деталь изменяет анимацию, указывая направление или ориентацию, в которой она должна происходить, а также стиль или эмоции, с которыми персонаж должен её выполнять. Соединяясь вместе, они могут генерировать довольно сложные последовательности действий.
Один пример из онлайн-документации использует описание: "Человек идет по кругу, он напряжен, а затем протягивает левую руку, чтобы схватиться за стул, резко опустившись на него". Исходная анимация может быть доработана с помощью системы SayMotion "inpainting", которая даёт возможность пользователям расширять, изменять или смешивать анимацию с дополнительными текстовыми подсказками. В примере из начального руководства показано, как движение наклона, для того, чтобы поднять предмет, накладывается на анимацию персонажа, идущего по кругу. Система также поддерживает некоторые дополнительные опции Animate 3D - сервиса искусственного интеллекта DeepMotion mocap, включая сглаживание движений и фиксацию ног.
Помимо готовых персонажей DeepMotion или созданных с помощью встроенных инструментов генерации аватаров, пользователи могут загружать собственные 3D-персонажи для анимирования. Подойдут и модели со стоковых сайтов, таких как Mixamo, Sketchfab и TurboSquid, если они имеют стандартные пропорции тела гуманоида. Анимированный персонаж можно экспортировать в форматы FBX, GLB или BVH, что позволяет использовать анимацию в таких DCC-приложениях, как Blender или Maya, а также в игровых движках, таких как Unity и Unreal Engine. Также можно экспортировать видео с анимацией в формате MP4.
DeepMotion ограничивается генерированием движений всего тела человеческих персонажей, хотя DeepMotion рассматривает возможность добавления поддержки анимации лица и рук. Компания также планирует добавить поддержку видео подсказок, генерируя новую уникальную анимацию на основе интерпретации SayMotion исходного видео.
В настоящее время SayMotion находится в стадии открытой бета-версии. Он должен работать с любым стандартным настольным веб-браузером. Планируется поддержка мобильных браузеров. В период бета-тестирования все пользователи получают 2 000 кредитов в месяц. Создание анимации или MP4, загрузка анимации или использование инпайнтинга - все это расходует один кредит. Анимация, созданная с помощью бета-аккаунтов, лицензируется для использования в коммерческих проектах. DeepMotion не объявила дату выхода или окончательную цену SayMotion.
Это писали ещё до вас, с момента появления Motion Capture
Хотя как замена "домашнему" мокапу - возможно хороший вариант.
хотя, да, а какой смысл постоянно мокапить одно и тоже %))) теперь только текст впечатал и всё
вопрос должен быть не аниматорам, а актёрам которых мокапят,..
Зашёл, загрузил максимально чистую модель - без лишних предметов, в идеальной Т-позе и всё как мы любим. Десяток промптов не справился даже с простой «Idle» анимацией. Про динамику молчу, там полный провал. В общем даже будучи рукожопным нулём в анимации - как я, например, а делать надо - уж лучше закинуть в Accurig и Cascadeur и в последнем делать анимации самому, благо он умеет подтирать за моими золотыми руками своей чудо-физикой.
Грусть, печаль. Спасибо за ответ
Можно. Вчера загрузил свою модель и промптом сразу делал анимацию на неё. Я тоже не сразу нашёл, как загрузить свою, ушло минуты три поисков. Другой вопрос, что анимация дёрганая, рваная, совершенно не соответствует запросу и всё в том же духе. Чуда не случилось. ...Есть подозрение, что если скачать их болванчика, зариговать свою модель точь-в-точь, то возможно результаты будут лучше - их подчистить, допилить, рескейлить, но...
Вот, на всякий случай, оставлю это здесь: Скрин, куда нажать для загрузки своей модели
Вероятно нужно время, то что есть уже зародыш чуда, пройдет 1-2 года, а может быть и меньше и это будет работать так, что ни одному аниматору уже не заплатят тех денег, которые он брал раньше, з/п в области анимации снизятся, аниматоров станет очень много.