SayMotion - преобразование текста в анимацию
Компания DeepMotion, основанная в 2014 году ветераном игровой индустрии Кевином Хе, является одним из пионеров в области захвата движений с использованием ИИ и проложила путь для других недавних браузерных mocap-инструментов. С помощью SayMotion компания перешла в мир генеративного ИИ, позволяя создавать анимационные ролики путём ввода текстовых описаний движений, которые пользователи хотят сгенерировать. Описания делятся три подраздела: тема, действие и детали.
Тема описывает характер анимируемого персонажа (например, "женщина", "ребенок" или "пловец"), а действие описывает... выполняемое действие.
Деталь изменяет анимацию, указывая направление или ориентацию, в которой она должна происходить, а также стиль или эмоции, с которыми персонаж должен её выполнять. Соединяясь вместе, они могут генерировать довольно сложные последовательности действий.
Один пример из онлайн-документации использует описание: "Человек идет по кругу, он напряжен, а затем протягивает левую руку, чтобы схватиться за стул, резко опустившись на него". Исходная анимация может быть доработана с помощью системы SayMotion "inpainting", которая даёт возможность пользователям расширять, изменять или смешивать анимацию с дополнительными текстовыми подсказками. В примере из начального руководства показано, как движение наклона, для того, чтобы поднять предмет, накладывается на анимацию персонажа, идущего по кругу. Система также поддерживает некоторые дополнительные опции Animate 3D - сервиса искусственного интеллекта DeepMotion mocap, включая сглаживание движений и фиксацию ног.
Помимо готовых персонажей DeepMotion или созданных с помощью встроенных инструментов генерации аватаров, пользователи могут загружать собственные 3D-персонажи для анимирования. Подойдут и модели со стоковых сайтов, таких как Mixamo, Sketchfab и TurboSquid, если они имеют стандартные пропорции тела гуманоида. Анимированный персонаж можно экспортировать в форматы FBX, GLB или BVH, что позволяет использовать анимацию в таких DCC-приложениях, как Blender или Maya, а также в игровых движках, таких как Unity и Unreal Engine. Также можно экспортировать видео с анимацией в формате MP4.
DeepMotion ограничивается генерированием движений всего тела человеческих персонажей, хотя DeepMotion рассматривает возможность добавления поддержки анимации лица и рук. Компания также планирует добавить поддержку видео подсказок, генерируя новую уникальную анимацию на основе интерпретации SayMotion исходного видео.
В настоящее время SayMotion находится в стадии открытой бета-версии. Он должен работать с любым стандартным настольным веб-браузером. Планируется поддержка мобильных браузеров. В период бета-тестирования все пользователи получают 2 000 кредитов в месяц. Создание анимации или MP4, загрузка анимации или использование инпайнтинга - все это расходует один кредит. Анимация, созданная с помощью бета-аккаунтов, лицензируется для использования в коммерческих проектах. DeepMotion не объявила дату выхода или окончательную цену SayMotion.