Viggle открыла веса видеоагента Remake для замены героев

Компания Viggle AI выпустила Viggle Remake, агента для переработки уже снятого видео. Он заменяет всех персонажей в сцене, меняет объекты и фон, перестилизует картинку и добавляет визуальные эффекты в роликах длиной до двух минут. Одновременно компания выложила веса модели в открытый доступ, так что помимо облачного сервиса доступна и сама модель.

Минимальная цена в облаке составляет $0,96 за 10 секунд видео в разрешении 720p. По этому тарифу минута обойдётся примерно в $5,76, а ролик максимальной длины в две минуты примерно в $11,52. Viggle AI утверждает, что это меньше половины цены Higgsfield Genjutsu.

Что умеет агент

Судя по объявлению, Remake рассчитан на типичные задачи переработки отснятого материала:

• Замена всех персонажей в сцене. Компания обещает, что новые герои остаются согласованными между монтажными склейками. Для диалоговой сцены, смонтированной из общего плана и крупных планов, это ключевое условие: иначе персонаж будет меняться от кадра к кадру.
• Замена объектов и фона. Можно подменить предмет в кадре или перенести действие в другую локацию.
• Перестилизация и VFX. Ролик можно перевести в другой визуальный стиль или добавить в него эффекты.
• Доработка в диалоге. Агенту можно продолжать писать, пока конкретный кадр не станет таким, как нужно.

Последний пункт компания формулирует так:

«Продолжайте общаться с агентом, чтобы исправить любой кадр, пока он не станет таким, как надо».
— Viggle AI

Чем это отличается от прежних инструментов Viggle

У Viggle уже есть отдельные анимационные инструменты с узкими задачами. Mix «вмешивает» изображение одного персонажа в видео с движением, Multi делает то же сразу для нескольких персонажей, а Motion Control оживляет статичную картинку по движению из ролика. Они работают по кредитам, и один кредит покрывает 15 секунд анимации.

Этими инструментами уже делали сериальный контент. Автор Mr. WAS, как рассказывает блог Viggle, сделал пятисерийный сериал и использовал Mix для самых важных кадров, крупных планов в диалоговых сценах. Кадры с едой и внешними локациями он делал в Runway Gen 2. Такой процесс означал сборку материала из разных сервисов. Remake, судя по описанию, сводит в один инструмент замену героев, предметов, фона и стиля и принимает на вход сцену длиной до двух минут с монтажными склейками.

Насколько корректно сравнение с Genjutsu

Higgsfield Genjutsu решает схожую задачу: перестраивает часть клипа без пересъёмки. В нём два режима. Motion Transfer забирает движение из видео и строит вокруг него новую сцену. Object Swap заменяет указанный элемент и оставляет остальной кадр нетронутым. Как описано в руководстве Higgsfield, за одну генерацию сервис принимает ролик до 30 секунд и до 30 референсных фотографий, а результат отдаёт в разрешении до 1080p. Промт необязателен, работу можно выполнить пресетами. Есть и облегчённая версия Genjutsu Lite, тоже до 30 секунд, в 720p или 1080p.

По длине Remake выигрывает вчетверо: две минуты против 30 секунд за генерацию. С ценой сложнее. Viggle назвала стоимость только для 720p, а Genjutsu выдаёт и 1080p. Тарифов Remake на более высокое разрешение компания не привела, поэтому заявление о цене меньше половины от Genjutsu имеет смысл проверять лишь для сопоставимого вывода в 720p.

Что пока неизвестно

Открытые веса доступны по ссылке из поста, облачная версия запускается здесь. В объявлении нет главного для студии, которая захочет поставить модель у себя: лицензии весов, условий коммерческого использования и требований к видеокарте. Не раскрыто и то, как именно агент удерживает персонажа между склейками и где этот механизм ломается.

По нашей оценке, от этих ответов зависит, кому Remake реально пригодится. Авторам коротких роликов и контента для соцсетей, вероятно, хватит облака с оплатой за секунды. Студиям постпродакшна и VFX-командам, которые не могут отправлять материал заказчика во внешний сервис, открытые веса интересны возможностью локального запуска. Пока лицензия не известна, закладывать модель в коммерческий пайплайн рискованно. Открытым остаётся и вопрос качества на крупных планах в 1080p и выше, где ошибки замены персонажа заметнее всего.

Почему Viggle открыла веса Remake: давление открытых конкурентов, ставка на сообщество разработчиков, борьба за долю рынка?