Все о MOCAP

Если вы не любите мокап, значит, вы просто не умеете его готовить. Технология motion capture, или mocap, никогда не заменит уникальность ручной анимации, но для многих проектов, где требуется максимальная реалистичность и скорость работы, mocap – незаменимый инструмент. Что это такое, как это работает, что нужно знать при работе с технологией, нам рассказали отечественные «гуру» motion capture – недавно появившаяся и вильнюсская студия MOCAP.LT и уже зарекомендовавшая себя на многих проектах самарская студия Mocap.ru.

Виктор Епишин, Mocap.ru, Самара

1. Откуда всё появилось

Считается, что история motion capture начинается на студии Уолта Диснея в середине 70-х. Аниматоры Диснея перерисовывали своих героев с реальных актёров на плёнке и вставляли в фрагменты мультфильма. Основой была технология ротоскопинга, предполагающая наличие специализированных станков, на которых аниматоры рисовали микки-маусов и русалок прямо поверх людей. Это был фактически ручной motion capture. Новая технология по-прежнему требовала времени, но позволяла сделать первый шаг к реальным движениям нереальных персонажей.

Второй важный шаг в освоении технологии сделало медицинское сообщество в начале 80х, конкретно врачи-кинесиологи, изучающие динамику движения человеческого тела. Профессору Тому Калверту первому пришла мысль, закрепив на тело потенциометры, оцифровать информацию о собственных движениях. Метод тут же взяли на вооружение разнообразные клиники и хореографические студии. Профессиональные группы от 3D-графики очень скоро стали использовать коммерческие системы оптического слежения, основанные на светодиодных маркерах, такие как SelSpot и Op-Eye, и в 1983 году специалисты лаборатории Массачусетского технологического института разработали первую скриптовую систему Graphical Marionette, которая использовала Op-Eye. Предназначалась она для рендеринга мокап-анимированного персонажа. Но низкая скорость рендера и высокая цена аппаратной части так и не позволили марионетке стать хорошим решением.

В 1988 году компания Silicon Graphics представила свои достижения в motion capture, сделав «Майка-говорящую голову» - трёхмерного персонажа, управляемого в реальном времени с помощью специальной перчатки. Их партнёры по разработке Майка, Pacific Data Images, поздней сами разработали «exoskeleton» - пластиковую конструкцию-одежду для актёра в качестве динамических элементов motion capture. Система также не стала идеалом из-за шумов и размеров, но успела послужить для захвата движений во многих проектах.

На телевидении motion capture впервые применили в 1991 году. Привидение по имени Мат под управлением системы всего с одной камерой, общалось со знаменитостями, приглашёнными в студию. Управляли Матом целая команда кукловодов. А в 1992 году были сделаны первые шаги в направлении обработки мимики человеческого лица. Компания SimGraphics разработала систему "face waldo", где использовались механические датчики, прикрепленные к губам, бровям, щекам и подбородку актера и электромагнитные датчики на шлеме. Система переводила движение актёра в движение 3D – персонажа.

В 1993 Mortal Kombat открывает эру motion capture в разработке игр и кино. Примерно с этого времени технологию можно считать созревшей для коммерческого использования. Система, изобретённая как инструмент анализа в исследовании биомеханики стала более важной для компьютерной мультипликации, образования, и спортивных состязаний , а недавно - для киноиндустрии и геймдева.

2. Как это работает

Первые комплексы Motion Capture были оптическими, и основной принцип работы таких систем не изменился по сей день. Заключается он в том, что несколько камер, расположенных под разными углами к движению, снимают динамику маркеров-отражателей или светодиодов распределенных по телу движущегося «актёра». Далее специальное ПО вычисляет координаты каждого маркера в пространстве в определенные моменты времени, соотнося данные с каждой камеры. Маркеры имеют три степени свободы, а информация о вращении вычисляется из относительной ориентации трёх или более маркеров (например, плечо, локоть и маркеры запястья, дающие угол локтевого сгиба).

Есть оптические системы с пассивными и активными маркерами. Первые используют маркеры-отражатели (когда-то были системы с катафотами) и идентифицируют каждый маркер с учётом кинематических ограничений и различных алгоритмов интерполяции. Именно такие в основном используются для нужд индустрии развлечений. Такие системы могут отслеживать огромное количество датчиков и давать впечатляющую область захвата (с футбольное поле и больше) что, правда, требует увеличения количества камер. В отличие от активных оптических и магнитных сисем, пассивные системы не требуют, чтобы актёр носил провода или электронное оборудование. Пассивные маркеры – обычно сфера или полушария, сделанные из пластмассы или или пены со специальной отражающей лентой. Системы такого типа делают фирмы Vicon-Peak, Motion Analysis, BTS и др.

Преимущество активных систем в том, что нет сомнений какой маркер является каким. Но результирующее число fps обратно зависит от количества маркеров – например, если исходных 5000 fps при 100 маркерах, в итоге будет всего 50 fps. Подобные системы находят применение на рынке биомеханики, два примера Optotrak от Northern Digital и Visualeyez system от PhoeniX Technologies.

Магнитные системы вычисляют положение и ориентацию маркеров с помощью магнитных полей трёх ортогональных катушек на передатчике и на каждом приёмнике. Отношение напряженностей полей трех катушек позволяет вычислять и расстояния и ориентацию маркеров. Маркеры не перекрываются совсем, но восприимчивы к магнитным полям, создаваемым проводкой, электроприборами и металлическими объектами вроде арматуры в бетонных стенах. Реакция датчиков нелинейна около границы области захвата, а сама область значительно меньше чем у оптических систем. Магнитные системы делятся на системы постоянного тока DC и AC - с синусоидальными волнами. Примеры магнитных систем - Ascension technology и Polhemus.

Инерционные системы используют устройства типа акселерометров или гироскопов, чтобы измерить позиции и углы. Они часто используются в комбинации с другими системами чтобы обеспечить глобальную привязку.

3. О плюсах и минусах motion capture

Попробую перечислить преимущества мокап-анимации перед классической ручной:

Mocap экономит человеко-часы на анимацию персонажа – один актёр, работающий в течении дня (и затем технический штат, работающий несколько дней, чтобы очистить mocap данные) может создать столько анимации, что традиционным аниматорам пришлось бы потратить месяцы.
Mocap может захватывать «вторичные» движения, которые классические аниматоры могут и не воспроизвести за неимением времени или навыка. Mocap может точно захватить сложное физическое движение вроде реакции на удар кулаком или вращение нунчаков.
Процесс съемок интерактивен и позволяет корректировать процесс уже на этом этапе.

На другой чаше весов:

mocap требует специальных программ и времени, чтобы чистить шумовые эффекты захваченных и обработанных данных. Если ошибок много, иногда легче бросить их и повторно снимать сцену.
Другой важный момент – тогда как человеческие движения mocap воспроизводит легко, с любым актером не-человеческого происхождения возникнут проблемы. Применение motion capture к животным вроде лошадей или собак очень трудно.
Оборудование захвата движений стоит десятки и сотни тысяч долларов, работу штата надо оплачивать, а все эти инвестиции могут стать однажды устаревшими, когда изобретут новые, лучшие ПО и оборудование. Некоторые крупные киностудии и компании-разработчики игр устанавливают собственные ситстемы, но большинство заключают контракты с фирмами, специализирующимися на motion capture.

4. Описание съёмок

Перед самым началом съемочного сета камеры калибруются. Для этого используются специальные калибровочные палочки. Процесс калибровки помогает камерам определить свое положение в пространстве относительно друг друга, а также узнать, где находится пол. С истечением времени в данных калибровки появляется погрешность, и требуется повторная калибровка.

После того, как система откалибрована, а актер обвешен маркерами, необходимо откалибровать его. Для этого под прицелом камер ему необходимо сделать ROM (Range of Motion), согласно данным которого в программе Vicon IQ появляется субъект. Пока оператор системы занимается обработкой этого субъекта, постановщик объясняет актеру какие движения будут отыграны в данном сете, актер готовится, репетирует.

Когда режиссер уверен, что актер понял все движения правильно, звучит команда «Мотор», и движение снимается.

Запись ведется в формат X2d, который проходит обработку в Vicon IQ.

Дополнительные предметы, которые используются актерами в анимациях также обвешены маркерами. Опираясь на эти маркеры, можно отследить движение предмета в Motion Builder, и получить на выходе релистичную его анимацию.

5. Описание выходных данных

Выходные данные могут иметь формат TRC, FBX, BVH.

TRC формат несет в себе данные о движениях маркеров, а также при обработке в Motion Builder предоставляет ряд инструментов для улучшения качества (заливка гапов, фильтрование)

FBX формат может иметь разные воплощения:

Файл может включать в себя данные наподобие TRC формата, только без возможности доработки маркеров, а может включать и полностью анимированную модель, или несколько моделей.
Фильмбокс формат с легкостью импортируется в 3D studio MAX, Maya на простые кости.

BVH формат используется нами исключительно только для экспорта мокап данных на скелет анимационного модуля Character Studio для 3D studio MAX.

6. Описание процесса чистки

Отснятые в сете движения проходят обработку в Vicon IQ. Там маркеры обретают трехмерность, заливаются гапы, фильтруются

Программа Vicon IQ позволяет рассчитать кинематическую модель персонажа, а также провести довольно точное автоматическое распознавание частей тела актера при чистых данных. Если маркеры актера часто перекрываются, то необходима ручная доводка данных, автоматической обработки в данном случае недостаточно.

В большинстве случаев проблем с доводкой анимации не возникает, если движение отыграно актером правильно. Именно поэтому мы уделяем процессу съемки очень большое внимание. В будущем это окупается минимизацией времени на доводку и получением аниматором удовольствия от проделанной работы.

Легкость и четкость выполнения работ зависит от того, насколько все составляющие процесса продуманы и подготовлены в срок. Изменение параметров скелета либо довеска новых констрейнов в процессе работы над большим заказом как правило вызывают путаницу и несостыковки с материалом, прошедшим обработку в прошлом, и как следствие – задержки со сдачей конечного продукта клиенту. Все должно быть подготовлено заблаговременно.

Вадим Беседин, MOCAP.LT, Вильнюс

Render.ru: Расскажите, пожалуйста, об актуальных на данный момент mocap-системах, их преимуществах и недостатках.

Вадим Беседин: Практически все современные мокап-системы можно назвать актуальными, потому что они не только помогают сделать реалистичную анимацию, но и независимо от их типа, помогают значительно сэкономить время, затраченное на производство анимации, а экономия времени и вовремя выполненная работа, всегда актуальны.

Конечно ни стоит ожидать от системы за 5000у.е. чудес лицевого мокапа или широкого выбора возможностей записи и обработки мокап-данных, но скажем на любительских проектах с минимальными требованиями к анимации, такая система тоже сделает своё дело и поможет Вам сэкономить время. Перед приобретением такой системы, внимательно изучите её возможности, чтобы не пришлось разочаровываться в процессе работы. Я бы не рекомендовал приобретать дешёвые мокап-системы (ну разве что вы всегда планируете создавать очень простую анимацию), при отсутствии бюджета на хорошую мокап-систему, лучше арендовать хорошо оборудованную мокап-студию с профессиональным оборудованием, например лидирующим и самым популярным считается оборудование фирмы Vicon.

Насколько мне известно, существуют мокап-системы следующих типов:

Оптические пассивные
Оптические активные
Магнитные
Механические
Гироскопические / инертные

Оптические пассивные системы, названы пассивными только из-за того что маркеры используемые в данных системах, только отражают посланный на них свет, но сами не светятся. В таких системах, свет (видимый, ближний инфра-красный или инфра-красный) на маркеры посылается с установленных на камерах высокочастотных стробоскопов и отразившись от маркеров попадает обратно в камеру, сообщая тем самым позицию маркера.

Единственным минусом оптических пассивных систем я бы назвал то, что иногда при быстром и близком друг от друга движении, маркеры меняются - система может спутать который из них который.

Плюсов у таких систем гораздо больше:

Высокая точность
Возможность захвата движений / мимики лица
Полное отсутствие помех
Актёр не обременён никакими блоками или проводами тянущимися к компьютеру
Большая рабочая зона
Нет особых требований к рабочему помещению
Высокая прочность и низкая стоимость маркеров

Оптически активные системы, названы активными потому что вместо светоотражающих маркеров, в них используются светодиоды с интегрированными процессорами и радио-синхронизацией. Каждому светодиоду назначается ID, что позволяет системе их не путать, а также узнавать их, после того как они были перекрыты и снова появились в поле зрения камер. А во всём остальном, принцип работы таких систем, схож с пассивными системами.

Минусы активных систем:

Отсутствие возможности захвата движений / мимики лица
Дополнительная коробочка-контроллер, прицепленная к актёру и подключенная к маркерам-светодиодам
Хрупкость и относительно высокая стоимость маркеров-светодиодов

Плюсы активных систем:

Высокая точность
Полное отсутствие помех
Большая рабочая зона
Нет особых требований к рабочему помещению
При быстром и близком друг от друга движении, маркеры не меняются - система непутает который из них который.

В магнитных системах маркерами являются магниты, а камерами - ресиверы, система высчитывает их позиции по магнитному потоку.

Минусы магнитных систем:

Магнитные системы подвержены магнитным и электрическим помехам от металлических предметов и окружения (проводка, кабели, оргтехника, арматура в бетонном полу)
Переменчивая чувствительность сенсоров в зависимости от их положения в рабочей зоне
Меньшая по сравнению с оптическими системами рабочая зона
Отсутствие возможности захвата движений / мимики лица
Дополнительная коробочка-контроллер, прицепленная к актёру, и подключенная к магнитным маркерам или даже связка проводов, тянущаяся от актёра к компьютеру.
Высокая стоимость магнитных маркеров

Плюсы магнитных систем:

Магнитные маркеры не перекрываются телом актёра и могут быть перекрыты от видимости камеры только металлическими предметами.

Механические мокап системы - напрямую следят за сгибами суставов, для этого на актёра одевается специальный механический мокап-скелет и двигаясь, вместе с частями тела актёра, двигается и мокап-скелет. А в компьютер передаются данные о углах сгибов всех суставов.

Минусы механических систем:

Мокап-скелет, с дополнительной коробочкой-контроллером, прицепленной к актёру и подключенной к сенсорам сгибов, а в некоторых случаях и провода, тянущиеся от скелета, очень ограничивают свободу и удобства движения.
Отсутствие возможности захвата:
- движений / мимики лица
- движений тесного взаимодействия двух и более актёров (борьба, танцы с поддержками и т.д.)
- движений на полу - кувыркания, падения и т.д.

Риск поломки механики при неосторожном пользовании (например, актёр забудет, что нельзя падать и сыграет сцену падения - вот вам и перелом левого мокап предплечья, ну а теперь на гипс, в ближайший авто-сервис)

Плюсы механических систем:

У беспроводных механических систем большая зона действия - практически не ограниченная.
Полное отсутствие перекрывания и/или перепутывания маркеров из-за их отсутствия.

Гироскопические / инертные мокап-системы для сбора информации о движении, используют миниатюрные гироскопы и инертные сенсоры, расположенные на теле актёра - также как и маркеры или магниты в других мокап-системах. Данные с гироскопов и сенсоров передаются в компьютер, где и происходит их обработка и запись. Система определяет не только положение сенсора, но и также угол его наклона.

Минусы гироскопических / инертных систем:

Отсутствие возможности захвата движений / мимики лица
Дополнительная коробочка-контроллер, прицепленная к актёру, и подключенная к магнитным маркерам или даже связка проводов, тянущаяся от актёра к компьютеру.
Высокая стоимость гироскопов и инертных сенсоров
Для определения актёра в пространстве нужна дополнительная мини-система (оптическая или магнитная)

Плюсы гироскопических / инертных систем:

Сенсоры не перекрываются телом актёра
Относительно хорошая точность

Render.ru: Насколько транспортабельны mocap-системы?

Вадим Беседин: Мокап-системы очень транспортабельны, например, всё оборудование 6-ти камерной оптической мокап-студии, может уместиться в трёх чемоданах. После прибытия в точку назначения, разобранную студию в полную "боевую" готовность можно привести за 2 часа.

Render.ru: Какое свободное пространство нужно для установки различных систем?

Вадим Беседин: Всё зависти от конкретно выбранной системы, как таковое помещение нужно оптическим и магнитным системам. В механических и гироскопических / инертных системах, основной рабочий "механизм" это костюм, соответственно, где вы его оденете, там же и сможете "каптуриться", только не забудьте к компьютеру подключиться.

А минимальные требования были бы такими:

Оптические: лицевой мокап от 3 кв.м., мокап всего тела от 50кв.м. и более
Магнитные: мокап всего тела от 16кв.м., до 22кв.м.
Механические, гироскопические / инертные: от 1кв.м., до того, сколько провода или радио-сигнала хватит

Render.ru: Существуют ли решения, позволяющие создавать mocap-анимацию персонажа "за один присест": анимация тела, лицевая анимация и т.д. одновременно? Какое оборудование для этого необходимо?

Вадим Беседин: Да, существуют - такими решениями являются оптические мокап-системы. Конечно не надо рассчитывать на одновременный мокап тела, лица и пальцев рук, в таких ситуациях как например тесная борьба двух дзюдоистов - они прижаты друг к другу, перекручены в три погибели и их мордашки часто бывают зажатыми и спрятанными от камер. Но, например, играющий на гитаре и поющий актёр, может быть "закаптурен" без проблем - и пальцы, и тело, и лицо.

Существуют и готовые решения по встраиванию mocap в pipeline при производстве анимационных проектов.

Render.ru: Расскажите, пожалуйста, о штате mocap-специалистов в вашей студии, являются ли ваши сотрудники профессиональными аниматорами или техническими специалистами, в основном, по mocap-оборудованию?

Вадим Беседин: В нашей студии три мокап-специалиста, всё трое занимаются обработкой мокап-информации, а один из них (не поскромничаю - я) выполняет весь спектр мокап-работ - сборка, разборка, наладка и калибровка мокап-системы, создание скелетов, калибровка персонажа и, конечно же, сам "каптуринг". Профессиональными аниматорами себя не считаем, техническими специалистами - безусловно, и не только по мокап.

Render.ru: Бывали ли у вас какие-то необычные заказы или, возможно, специфика работы такова, что все заказы - необычны?

Вадим Беседин: При выполнении очередного заказа мы встретились с такой ситуацией, что из-за специфики и пропорций персонажа, а также характера его движений, нужно было иметь возможность, в реальном времени накладывать движения мокап-актёра на 3Д персонажа с одновременным просмотром. После недолгих исследований и последующих работ такая возможность была достигнута - теперь надев на актёра мокап-костюм, Вы можете видеть не только маркеры и скелет, но и двигающегося персонажа и всё это в реальном времени.

Render.ru: Работаете ли вы с четвероногими моделями? Возможно ли сделать mocap-анимацию, скажем, лошади?

Вадим Беседин: Да, мы можем делать мокап животных. Недавно, как тест, мы "каптурили" обыкновенную, не дрессированную собаку - тест показал, что всё это полностью возможно, основными требованиями я бы назвал использование дрессированных животных и наличие достаточной для них рабочей площадки - собачка так и норовила быть вне зоны действия.

Render.ru: Как производится адаптация анимации, полученной с помощью mocap, для персонажей с искаженной анатомией?

Вадим Беседин: Да, и это довольно легко, программа MotionBuilder делает автоматический "ретаргетинг" данных на персонажа любых пропорций.

Render.ru: Расскажите, пожалуйста, о процессе чистки полученной исходной mocap-анимации.

Вадим Беседин: У нас в студии чистка производится на той же программе что и "каптуринг" - Vicon IQ (такой хорошенький "софтик" - рекомендую). В зависимости от сложности и скорости движений, а также от калибровки системы и других побочных факторов, как например случайным движением сорванный с актёра маркер и т.д., процесс чистки может быть как лёгким и быстрым, так и тяжёлым и долгим. Коротко всё обстоит так: для начала определяется какой маркер, какой, потом прослеживается его траектория и определяется, всегда ли он был видим, если не всегда, то при наличии откалиброванного скелета система попытается сама определить где он был и где именно сейчас он находится. После того как все маркеры определены, можно приступать к заполнению пропусков, короткие пропуски (например, 5 кадров) можно восстанавливать автоматом, длинные (50 кадров) желательно восстанавливать вручную.

Render.ru: Как происходит постановка анимации при наличии в сцене большего количества активных персонажей, чем есть в наличии костюмов (например, сцена поединка с несколькими противниками)?

Вадим Беседин: Технические возможности нашей студии, позволяют "каптурить" до трёх актёров одновременно, костюмов у нас семь штук. Если все-таки надо одновременно "каптурить" больше трёх актёров, то есть два решения:

первое, мы добавляем дополнительные камеры
второе, актёры должны хорошо отработать хореографию, позиции и "таймиг" боя и тогда их можно будет "закаптурить" в два и более подхода (при этом, во время каптуринга второго и последующих подходов, возможен одновременный просмотр предыдущих).

Render.ru: Какими характеристиками или, может быть, профессией должен обладать кандидат на осуществление функций модели для mocap-костюма? Бывала ли необходимость использовать для выполнения заказа каскадерские трюки, например?

Вадим Беседин: Также как и к любым другим актёрам, требования очень разные. Нельзя сказать, что нужны только каскадёры и акробаты, всё зависит от конечного персонажа, для которого делается мокап-анимация, например для Шрека, подошёл бы здоровый и не очень поворотливый мужичок, а даже профессиональный каскадёр, никогда не выполнит движения маленькой девочки лучше её самой.

Каскадерские трюки пока "не каптурили", или я их не считаю каскадёрскими, а вот акробатические "каптурили" - были и сальто, и падения, другие различные "выкрутасы".

Render.ru: Оцените, пожалуйста, темпы развития этой области деятельности в России, Прибалтике, за рубежом? Каковы тенденции?

Вадим Беседин: В основном, конечно же, спрос рождает предложение, но иногда бывает и наоборот. Мне трудно говорить о России, но например в такой маленькой стране как Литва, никому до персонажной анимации и дела не было, ни в рекламах, ни в клипах, не говоря уже о нашем немногочисленном кино, а вот появился мокап и понемножку все начали шевелиться. Но, в общем, всё равно народ ещё не знает что такое мокап, как его использовать и как он может сократить время производства анимации (например, в 60 раз). Мокап-студии, а также технология, развиты хорошо и их потенциал огромен, но из-за того, что люди плохо знакомы с мокапом, они сторонятся его, или считают ненужным его использование, не зная всех тех возможностей что предоставляет мокап-технология. К счастью, тенденции очень хорошие, всё больше людей начинает интересоваться мокапом и его применением в своих проектах, вот, к примеру, и эта статья уже поможет ознакомиться с мокапом.

Render.ru: Каковы темпы улучшения mocap-оборудования? Как быстро устаревают технологические решения?

Вадим Беседин: Темпы улучшения мокап-оборудования у разных систем и производителей разные. Одни продают то что сделали 5 и более лет назад, другие стараются каждый год что то обновлять и улучшать, если не "железо", то хотя бы "софт". Некоторые системы устаревают, другие же так и остаются актуальными, просто по сравнению с новыми не имеют всех тех новых "наворотов" и дополнительных "фишек".

Render.ru: Чем ещё занимается ваша студия?

Вадим Беседин: Сейчас мы проводим ряд тестов и экспериментов с мокапом лица, а также последующей анимацией, позже результаты наших работ и другие мокап-данные и уроки по использованию мокап будут выложены на нашем сайте для публичного ознакомления. Мы хотим помочь студиям и аниматорам ознакомиться с технологией мокап и показать, насколько это может ускорить производство анимации и облегчить их труд. А для более подробного ознакомления с мокап, студия MOCAP.LT организовала акцию, в которой можно полностью бесплатно получить в своё распоряжение мокап-студию с оператором на целый рабочий день.

Также наша студия начала работы по производству двух своих анимационных продуктов, выход которых запланирован на 2008 год, вся персонажная анимация для этих проектов будет создана на основе мокап технологии.

Благодарим студии Mocap.ru и Mocap.lt за помощь в подготовке статьи и предоставленные материалы.
Иллюстрации предоставлены студией "Mocap.lt"