Уроки: Общие принципы

Мой дом - моя студия... для Motion - Capture

Здравствуйте!!!

Зовут меня Виктор Кулачкин, живу в г. Кишинёве.

CG для меня является давним увлечением, самое интересное, для меня, направление - Matchmoving. Вот мне захотелось поделиться полученными знаниями в этой области, для чего и был написан этот урок - «Мой дом - моя студия... для Motion - Capture»

В этом уроке я хочу рассказать, как можно сделать Motion - Capture, буквально, в домашних условиях. Для этого будет использована программа от REALVIZ, она создана именно для Motion - Capture, и называется Movimento. Программа с довольно обширными возможностями, может работать с большим количеством камер, при загрузке материала мы не утруждаем себя синхронизацией, установкой параметра Non - rigid Object (motion - capture) это всё активно изначально, а благодаря калибровке камер, последующий трэкинг маркеров не составляет особых проблем.

Для этого нам нужно 15 - 20 шт. шариков для настольного тенниса и 2 камеры, конечно лучше 4 или 8, но это уже сложно, а найти 2 камеры совсем не сложно, я снимал на любительские камеры Panasonic DX - 100.

Я обошёлся 18 шариками, вот что у меня получилось, крепил их с помощью липкой ленты.

Ставим две наши камеры, строгих условий здесь нет, потому что Movimento калибрует их для качественного трэкинга. Единственное условие - камеры нужно разместить справа и слева от актёра... И так нажимаем REC и наш актёр начинает двигаться, учитывая то, что у нас всего 2 камеры, желательно, что бы маркеры (шарики) не выходили из зоны видимости объективов, но если это произойдёт ничего страшного, как решить эту проблему будет рассказано дальше. Записываем движения, видео переносим в компьютер. Не называйте папки и файлы кириллицей, программа просто не увидит.

В After Affects синхронизируем два наших видео, для лучшего результата делаем из цветной картинки чёрно-белую, затем считаем в последовательность кадров, я сделал JPG

Полученный материал импортируем в Movimento для начала можно импортировать небольшую часть материала, потому что первым нашим действием будет калибровка камер, это заменяет внесение данных о камерах, в данном случае понадобилось 50 кадров из 400, выбираем 25 кадров в секунду и экспортируем материал с обеих камер.

Для удобства разделим окно программы на 2 части, таким образом, мы будем видеть обе последовательности кадров.

Далее идём в панель и находим MotionTracks, калибровка у нас будет именно по движению актёра, по умолчанию в MotionTrack установлено значение Non Rigid Motion, как раз то, что нам необходимо. Жмём правую кнопку и видим New Track.

Устанавливаем наш Track на маркер, удобство программы в том, что при установке Track зумируется зона поиска и не составляет труда установить Track в центр маркера, это видно слева, потом жмём F3 и ждём пока пройдёт трэкинг, контролировать его мы так же будем в увеличенной зоне поиска Track, находящейся справа.

Это необходимо проделать со всеми маркерами и на каждом из нашего материала. Устанавливаем Track слева, делаем трэкинг и тот же самый Track устанавливаем на том же маркере, но уже справа.

После того, как проделан трэкинг всех маркеров, самое время нажать F9.

Если всё прошло хорошо, то мы увидим зелёные точки на наших маркерах, несколько жёлтых (результат похуже) тоже допустимы, а вот красные говорят о неправильном трэкинге. Таким образом, мы откалибровали наши камеры, полпути уже пройдено. Можно проверить качество калибровки, нажмём на любую точку в одном из окон, а в другом увидим зелёную полосу, которая проходит по центру того же маркера, только с другой камеры.

Если всё прошло хорошо, мы можем экспортировать полученные данные. Даём имя файлу и сохраняем.

Сделаю отступление, программа Movimento позволяет произвести автоматическую калибровку, для этого нам понадобится снять на наши камеры несколько маркеров, я просто прикрепил шарики к палке. Снял на камеру, импортировал в программу обе последовательности (это мы проделывали при ручной калибровке) причём хватает 15 - 20 кадров.

Далее жмём F10

В появившемся окне устанавливаем параметры маркеров, в данном случае они белые, поэтому отмечаем Bright Blob, а Solve for Camera (F9) тоже пройдёт автоматически.

Ну а вот результат автокалибровки, зелёная линия находится в центре всех маркеров. На первый взгляд автокалибровка проще, но я не люблю автоматизацию, всё что сделано своей головой и своими руками, всегда получается лучше, поэтому в первую очередь описал ручную калибровку, а автоматическую как дополнение.

Так же полученные данные от автокалибровки, мы экспортируем, как описано выше.

Когда камеры откалиброваны и данные экспортированы, самое время приступить непосредственно к Motion - Capture.

Не выходя из программы, создаём новый проект File=>New и импортируем, только что сохранённый файл, это наша калибровка.

Мы видим как вверху Calibration поменялась на Motion, это и есть сама процедура Motion - Capture.

Проделываем ту же операцию, что и при ручной калибровке, жмём New Track, обратите внимание, у нас появилось 2 группы Motion Tracks, результат калибровки находится в нижней группе, а вот  Motion - Capture мы начнем в другой группе, та что сверху.

Как только Track будет установлен на маркер в одном из окон, мы сразу увидим зелёную полосу, проходящую по центру того же маркера, но в другом окне, значит Motion - Capture пройдёт без ошибок, для этого нам и нужна была калибровка камер.

Повторяем уже знакомую операцию, устанавливаем Track на наш маркер, жмём F3 и производим трэкинг каждого маркера. Но вот один из них вышел из поля зрения камеры, той, что слева, при этом Track может перескочить на соседний маркер или начнёт «ездить» по экрану, в поисках своего маркера. Я намеренно снял так, что бы маркер исчез, для того, что бы рассказать о решении этой проблемы. Вы можете сразу снять движение так, что бы все маркеры были видны на протяжении всего времени.

В проблемной зоне необходимо остановить процесс трэкинга, нажав Esc, на последнем кадре, где маркер ещё виден, нажимаем на наш Track и устанавливаем ему End, на этом кадре он закончит трэкинг, после этого идём к кадру, где маркер опять появляется, нажимаем на него и наш Track снова установится на маркере, затем выбираем Begin, с этого кадра трэкинг продолжится. Внизу мы видим, что полоса трэкинга прерывается и возобновляется. То, что нашего Track не будет в течении 5 - 7 кадров - никак не скажется на качестве Motion - Capture, а вот проблем с беспорядочно двигающейся точкой, мы избежим.

После того, как будет произведён трэкинг всех маркеров, снова жмём F9 и получаем 3D данные о движении наших маркеров.

После этого мы видим наши точки зелёного цвета, значит всё прошло отлично.

Хорошо бы ещё сделать трэкинг нескольких статичных точек, в данном случае я не расставлял маркеры, а просто нашёл белые точки на полу. New Track необходимо создать в Static Tracks, эта группа находится прямо под Motion Tracks. Как обычно жмём New Track, устанавливаем его на маркер, который находится на полу, жмём F3 и это тоже нужно сделать как в правом, так и в левом окнах и снова жмём F9.Отмечаем одну из созданных статических точек и жмём Set Ground Plane, это будет наша условная поверхность.

Сейчас соединим наши точки линиями, так будет наглядней выглядеть наш результат, создаём New Relation в группе Point Relation, а справа появятся 2 колонки, одна пустая, а в другой все наши Track(и) выбираем по номерам, последовательность точек и с помощью стрелочки переносим их в пустую колонку, затем вверху ставим значение Line.

Всё, можно экспортировать данные Motion - Capture в 3D пакет, я использовал 3D Max, значит и сохранять мы будем в формат .ms

После этого можно закрывать Movimento, предварительно сохранив проект, на всякий случай.

Запускаем 3D Max, далее открываем наш скрипт. Видим наши точки, если запустить Play мы увидим, как наши точки двигаются.

Далее используем полученный результат на своё усмотрение, я не силён в максе, а уж тем более в создании системы Bones, единственное, что мне удалось выяснить, это то, что Spline можно использовать в качестве костей, я соединил наши точки Spline применил модификатор Spline IK Control, далее Create Helpers, а полученные Helpers просто привязал к нашим точкам. Теперь наши Spline двигаются так же, как и актёр.

Вот и всё мы получили то, над чем трудились целый день.

Я думаю мой урок поможет в освоении такого интересного направления в CG, как Motion - Capture, мне хотелось передать всё подробно, при этом не писать много текста. Конечно двух камер и 18 - ти маркеров маловато, но для общего представления о Motion - Capture, этого вполне достаточно. В любом случае даже в таких условиях я успешно произвёл Motion - Capture на  20 - ти секундах видео, а это довольно немало.

В следующем уроке будет рассказано как сделать Motion - Capture с 4 - х камер, при этом три камеры Fixed, а четвёртая Free т.е. двигающаяся камера. Конечно же количество маркеров(шариков) тоже будет гораздо больше.

Желаю успехов в освоении Motion - Capture.

116728 Автор:
Актуальность: 838
Качество: 837
Суммарный балл: 1675
Выбор Публики
Голосов: 192 оценки

Отзывы посетителей:

2 3 | След.
аватар
 

А нет, извиняюсь) Все хорошо. Не зря вы написали не называть папку кирилицей) Спасибо за урок)

аватар
 

А у меня фотографии не хотят експортироваться в Movimento. В чем проблема?


аватар
 
Tesla 13 0
Меня интересует, можно ли полученные точки привязать к Biped? И как это сделать? Просто импортируем во вкладке бипеда "Motion capture" полученные точки или поэтапно привязываем точки к элементам бипеда?
аватар
 
Hole3D 26 0
ну что-то есть в этом наверное. я не пробовал этот урок. мокап не моя стихия, привык руками анимировать.
но я тут почитал, 4-8 камер..да еще и ошибки могут быть, да еще и столько пыхтеть над процессом калиброкви, трекинга и др))
по мне дешевле и реальней купить самую дешевую систему мокапа. китайского производства. так там хоть реальный результат будет.
сегодня не запредельно вроде. за 1500- - 2000 $ можно купить у китайцев.
а этот геморой с кучей камер, недешевое удовольствие. при смутном результате "неторопливые движения"...да нафиг они нужны эти спокойные походки. экшн надо!
аватар
 
Урок отличный вот толька при импорте фото выдаёт ошибку Cannot open the following image sequence с чем это связано ?
аватар
 
RedSky 11 0
сорри. разобрался
аватар
 
RedSky 11 0
отличный урок! актуально! спасибо автору
у меня вопрос
как прикрепить вершины сплайна к двум dummy

аватар
 
key Walker 6 0
to Дмитрий Коротких

Дмитрий, я бы не хотел начинать спор, но прежде чем писать комментарии с видом опытного пользывателя, нужно действительно изучить тему:

Цитирую:Ну на счёт программы вы знаете это: The Pixel Farm PFTrack,REALVIZ MatchMover Pr,Boujou или Movimento.


MatchMover - программа созданная блавным образом для трэкинга камеры и компанивки 3d с видео рядом, а в Boujou вовсе отсутствует функция motion capture

Цитирую: 4 Минимум!!! современные цифровые видеокамеры (лучше на флэш карте, потому что придётся постоянно перезаписывать и стирать информацию) начиная от 8-10 тыс. руб заканчивая дорогими.(ВЕБ КАМЕРЫ для Захвата Движения НЕ ВЗДУМАЙТЕ ПОКУПАТЬ!!!)


Такие заявления могут напрочь отбить охоту у начинающих пользывателей, а между тем 2 современные вебкамеры вполне могут справиться с работой и выдать хороший результат (особенно в лицевой анимации)
аватар
 
Дмитрий Коротких 7 1
Уважаемые не терпеливые пользователи, я вас понимаю что вы хотите сделать свою студию Motion Capture, в особенности бежит слюна когда посмотришь документальный фильм как снимали Человека паука 2, Матрица 2, Аватар в котором наблюдаешь что захват движения упрощает анимацию и экономит время.

Для того что бы сделать свою студию Motion Capture:
1) 4 Минимум!!! современные цифровые видеокамеры (лучше на флэш карте, потому что придётся постоянно перезаписывать и стирать информацию) начиная от 8-10 тыс. руб заканчивая дорогими.
(В случае если видеокамера будет HD - качества то постарайтесь чтобы флэшка была большой или прилагался винт, дело в том что если делать захват видео на прямую с компьютера через USB-Порт то компьютер будет тормозить при захвате HD, он не будет тормозить в случае если у вас очень мощный комп. но у меня например 4-х ядерный проц. и при захвате HD тормозила запись., поэтому для того кто собирается захватывать видео HD качества напрямую с видеокамеры на компьютер то купите специальную плату для обработки HD.)
Ну если совсем нет возможности покупать современные купите б/у кассетные ли ж бы они были цифровые(ccd чип)!
Дело в том что чем лучше будет качество записи(размер матрицы, мегапиксели видео), чем лучше будет система стабилизации у видеокамеры соответственно и захват получится качественным но то что я перечислил этого недостаточно!!!
Через некоторое время я разработаю урок по созданию Захвата Движения и вылажу его здесь на сайте, а сейчас могу рассказать только нюансы этой темы.

(ВЕБ КАМЕРЫ для Захвата Движения НЕ ВЗДУМАЙТЕ ПОКУПАТЬ!!!). Я уже пробовал,купил одну из дорогих и программа отказалась у меня считывать информацию с её видео, поскольку там система стабилизации практически никакая, и матрица тоже желает лучшего.

Обязательно должно быть наличие Штативоф в особенности если захват делается с Мимики лица или Человека!!!

Камеры должны стоять по кругу желательно приобрести ещё парочку видеокамер для съёмок с верхнего положения и расставить их по углам.

2) Для костюма Motion Capture можно использовать: Водолазку,Трико,Перчатки,Шапку для плаванья или что то в этом роде, а можно купить и обычную по тоньше а потом её разрезать,разумеется одежда должна быть чёрного цвета.

3)Маркеры можно сделать с помощью маленьких шариков, например я купил маленькие шарики которые вешают на ёлку подходящего размера и купил краску, один балон распылительной краски был белого цвета, а второй балон был для создания глянцевой поверхности!!!

4)Ну на счёт программы вы знаете это: The Pixel Farm PFTrack,REALVIZ MatchMover Pr,Boujou или Movimento.

При съёмки видеоматериала и в будущем для обработки видео программой нужно учитывать следующее:
-Съёмка той сцены которая будет обрабатываться для Motion Capture должна вестись медленно-гладко без резких движений(в противном случае видео получится смазанным)
-С самого начала установите освещение, и при включении видеокамеры не начинайте сразу вести съёмку, дайте видеокамерам сфокусировать цвет!
-должно быть хорошее освещение, купите лампу дневного света в магазине концтоваров что бы видеокамера могла отличить цвет шариков и благодаря дневному освещению шарики будут на видео выглядить как белые, а не как зачастую кто снимает при обычном комнатном освещении с люстры, в результате которого шарики могут на видео оказаться с примесью жёлтого цвета.

Теперь с актёром:
Поскольку ваша бытовая любительская видеокамера не может вести съёмку 50 или 300 кадров в секунду. Ваш актёр с которого вы будете делать захват,должен заранее прорепетировать и при съёмке двигаться плавно и медленно, тоже самое касается и мимики лица!!!

После того как вы включили видеокамеры чтобы запечатлеть синхронизацию воспользуйтесь какой нибудь фотоапаратной вспышкой.

Ну пока на этом всё!!!
аватар
 
Дмитрий Коротких 7 0
Цитирую Андрей Щербина:



!!!
аватар
 
Андрей Щербина 1 0
Доброго времени суток.
Хочу потренироваться поэкспериментировать с Motion Capture но покупать много камер нет возможности. Подойдут ли веб камеры (они ведь разные есть) и какое минимальное разрешение необходимо что бы сделать трек с человеком в полный рост. А так же насколько хорошо программа воспримет движения человека с нормальной скоростью?
аватар
 
Даниил Григорян 26 0
MatchMover это тот же Relviz movimento?
аватар
 
Burst 1 0
возможно ооочень глупый вопрос,пожалуйста, помогите мне его решить,
иначе защита диплома просто пойдет коту под хвост((

Вот я поставила трекеры, нажала f9, все зеленые появились, сохраняю
калибровку. начинаю новый проект, загружаю калибровку и тутт... все
появляется кроме картинок. и дальше никак процесс у меня не двинулся.
очень старалась что-то понять и разобраться, но время-то течет как
река, а диплом все ближе и ближе)) пожалуйста, помогите!!!!)))
>
аватар
 
Владислав Жихарев 12 0
Realviz больше не существует. Перешёл по ссылке на страницу производителя и попал на страницу Autodesk. Теперь ясна схожесть MatchMover и этой дурацкой проги.
аватар
 
Andrey3D 6 0
В самом начале, где мы ставим MotionTrack, потом нажимаем F3 и у меня не идёт ни какой трекнег.
аватар
 
111 812 0
интересно. отличная статья!
аватар
 
Remark 2 0
Хочется ответить Paul_Winex вот про это:
Могу предположить что оно снято отдельно от актера и потом идет обычный композинг, но сцена со съемками "Я-робот" это не объясняет. Там снято всё в один проход и зеленушек заменили потом на роботов.
Совершенно очевидно что это можно проделать с неподвижной камеры. Сначала снимается фон, потом действие персонажей, дальше - дело техники и хромакея. Предвижу вопрос - но камера то двигалась! А ответ очень прост - у этих буржуинов есть специальные краны, которые могут микрон в микрон повторять одну и ту же проходку хоть целый день!
аватар
 
Виктор Кулачкин 322 0
Remark Спсибо за отзыв.Вы абсолютно правы,на 100 %.Я скажу больше,может и 100 к/с будет мало,если актёр будет махать мечём,скорее всего и при 100 к/с будет блур,лучше всего такие вещи снимать с помощью (скажем) VICON,с возможностью съёмки 1000 к/с.Этот урок не задумывался как этакий эталон,мне просто хотелось рассказать,что может программа и что примитивные движения можно захватить,буквально,в квартире.Ну а при наличии павильона и оборудования можно в полной меренасладиться мокапом.

Dr.One Надо же,я только что заметил ваш вопрос про кота,как я его пропустил.Скажу так,если будет кот,то может и не получиться ничего,у меня в кадре КОШКА,а вот КОТ может всё испортить.
аватар
 
Remark 2 0
Так много всяких отзывов, решил вмешаться!
Виктор, вы молодец! Мне импонирует и ваша пытливость и упорство, но хотелось бы предупредить об одном неприятном моменте, который вас поджидает в ваших исследованиях: даже когда все маркеры будут в поле зрения 4, 8, 12 камер вы сможете отследить только "неторопливые" движения... Для того чтобы всё было "в ёлочку" надо Movimento скормить видео с частотой 100 кадров в секунду. Об этом и о многом другом можно узнать из опыта наших американских "друзей":
http://www.naturalpoint.com/optitrack/
аватар
 
Annyfilator 1 0
Люди добрые, а не подскажите где бесплатно скачать программу от REALVIZ Movimento?
2 3 | След.
Зарегистрируйтесь, чтобы добавить комментарий.
Эту страницу просмотрели: 1226 уникальных посетителей