Приветствую всех одержимых 3D-интеграцией и идеями о виртуальной реальности в повседневности!

Здесь я поделюсь с вами процессом и идеями, с которыми я столкнулся, выполняя проект по интеграции актера из живой съемки в 3D-среду. Для эффективного выполнения проекта рекомендую всем ознакомиться с PDF: 

В нем я поясняю теоретические и концептуальные особенности выполнения проекта, а также технические трудности и общий пайплайн процесса. По нему можно понять, сколько труда уходит на один кадр, с планированием, съемками и дальнейшими манипуляциями. Также рекомендую посмотреть видео, чтобы легче освоиться с софтом.

Данный урок будет полезен специалистам по спецэффектам на производстве для изучения эффектов и способов их выполнения. Если есть необходимость, сделайте запрос на почту, и я вышлю сцену в майе и все файлы для выполнения урока, следуя видео. Также будьте уверены, что скачали файл иллюстратора с узором для генерирования бамп-карты. Надеюсь, урок вам понравится, буду рад фидбэку и комментариям. Удачи!

Ну, первое, что нам понадобится для создания кадра — это проверить доступность необходимого программного обеспечения. Вот что использовал я:

• Photoshop,
• Boujou,
• Maya,
• Nuke,
• After Fx,
• Final Cut Pro и
• Soundrack Pro.

Также понадобится камера для записи видео в HD-формате, я использовал Sony XDCAM EX3, но многие сейчас снимают на Марк 2, тоже отличная камера. Студия, актер и необходимое оборудование для движения камеры и освещения съемок. Зеленый экран, как видите, я покрыл черными маркерами для улучшения процесса трекинга камеры, как и зеленую ткань, положенную на пол. Честно говоря, столько маркеров помещать не стоит, тяжелее потом ротоскопинг делать, четыре-восемь вполне достаточно, чтобы определить плоскость в пространстве, при хорошем освещении. Также можно для актера сделать какие нибудь инструкции или сооружения, которые в дальнейшем станут 3D-графикой.

Введение

В этом видео я освещаю весь процесс в целом и даю понять, чего именно можно добиться, выполняя определенные действия.

Планирование

В этом видео огромное количество времени уделено объяснениям того, как построена производственная линия для одного кадра визуальных эффектов, при этом очень важно понимать схему всего процесса в целом.

Моделирование

Можно параллельно, можно до или после съемок начинать моделинг сэта или студии — в моем случае, гараж для авто, т.к. моя идея — создать футуристический гараж, где машина поднимается снизу. Заметьте, я оставил пространство справа в кадре, когда проводились съемки. Автомобиль был приобретен на стоке моделей, так как тайм лайн для этого проекта не подразумевал моделинг транспортного средства.

Идея для интерьера в данном проекте появилась из случайно увиденного на ютубе видео. Это была реклама Кобры, а также фильмы про Джеймса Бонда и другой фантастики. Но суть была создать красивый гараж, в котором машина появляется из-под пола.

Моделирование

В Майе, нажимая на контрл+пробел, Вы переходите в полноэкранный режим, и, учитывая, что в процессе моделирования цифровой геометрии необходимо уделять особое внимание деталям, которые представляют себой постоянно повторяющиеся действия, удобно выносить окна с определенными командами, а также разрабатывать свой собственный интерфейс.

Я старался сделать интерьер как можно детальней, как и выбор автомобиля пал на то, что привлекает внимание и отвлекает от эффекта интеграции. Также надо будет настроить анимацию, хотя бы базовую, для понимания того, что в какой момент происходит.

Первое, что вам необходимо сделать после того, как видео у вас на компьютере, это запустить After FX и экспортировать видео в сиквенс в формате .png или .jpg, затем открыть Boujou и загрузить видеоматериал для трекинга. 

Прежде чем начать процесс трекинга, необходимо создать и анимировать маску вокруг всех движущихся объектов в сцене или, как в нашем случае, актера.

По ротоскопингу советы будут такими: первое — это использовать планшет, второе — пройтись как можно скорей по всему отрезку видео и уже потом, возвращаясь в промежутки между совпадениями, чинить те места.

Затем выбираем низкий процент чувствительности точек и запускаем трекинг. Следущим шагом будет сделать просчет камеры в 3D, по времени занимает обычно дольше, чем трекинг. Затем экспортируйте в формате для Maya или 3ds Max.

Вот алгоритм действий в Boujou:

1. Ротоскопинг маски вокруг движущихся объектов.
2. Запуск трекинга, обычно лучше работает при низком уровне чувствительности точек.
3. Просчет движения камеры.
4. Экспортируем в Maya.

Как видите, я удалил половину сцены для ускорения процесса рендеринга изображения. Зеленым отмечена плоскость совмещения виртуальной статичной сцены.

После удаления половины 3D-сцены для ускорения рендера настроил анимацию.

Я также удалил некоторую геометрию у машины, оба левых колеса. Следующей стадией был процесс настройки и анимации шейдеров. Для авто я использовал стандартный ментал реевский материал для автомобилей с некоторыми настройками цвета, также как и для дисков.

На видео можно видеть, каким именно образом я импортировал данные из программы трекинга, как позиционировал сцену, а также плейбласты, которые я сделал, чтобы убедиться, что трекинг прошел успешно, масштаб совпадает, время тоже ок, как и анимация в кадре. Как только ваш плейбласт будет выглядеть окей, можно настраивать финальный рендер и запускать рендер финальной 3D-подложки. Также не забудьте в Афтер Эффектс для проведения успешных плейбластов экспортировать сиквенс с вырезанным персонажем из зеленого экрана, не обязательно при этом добиваться неимоверного качества, очень грубо можно вырезать, чтобы видеть, что происходит в майе, тоже видно все на видео.

Финальный рендер, также очень круто добавлять детали туда, где их нет, с помощью бамп-карты. Как видите, картина на стене за машиной сделана из простой полигональной плоскости, а также я использовал узор, который можно также скачать в иллюстраторе и сделать свои собственные текстуры.

Иногда очень проблематично добиться желаемого вида изображения, особенно если Вы находитесь на этапе обучения, и знаний о шейдерах и работе ментал рея еще недостаточно, тем не менее советую не сдаваться и вести настройки до того момента, пока вид изображения не будет желанным или походить на реальность.

В этих видео я продолжаю процесс совмещения 3D-сцены.

Также анимационный тест и совмещение с живой съемкой, проверка интеграции. Обязательно нужно делать очень большое количество плейбластов, чтобы убедиться что все окей.

Совмещение и позиционирование виртуальной сцены и точек экспортированых из программы трекинга.

Заметьте, в кадре есть микрофонный бум, оперируемый специалистом по звуку. Очень важно поймать этот монолог, чтобы иметь возможность вытянуть хороший саунд для кадра. Опять же, настройка света, если сравить оба изображения между этим текстом. Свет в Майе установлен в точно таком же порядке, что и в реальном сете, перед актером справа, а также заполняющий свет справа. Как видите, очень важно также понимать композицию кадра и примерный объем, занимаемый актером и 3D-средой, куда он будет помещен.

Это тест анимации. Если внимательно посмотреть, платформа не просто поднимается и останавливается, есть небольшое микродвижение, где она словно защелкивается при контакте с полом.

Настройка освещения в 3D.

Также это один из финальных рендеров, где я добавил светящиеся эффекты, используя бекграунд шейдеры, а также анимировал их интенсивность, например, как для света фар.

Правильная установка, понимание света и композиции в 3D очень важны, особенно, если вы проводите свои собственные съемки, поэтому теория и практика света очень важны. В этом видео я настраиваю свет в 3D.

Цветокоррекция в After FX, из необычного я пользовался масками, чтобы разделить изображение на разные зоны и иметь контроль над их световыми и цветовыми характеристиками.

Композитинг и кеинг в Nuke, избавление от зеленого фона и настройка для лучшего композитинга.

Финальная сцена. Как видите, установлен свет и настроены шейдеры, финальное разрешение должно обязательно совпадать с видео, записаным на камеру, в моем случае, это HD — то есть, обязательно соблюдать тот же формат для сохранения качества совмещения. После этого можно начинать рендер, в моем случае это было где-то 5 минут, где-то 125 кадров, при высоких настройках качества это заняло бы около дня на машине с 8 ГБ оперативной памяти, около 20-30 мин на кадр. Также хочу отметить, что в этом проекте я не использовал рендер слои, т.к. времени банально не хватило, но позже я их использовал в другом интеграционном проекте, и надо отметить, что их обязательно нужно знать и понимать для ускорения процесса рендеринга, а также для большого уровня контроля над изображением в приложениях композитинга.

В этом видео я делаю композитинг в Nuke, хотя то же самое можно делать и других приложениях композитинга, но мне кажется что это один из самых удобных и профессиональных инструментов для данных целей, а также ротоскопинг маски — это был основной агрумент за использование этой программы, хотя, если честно, я использовал комбинацию Nuke и After FX, где я знаю лишь участки разных инструментов, поэтому советую пользоваться тем, где вы сможете выдать максимальное качество для лучшего результата.

Это тоже один из финальных плейбластов, но в данном я тестировал лишь настройку света в виртуальном сете, сравнивая, насколько он совпадает с реальной съемкой, и сколько света падает на авто, а также направление теней.

Финальный рендер.

В данном видео я уделяю внимание тому, как можно создать саундтрек для кадра спецэффектов, который вы создали. Soundtrack pro — очень удобный софт для этих целей.

---

В заключение хотел бы отметить, что очень рад выкладывать материалы по процессу, и считаю данную область знаий профессиональной, поэтому все коментарии приветствуются, также, как и любой фидбэк на почту с вопросами и консультациями по процессу. На момент, когда проект был выполнен, он был одной из моих самых лучших работ, поэтому и вам желаю добиться хороших результатов, несмотря на потраченое время и сложность изучения программ и процесса. Рад, если посмотрите все видео в этом уроке, это даст вам более полную картину всего процесса, также, если есть необходимость, жду Ваших запросов на сцены в майе для настроек и манипуляций.

Всего хорошего и удачи!

2011-08-23

Урок не очень ( Во первых качество оставляет желать лучшего. Во вторых конечный результат. Автор все усложняет-ищет сложные пути..

2011-08-28

Автор, не обижайся, но реально результат слабый. Ты говоришь"считаю данную область знаий профессиональной" и "На момент, когда проект был выполнен, он был одной из моих самых лучших работ"....это очень печально. Очень много каких то роликов-уроков ненужных. Тем более чувак в клипе на переднем плане, тут даже бужухать не надо, просто наложить слоем и на глаз камеру подкрутить. Другое дело, если бы чувак вокруг твоей машинки походил. Так бы хоть дал понять реальную силу масок. Без обид только. -1

2018-09-25

На самом деле 3d интеграция очень не простая штука, но очень широко применяемая в кинематографии. Чтобы добиться качественных результатов, нужна хорошая практика, и практика не с одним кадром, а разным относительно любого движения камеры, хотя иногда сами же специалисты по VFX, говорят, бывают моменты проще в композе создать виртуальное движение камеры чем прокатывать это всё через matchmove. Конечно же состоятельные студии могут себе позволить такой каприз как MotionControl, Motion Capture, 3d СameraMove(которой снимался Аватар), но к сожалению не все! Если с обычным наложением 3d на плёнку, через 3d прогу, в принципе можно обойтись, но когда речь идёт о внедрение актёра в виртуальную среду, тут придирка за придиркой, и кривая камеры должны быть на идеале, и трекеры как гвоздём прибиты (кстати по этой причине старайтесь кадр долгим не показывать, чтобы не было заметно косячков мелких).
Хороший matchmove получается когда есть:
1)Параллакс в кадре,его присутствие(так как 3d трекинговая программа построена на законах науки о Фотограмметрии) 2)Дополнительные загруженные материалы (если снимали второй камерой), 3)Хорошее освещение и низкая зернистость, 4)Стабилизированные и гладкие кадры, 5)Низкое размытие в движении, 5)Не очень замороченный кадр по движению(лучше снять несколько простых коротких кадра, чем один обрабатывать заковыристый), 6) Введённые в программу параметры камеры Фокусное Расстояние(Focal Length) и Обратная Плёнка(Film Back),Искажение Линзы(Lens Distortion) 7)Мера данных сцены приборами измерения, расстояние от камеры до объекта, расстояние между метками и т.д. 8)Вручную устанавливать калибровочные ключи для камеры, 9) Уметь пользоваться ограничениями 10)Не лениться прибегая к автотрекингу в отдельной группе от основных точек. 11)Стараться отслеживать точки во всех местах кадра, на разной глубине 12)Если точки прервались или вышли из кадра, и камера переходит от одних меток к другим, то они должны быть заменены в шахматном порядке за несколько кадров заранее, новыми появившимися трекерами. 13)Не выделываться и создать динамичный кадр в композ программе через режим 3d камеры 14) Не ожидать от 3d трекинговой программы супер идеальной ровноты, её не будет, главное чтобы для зрительского глаза было незаметно! 15) Следить при экспорте и импорте в 3d программу за соблюдением одинаковой частоты кадров,верхней осью (X или Y),чередование полей, системы измерения (mm,inh и т.д.),правильной пути камеры и прочности крепления точек, а так же, совпадения с какого кадра будет начинаться анимация с 0 или1.
16)Создание дополнительных меток(маркеров) если хи мало в сцене (но не очь много, так как потом их в композе придётся зачищать). 17)Создание копии обработанного в композе материала для более хорошего 3d трекинга, 18)Уметь сглаживать кривую анимации камеры (но лучше к этому прибегать редко). 18)Стараться не пользоваться зумом. 19)Делать Motion Blure в тех местах где размытие присутствует в кадре.

У меня было по первости, однажды такое, загружаю в 3d программу результат трекинга, всё нормально 3d объекты припекаются к трекерам, а когда в композ прогу переношу в формате FBX, точки отскакивают от меток, и уходят в сторону. Вроде бы всё соблюдено и параметры проекта и параметры камеры, результат - ПЛОХАЯ КРИВАЯ АНИМАЦИЯ КАМЕРЫ! Если 3d программа к кривой камеры не сильно придиралась, то при переносе её в композ, начался вот такой каприз. Хотя опять таки, это если вы 3d поверх плёнки накладываете, а если актёра в 3d среду, то все косяки полезут наружу.

По этому одно условие "Кривая пути камеры и трекеры должны быть ровными"!