Как Unreal Engine вписывается в пайплайн концепт-арта и мэттпеинта?
Перевод статьи с сайта mattepaint.org
Мы рассмотрели, как Unreal Engine на текущий момент вписывается в VFX пайплайн. Как последний релиз и обновления повлияют на киноиндустрию?
Во время SIGGRAPH 2019, Epic показали их совместный проект, чтобы продемонстрировать свои наработки в области виртуального продакшена. Ролик произвел большое впечатление на VFX коммьюнити, многие люди были очень взбудоражены смотря на планирующиеся изменения в этой области. Оглядываясь назад, на начало 2021 года, мы безусловно видим некоторый прогресс в интеграции виртуального продакшена, но все это происходит не так быстро, как многим хочется думать.
Есть мнение, что через 5 лет Unreal Engine станет базовым инструментом в любом курпном VFX пайплайне. Звучит многообещающе, однако срок в 5 лет — это, скорее, выдавание желаемого за действительное и маркетинговый ход, нежели реальный срок, необходимый для внедрения такого сложного инструмента в студиях по всему миру.
На данный момент, Unreal больше всего используют в таких областях, как превиз и поствиз. Эти области не такие комплексные и часто быстро развиваются. Некоторые компании используют игровые движки для создания сцен в реальном времени чтобы добиться более физически аккуратного результата в расположении ассетов сцены. Взгляните на презентацию от MPC c SIGGRAPH 2019 https://www.youtube.com/watch?v=lvkUX_Ql7ZQ&ab_channel=Unity, где освещается эта тема.
Это логичный шаг вперед от использования хромакея…
Похожий подход можно получить используя SideFX Solaris, который объеденит инструменты симуляции из Houdini с интерактивным созданием сцен. Некоторые студии используют трассировку лучей из Unreal Engine для рендера секвенций или единичных кадров и их передачи в отдел композитинга (вместе с AOV) или используют их как основу для мэтт пеинта. Это не режим реального времени в полном смысле слова, но вы можете получить севкенцию в разрешении 4к, отрендереную со скоростью 7-10 кадров в секунду, что, конечно, звучит гораздо лучше стандартного времени на рендер в привычных для VFX программах. В них, время рендера варьируется от 1-2 до 10-20 часов на кадр, для изображения с полным отсутствием шумов.
Главная цель Epic сейчас — это стать виртуальным вариантом производства для фильмов и телевидения. Это логичный шаг вперед от хромакея и традиционных, нарисованных на площадке фонов.
Проиcхождение
Задолго до появления цифрового пайплайна, киноделы использовали нарисованные фоны. К моему удивлению, в некоторых проектах нашего времени, все еще используется такой подход. Например, Гарри Поттер, Игра престолов и даже Ведьмак от Netflix, использовали фоны в 2019.
Очевидно, что использование нарисованных фонов в некоторых шотах позволяет сохранить кучу денег, но оно так же привносит кучу ограничений. Например, отсутствие возможности поменять свет, угол камеры и т.д. По своей природе, нарисованные фоны не могут учавствовать в освещении цены, так как они не излучают свет, они способны только отражать и поглащать его. Цифровая форма традиционных нарисованных фонов повысила гибкость и эффективность для VFX продакшенов, то есть значительно улучшила визуал.
Но осталась основная проблема — создание бесшовной камеры, находящейся в окружении.
Световые панели
Более плавная интеграция в шоты экономит деньги и выводит финальный результат на более высокий уровень. Следующим шагом в эволюции пост продакшена стало внедрение световых панелей. Это позволило гораздо лучше связать свет заднего плана со светом переднего плана и уменьшило объем доработок, которые нужны VFX студиям, чтобы избавиться от таких вещей, как спиллы (color spills) от хромакея на сильно отражающих поверхностях. На эти панели выводится предварительно отрендеренный кадр или секвецния, которая освещает площадку и в то же время выступает в качестве фона. Первым фильмом, в котором эту технологию применили в большом количестве шотов, был Обливион в 2013.
В следующие несколько лет, следуя за Обливионом, эта технология двигалась дальше и была применена в фильме Человек на Луне. Световые панели давали хороший фон для шотов, с небольшой глубиной резкости, делая края (что было бы сложно сделать на этапе пост-продакшена) и отражения в камере правдоподобными.
Тем не менее, этот способ вызывал некоторые технические трудности на этапе пост-продакшена.
Например, в итоге довольно часто возникала необходимость заменить фоны. В шотах, с этой технологией, вы теряли все плюсы хромакея, позволяющего быстро прокеить персонажей и заменить фон.
Новый подход требовал некоторых компромиссов в VFX пайплайне.
Следующее большое нововведение?
Появление Unreal Engine.
Что Unreal добавил к уже существующей технологии фонов из LED панелей, так это обедининил физическую камеру, находящуюся на площадке, с виртуальной камерой в 3D сцене. Подумайте вот о чем: с изображениями на LED панелях, у вас имеется ограниченное поле зрения, вам нужно большее количество переднеплановых элементов на площадке и вы можете использовать световые панели только для удаленных задних планов и неба.
С учетом реального времени, обе эти вещи работают идеально синхронно. Это означает возможность иметь параллакс на виртуально продленном окружении, путем синхронизации виртуальной камеры в 3д сцене и реальной камеры на площадке. Более того, теперь продакшн имеет возможность менять позицию источника света, его цвет, состояние погоды и т.д. с помощью нескольких кликов мышки. При этом, изменения почти моментально отразятся на площадке.
Звучит отлично, не так ли?
Как и все в этом мире, этот новый для VFX пайплайн накладывает некоторые ограничения.
Если все сделано идеально, он может быть хорошим инструментом, но подобный этому виртуальный продакшн требует тщательной подготовки и планирования. Ассеты должны быть подготовлены заранее и эти ассеты отличаются от ассетов, используемых в VFX, потому что они разрабатываются для использования в реальном времени. Более того, придание ассету фоторильности при использовании в реальном времени, может быть гораздо более сложной задачей, чем стандартный подход из VFX, когда мы можем потратить часы на рендер ассетов. Все это требует участия очень опытной команды и увереноости издателя в том, что IP будет успешным. Это основная причина, по которой Мандалорец это один из немногих продакшенов, использующих этот метод. Они имеют почти бесконечные ресурсы и команду с огромным опытом. Конечно, вы можете использовать этот подход для определенной части фильма, например, особенной локации или ключевого момента, но на данный момент, наибольшая проблема, которую нужно преодолеть, это то, как индустрии фильмов и игр собираются объединиться.
Unreal Engine все еще инструмент для разработки игр, он требует некоторых доработок, для успешной интеграции в VFX пайплайн. Например, Unreal все еще не способен иметь такое же большое количество полигонов и информации в сцене как Maya, Houdini или Clarisse. Чтоб добиться схожего масштаба, сцены должны создаваться с нескольмими LOD'ами (level of detail) для каждого объекта, чтобы экономить память. Есть еще кое-что, под названием «draw calls» — проблема, возникающая в моменты, когда ассет во вьюпорте становится размером с один пиксель. Вы должны рассматривать Unreal, как движок для игр, но мы так же хотим, чтобы результат был сопоставим с оффлайн способами рендера. Это очень тонкий баланс, которого тяжело добиться.
Хайп трейн покидает станцию
В данный момент, виртуальный продакшен (или Unreal Engine в VFX) это, скорее, модное слово. Unreal всего лишь еще один инструмент, который добавился в арсенал VFX специалистов, но он все еще не готов к полноценному использованию. Epic нужно распространять его из мира геймдева, в мир VFX, путем, похожим на тот, которым воспользовался SpeedTree с их версиями для игр и кино. Они имеют разный функционал и иной подход к работе.
Если достаточное количество студий примет Unreal, с течением времени, в конечном итоге, он станет ключевым софтом.
Технику, необходимую для виртуального продакшена, в данный момент может себе повзолить далеко не каждый. LED сцены крайне дороги, требуют специфического контента, который будет на них отображаться и профессиональной команды, занимающейся ими.
Расходы, необходимые для запуска виртуального продакшена любительского уровня, начинаются от 20 000$, без учета стоимости панелей. Профессиональный VFX студии потратят десятикратно большие бюджеты на такие цены.
Ну, что дальше?
Один из лучших вариантов использования виртуального продакшена — это предустановленная съемочная площадка для TV и различных эпизодов. Посмотрите на это, как на цифровой блокаут в реально времени, в котором может быть предустановленный Нью-Йорк, или Москва. При этом вы можете выбрать нужное вам освещение или время года. Режиссеры и съемочная группа не будут рассчитывать только на то, что могут снять на локациях, и полагаться лишь на разрешения, которые они могут получить. Это принесет пользу при съемке различных шотов, так как вам не понадобятся дорогие LED панели. При этом, часто фон бывает размытым в большинстве шотов.
Так же, стоит отметить, что виртуальное производство по-прежнему дает вам две опции использования: вы можете снимать, используя задний фон в качестве окружения, или просто использовать их как хромакей.
Это может стать хорошей подстраховкой при съемке нескольких дублей, так как вы сегда сможете откатиться к хромакею, если это необходимо.
Пионерам нужно проложить дорогу вперед, открыв новые возможности для индустрии.
Отбросив всю шумиху, Unreal — это просто еще один подход к кинопроизводству. Он так же может расширить возможности съемки клипов или мероприятий в реальном времени, и, если все сделано правильно, сильно снизить затраты на производство. Но он точно не подходит для каждого режиссера и каждого фильма, который производится. Джеймс Кэмерон или Майкл Бэй с большей вероятностью примут эту технологию и будут продвигать ее дальше, чем, например, Квентин Тарантино.
Стоимость виртуального производства также постепенно будет снижаться, и это существенно поможет различным инди-проектам, так как, вероятно, будет дешевле использовать небольшую сцену с LED панелями, нежели производить полноценный VFX пост-продакшен.
Даже сейчас, это более доступно для инди рынка, благодаря бесплатному распространению Unreal Engine и огромной библиотеке ассетов, стоящей копейки (по сравнению с ценами в VFX индустрии). Превизуализации также получат от этого большую пользу.
Недостатком виртуального производства сейчас является то, что трудно понять, что нужно, без тестового запуска на площадке. Тесты необходимы, чтобы посмотреть на все через объектив камеры, с выбранным LUT и выставленным светом, чтобы увидеть, как ведет себя окружение. Очень легко или «недоделать», или «переделать» трехмерную сцену, без тестов на площадке. А для того, чтобы провести тесты, VFX студиям будет нужно арендовать или построить собственную сцену с LED панелями.
Последний, но не менее важный вопрос, на рынке существует огромная нехватка специалистов, чтобы сделать виртуальный продакшен пригодным для использования по всему миру. На данный момент, на рынке нет образовательных курсов на тему виртуального продакшена. Так же, этот предмет вряд-ли скоро появится в киноакадемиях, из-за длительности процесса утверждения учебных программ. Независимые школы введут этот предмет и начнут обучать специалистов быстрее. Но прежде, чем все эти вещи произойдут, нам нужны пионеры технологий, которые проложат дорогу для всей индустрии путем проб и ошибок.
Будет действительно интересно посмотреть, что следующие несколько лет принесут индустрии и как виртуальное производство разовьется и адаптируется к реалиям киноиндустрии.
~ Oleksiy