Визуальные эффекты: искусство создания компьютерной графики в отечественных блокбастерах
Горящий лес, старинный сказочный город и даже живой Конек-Горбунок - воплотить самые сложные задумки в кино можно благодаря компьютерной графике. Для того, чтобы вы полностью погружались в кино и не понимали, где визуальный эффект и где реальность - целая команда специалистов работает на самых современных технологичных. Сегодня вы узнаете чуть больше о закулисье такой мастерской от Вячеслава Тютюгина - руководителя R&D лабораторией студии визуальных эффектов CGF.
CGF - Это крупнейшая российская компания, производящая компьютерную графику для кино, рекламных роликов, музыкальных клипов и анимационных проектов. С момента основания в 2004 году студия участвовала в работе над множеством полнометражных фильмов. За это время мы четырежды становились лауреатами премии «Золотой орел» в номинации «За лучшие визуальные эффекты» (вручается Национальной Академией кинематографических искусств и наук России, начиная с 2017 года). Награды были получены за работу над фильмами «Время первых», «Экипаж» и «Движение вверх». А по итогам 2021 года все места в списке претендентов на премию за лучшие визуальные эффекты заняли мы, студия CGF. Номинировались фильмы «Огонь» (режиссер Алексей Нужный, фильм-катастрофа о лесном пожаре в Карелии), «Серебряные коньки» (режиссер Михаил Локшин, историческая драма), и «Конек-горбунок» (режиссер Олег Погодин, фэнтези по мотивам сказки Петра Ершова). Интрига держалась до конца января 2022 года, когда на 20-й церемонии вручения награды победу одержал «Конек-горбунок». Кстати, «Огонь» и «Серебряные коньки» удостоились премий во множестве других номинаций!
“Конечно же, в основе этого успеха лежит труд моих коллег и, что немаловажно, организация этого труда и создание специализированного инструментария для него, - рассказывает Вячеслав. Именно инструментами для виртуального кинопроизводства, свидетелями бурного развития которого мы являемся, занимается лаборатория R&D, входящая в состав студии CGF. Одна из разработок лаборатории – система дополненной реальности ViewGA («ВьюГА»). Это программный комплекс, который позволяет в режиме реального времени отслеживать положение камеры, актеров и осветительных приборов на съемочной площадке, и одновременно достраивать изображение с кинокамеры интерактивной компьютерной графикой. Впервые эта технология была использована в 2015 году при работе над фильмом «Время первых». С тех пор она, так или иначе, применяется на всех проектах. Использование технологии ViewGA заметно ускоряет процесс работы над фильмом – съемочная группа прямо на площадке видит кадр, совмещенный с компьютерной графикой, не дожидаясь этапа постпроизводства (postproduction), что позволяет быстро внести изменения или даже переснять сцены. В прошлом остался риск совершения серьезных ошибок – когда оператор снимал актера на хромакее, а при совмещении кадра с виртуальными декорациями выявлялись композиционные ошибки. В итоге приходилось переснимать этот эпизод или проводить сложные и дорогие изменения уже на постпродакшене. ViewGA исключает такие ошибки, упрощает процесс съемки фильма, рекламы, клипа...
Кроме того, ViewGA незаменима и при разработке проекта фильма, и на этапе препродакшена. На данном этапе она является инструментом для изучения и освоения виртуального мира, виртуальной локации, созданной режиссером и художником. Например, город и все пейзажи в фильме «Конек-горбунок» были продуктом воображения авторов фильма. Компьютерная графика в нем присутствует в 95% кадров! Кстати, сам «конек» – не совсем виртуальный персонаж. Его сыграл актер Павел Деревянко.
В ходе классической подготовки к съемке требуются поездки в места предстоящей работы, изучение натуры… В «Коньке-горбунке» натурных съемок не было. 60% материала снято в павильонах, а 40% – полностью нарисованы на компьютере. Но мы дали возможность режиссеру и оператору, не сходя с места,
виртуально посетить мир будущего фильма. В результате появилось «руководство к действию» на съемочной площадке, инструкция, визуализирующая действия всех участников работы. В частности, это уменьшает количество дублей при работе актеров. Таким образом удалось значительно сократить сроки
съемки фильма (он снимался с июля по октябрь 2018 года), так как каждый хорошо представлял, что ему следует делать в соответствии со сценарием. Именно этот этап является самым дорогим в кинопроизводстве.
Также ViewGA использовалась для значительного повышения качества кадров, полностью нарисованных на компьютере. В недавнем прошлом их
снимал аниматор по указаниям режиссёра, и такие кадры были нереалистичными, какими-то «синтетическими»… Сейчас же оператор-постановщик берет в руки похожее на камеру устройство и сам снимает (анимирует) виртуальную камеру так, как он привык делать на реальной съемочной площадке. Получившиеся кадры в результате не отличаются от тех, которые сняты в павильоне. Вот, вкратце, что представляет собой наша система виртуальной и дополненной реальности ViewGA”.
Небольшой вопрос, чтобы исключить разночтения: ViewGA – это полностью ваша разработка? В мире таких технологий больше нет?
Аналоги уже появляются. Но в России мы стали первыми, кто имел возможность оказывать услугу наложения дополненной реальности в процессе съемки отечественных блокбастеров. Моушн-датчики, алгоритмы трекинга, композитинга, визуализации – все это наше.
Я, кстати, смотрела фильм «Огонь», про который вы упоминали. Во время просмотра было ощущение, что лес горит по-настоящему! Настолько все реалистично и органично.
На этапе pre-production этого фильма мы провели в студии очень много времени, виртуально снимая все экшен-сцены, и уже поняв, сколько леса нам реально нужно построить, вышли на съемочную площадку. В реальности был построен 130-метровый павильон с крышей, закрытое пространство с деревьями и землей. Его жгли газовыми горелками по команде режиссера, и актерам приходилось бегать среди огня по небольшому участку, который желательно было построить именно в реале. Однако продолжения этих сцен были уже нарисованы на компьютере.
Хочу особо отметить еще один проект, который пока в производстве – музыкальную комедию режиссера Ильи Учителя «Летучий корабль». Да, это новое прочтение советского мультхита 1979 года. В нем очень активно использовалась и ViewGA, причем она отлично работает на наших ноутбуках ConceptD 7 Pro от Acer серии. Мы приходили на площадку с двумя белыми красивыми ноутбуками, подключали к ним наше оборудование и получали результат намного лучше, чем раньше, когда возили с собой большую и тяжелую графическую станцию. Именно Acer позволил нам ощутить комфорт от сочетания мобильности и производительности оборудования.
Ничего себе! Действительно два компактных ноутбука заменили целую станцию?
Да, мы и сами удивлялись. Потому что до конца не верили, что мобильные устройства могут выдавать такой результат. Мы производили, одновременно с рендерингом качественной графики, вычисления по трекингу и кернингу, определению позиции камер, актеров и источников света. При этом устройство можно разместить в любом месте на площадке. Вообще компьютеры маленькие, классные, с потрясающей производительностью. Эти мобильные графические станции у всех вызывают восторг. Они нас полностью устраивают. Раньше мы не воспринимали подобную технику, как рабочий инструмент, поскольку еще недавно и не было ноутбуков такой мощности. Даже сейчас немного найдется аналогов со сравнимым железом…
Я правильно понимаю, что, по сути, речь идет о рендеринге в реальном времени? Т.е. когда снимается кадр в реальном времени рендерится эффект, чтобы было понимание того, как это выглядит?
За основу у нас взят игровой движок Unreal Engine. В последнее время он известен как инструмент виртуалпродакшена. Но в 2015 году, когда мы только начинали, он был только игровым. Мы собственноручно внесли в него серьезные изменения, чтобы он мог использоваться на съемочной площадке. И вот на проекте «Летучий корабль» как раз в Unreal Engine рендерилась вся графика на одной из машин ConceptD . Параллельно этот же ноутбук просчитывал сложные алгоритмы трекинга, кернинга и композитинга. Таким образом, одна маленькая машинка могла выдавать прекрасное качество графики, справлялась со всей нагрузкой.
Возможно мой вопрос покажется глупым, но когда происходит финальный рендеринг готового фильма, я так понимаю, это уже не на ноутбуках делается, а на серверах?
Да. Классический рендеринг требует использования суперкомпьютера, с большим количеством серверов. Нужно различать графику «реалтаймовую» (для ViewGA на площадке), и графику финальную. Как кинокамера снимает на съемочной площадке (24 кадра в секунду), так и мы должны в реальном времени для каждого этого кадра заменить хромакей на компьютерную графику. И это в основном превизуализация будущего финального кадра. Для этого и нужны мощные компьютеры. В дальнейшем изображения полученные со съемок из ViewGA будут использовать как референс для финальной доработки виртуальной
сцены и ее визуализации для фильма. Для этого понадобятся уже сотни мощных компьютеров, а просчет одного кадра будет занимать несколько часов. А мы уже на площадках пытаемся со скоростью 24 кадра в секунду что-то визуализировать для съемочной группы.
Я уже говорил, что на площадке ноутбук способен быстро выдавать графику высокого качества для предварительной оценки отснятых материалов, но также мы активно использовали ConceptD 7 Pro и для просчетов дипфейков (замена лица) при помощи нейросетей. Кроме того, наша лаборатория R&D занимается и трехмерным сканированием. Оно используется для оцифровки актеров и реквизита. В нашей лаборатории есть установка из 105 фотокамер, которые расположены вокруг объекта и одномоментно снимают его. В результате при помощи методов фотограмметрии мы превращаем множество фотографий актера в достаточно детализированную трехмерную модель. На этом этапе также активно задействованы ноутбуки ConceptD , и результат их работы ничуть не хуже, чем у нашей фермы.
Сейчас появился ноутбук ConceptD с возможностью просмотра 3D изображения без помощи очков и 360 одновременно. Он вам знаком?
О, это круто! Но с ним я пока не знаком. Однако у нас скоро стартует многобюджетный проект. Это будет VR-фильм на 80 минут. Я думаю, ноутбук с возможностью смотреть 3D без очков отлично бы нам подошел.
Вячеслав, а какой техники на сегодняшний день вам не хватает, чтобы шагнуть дальше, облегчить и ускорить работу?
Я думаю о ноутбуках, которые могли бы использовать художники – ребята, работающие с композицией, двух- и трехмерным изображением. Они брали ноутбуки и тестировали, после чего дали только положительные отзывы. Им понравился touch-экран со стилусом, цветопередача... Все хотят иметь подобные устройства. Некоторые у нас пользуются профессиональными графическими планшетами, но даже им эти ноутбуки понравились больше, чем их специализированные устройства.
Все это похоже на фантастику. Но мы – кинозрители – иногда не понимаем, настоящие предметы видим в кадре или нарисованные. А если нарисованные, то, значит, фильмы постепенно превращаются в мультфильмы? Вот тот же «Конек-горбунок» – я его воспринимаю как мультик.
Если вы не видите в фильме компьютерную графику, значит она хорошо сделана. «Конек-горбунок», конечно, художественный фильм. Я уже говорил, что в нем 60 % материала снято кинокамерой.
Сколько людей у вас работает над одним фильмом?
Хороший вопрос. Я думаю, в титрах мы увидим человек 300-400 только наших, из студии CGF. Поскольку проекты, о которых мы говорили, реализовывались в условиях пандемии мы, как и все, были на «удаленке». Это помогло привлечь фрилансеров. По сути, мы на удаленке снимали фильмы. Премьера назначена, нужно успеть. И оператор, и режиссер сидели по домам, а я и еще один сотрудник приезжали в студию и транслировали им по Zoom то, что они видели бы на экране виртуальной камеры. У нас есть ViewGA-light для мобильных устройств. Это приложение, где как в видеоигре оператор может перемещаться по виртуальной сцене, производить съемку, менять оптику и таким образом мы и в пандемию смогли продолжать работу.
Мы и сейчас работаем таким образом. Для этого есть все необходимое оборудование. Виртуальная сцена рендерится у нас в лаборатории на одном из компьютеров. Оператор это видит на экране своего телефона в режиме реального времени. Там есть некие контроллеры, которые позволяют перемещаться в виртуальном пространстве, менять оптику, производить съемку. Он находится там, где находится: некоторые даже работают с дачи. Оператор сам рулит процессом съемки, мы просто обеспечиваем связь.
Получается, что сначала вы делаете некоторую заготовку, а потом приезжают актеры, живые люди, и уже репетиции и съемка людей?
Да, мы с этой заготовкой уже выходим на съемочную площадку. Творческая группа уже четко понимает, что нужно отснять, ну и актеры, как правило, во время репетиций тоже изучают этот материал. Тот же «Конек-горбунок» полгода снимался у нас в студии при помощи ViewGA, а на площадке, прямо «кадр в кадр», мы это просто отыграли. Все уже все знали, что нужно сделать, какую технику иметь, где нужно в декорации встать, какой свет подготовить. Все это здорово экономило время!
А где вы находите новых сотрудников? Есть ли в России вузы, профильные учебные заведения, где всему этому можно научиться?
Я думаю, что уже есть и школы и курсы, которые, по крайней мере, какие-то базовые знания точно могут предоставить. Наверное, конкретно тому, чем занимаемся мы, пока нигде не учат, но какое-то общее понимание производства компьютерной графики в учебных заведениях можно получить. Зная, что такое компьютерная графика и как она делается, уже можно приходить к нам и узнавать более тонкие моменты.
Да, мы почти час беседуем, очень интересное, содержательное и увлекательное интервью получилось. Вячеслав, спасибо Вам огромное!
Спасибо Я для себя сегодня много нового узнал. Особенно то, что Unreal Engine 4 используется в кинопроизводстве.
Я думаю, что мы одни из первых в России начали использовать Unreal Engine с этой целью. То, что это стало своеобразным стандартом в отрасли, нас не удивляет. Приятно, что теперь мы можем разговаривать с людьми из кино на одном языке! Раньше, когда мы говорили о том, как делаем компьютерную графику и дорабатываем игровые движки, они нас не понимали. Теперь мы все чаще получаем конкретные запросы: «А можете ли вы в Unreal Engine сделать то-то и то-то?», «А правда ли, что можно сделать вот так?». И мы отвечаем: «Да, можно, да, сделаем!».