Номинанты на Оскар — "Ирландец" и "Мстители" - используют ИИ для создания VFX
В этом году на 92-ой ежегодной церемонии вручения премии «Оскар» на красную дорожку «Лучших визуальных эффектов» вышли:
· «Мстители: Финал»
· «Ирландец»
· «Король Лев»
· «1917»
· «Звездные войны: Скайуокер. Восход»
Традиционно, уже 12-ый год подряд, все фильмы с лучшими визуальными эффектами создаются на графических процессорах NVIDIA Quadro. В этом году процессоры NVIDIA использовались не только для ускорения работы с графикой, но и для работы с искусственным интеллектом.
В фильмах "The Irishman" и "Avengers: Endgame" использовали искусственный интеллект, чтобы стереть границы между живыми актерами и цифровыми персонажами — омолодить актеров "Ирландца" и воссоздать печально известного злодея Таноса в "Мстителях".
За этим техническим прорывом, ставшим возможным благодаря искусственному интеллекту, стоят студии "VFX studios Industrial Light" и "Magic & Digital Domain", которые используют графические процессоры NVIDIA Quadro RTX для ускорения производства.
ИИ Машина времени
«Ирландец» от Netflix рассказывает долгую историю жизни киллера Фрэнка Ширана от Второй мировой войны до дома престарелых в 2000-х годах, освещая сцены из разных периодов жизни главного героя.
Отдел, отвечающий за грим, не смог превратить главных героев фильма — Роберта Де Ниро, Аль Пачино и Джо Пеши - в молодых актеров 20-30-х годов, а режиссер Мартин Скорсезе был категорически против использования маркеров захвата движения или другого оборудования, которое мешает актерской игре во время съемок.
Для решения этой задачи ILM разработала новую трехкамерную установку для съемки выступлений актеров, на съемочной площадке. Это была камера режиссера, окруженная двумя инфракрасными камерами, необходимыми для записи трехмерной геометрии и текстур. Команда также разработала программное обеспечение под названием ILM Facefinder, которое использовало ИИ для анализа тысяч изображений прошлых выступлений актеров.
Программа находила кадры, которые соответствовали углу съемки, кадрированию, освещению и выражению визуализируемой сцены, давая художникам ILM соответствующий референс для сравнения. Эти визуальные ссылки использовались для усовершенствования цифровых двойников, созданных для каждого актера, чтобы они могли быть преобразованы в нужный возраст для каждой конкретной сцены в фильме.
"ИИ и машинное обучение становятся частью всего, что мы делаем в VFX, - говорит Пабло Хелман, супервайзер VFX на "Ирландце" в ILM. - В паре с графическими процессорами NVIDIA Quadro RTX, питающими наш производственный конвейер, эти технологии вдохновляют нас, дают возможность идти дальше и делать удивительные вещи.”
Создание VFX злодеев
Самый кассовый фильм всех времен - "Мстители: Конец Игры" - включал более 2500 VFX сцен. VFX команды в Digital Domain использовали машинное обучение, чтобы перенести игру актера Джоша Бролина на цифровую версию главного злодея фильма - могучего Таноса.
Система машинного обучения под названием "Masquerade" была разработана для получения изображений актерской игры и движений лица с низким разрешением, а затем точной передачи его выражений на модель лица Таноса в высоком разрешении. Технология позволила значительно экономить время для VFX художников, которым в противном случае пришлось бы кропотливо анимировать мелкие движения лица вручную, чтобы создать реалистичного и эмоционального цифрового человека.
"Ключом к этому процессу были моментальные реалистичные предпросмотры эмоциональных выступлений персонажей, что стало возможным с помощью графических процессоров NVIDIA, - говорит Даррен Хендлер, глава Digital Humans в Digital Domain. - Теперь мы используем технологию NVIDIA RTX для управления всеми нашими проектами в реальном времени.”
Все больше приложений используют ИИ-ускорение в VFX
ILM и Digital Domain — это всего два примера из растущего списка VFX студий и приложений, использующих инструменты искусственного интеллекта, ускоренные на NVIDIA RTX.
В сериале HBO "The Righteous Gemstones", ведущий актер Джон Гудман выглядит на 30 лет моложе, чем он есть. Этот эффект омоложения был достигнут с помощью Shapeshifter - специального программного обеспечения, которое использует ИИ для анализа движений лица, таких как растяжение кожи и ее движение по мышцам и костям.
VFX студия "Gradient Effects" использовала Shapeshifter для сложного процесса преобразования лица актера, который, благодаря использованию графических процессоров NVIDIA, занял недели вместо месяцев.
Такие компании, как Adobe, Autodesk и Blackmagic Design, постоянно расширяют список возможностей для решения различных задач VFX с помощью ИИ. Среди них восстановление глубины сцены в реальном времени, настройка цвета, повторная подсветка и ретушь и многое другое. Весь этот инструментарий ускоряется на NVIDIA RTX.
Netflix дает зеленый свет ИИ
Потоковые сервисы, такие, как Netflix, используют механизмы рекомендаций с использованием искусственного интеллекта для предоставления клиентам персонализированного контента на основе их истории просмотров или "индекса совпадений", который предоставляет контент, просмотренный людьми со схожими вкусами.
Netflix также создает уникальные для разных пользователей превью изображения фильмов, чтобы они понравились отдельным категориям пользователей и использует искусственный интеллект для оптимизации качества потоковой передачи на низких скоростях. Компания использует графические процессоры NVIDIA для ускорения своей работы со сложными моделями данных, обеспечивая быструю итерацию.
Красная дорожка на GTC 2020
Лучшие студии, включая Lucasfilm ILMxLAB, Magnopus и Digital Domain, выступят на конференции NVIDIA GPU Technology Conference в Сан-Хосе, 23-26 марта.