Всем привет!

Последние несколько недель команда RenderHive работала над разработкой и запуском коммерческой версии Telegram-чата, использующую GPT-технологии. Цель этого чата — помощь клиентам и упрощение использования нашей рендер фермы. Мы вернемся к этому позже, но этот опыт вдохновил нас создать статью о будущем технологий искусственного интеллекта в области трехмерной графики.

Прежде, чем приступить к статье, важно определить основное понятие – рендеринг. Рендеринг — это процесс генерации изображения или анимации из 3D-модели или сцены. Он включает в себя обработку данных 3D-модели, таких, как геометрия, текстуры, материалы и освещение, для создания визуального представления.

Очевидно, что такой процесс требует значительной вычислительной мощности. Отличный пример этого - фильм "История игрушек" (1995), который мы уже упоминали в одном из наших предыдущих исследований. Он был отрендерен с помощью 117 компьютеров на протяжении 800 000 машинных часов, что заняло более года.

Среди первых коммерчески значимых реализаций обработки изображений с помощью нейронных сетей можно упомянуть LeNet-5 (1998). Эта система, разработанная AT&T Bell Laboratories, была предназначена для распознавания объектов на изображениях - в частности, рукописных цифр. Несмотря на относительно узкую область применения, проект стал коммерчески успешным продуктом, который позволил банкам, телефонным компаниям и почтовым службам обрабатывать запросы клиентов с невероятной по меркам конца 90-х скоростью. Фактически, систему можно считать нейронной сетью, так как она могла учиться самостоятельно, хотя и с ограниченным участием оператора на первых этапах.

В том же году Intel представила на рынке процессор Intel MXP5400 Neural Network Processor, специально разработанный для сокращения вычислительной нагрузки с помощью применения нейронных сетей. Этот чип обладал возможностью анализировать видео и распознавать объекты в реальном времени. Естественно, данная система являлась высоко затратной и в основном применялась правительствами, военными и крупными компаниями для обеспечения безопасности, видеонаблюдения и подобных целей.

Спустя двадцать лет эта технология находит себе применение в том числе Adobe Photoshop под названием "заливка с учетом содержимого" (Content Aware Fill), релиз которой состоялся в 2019 году. Content Aware Fill основан на типе нейронных сетей, известных как "Генеративно-состязательная сеть" (GAN). Более конкретно, GAN обучается генерировать новое изображение, соответствующее окружающей области. Таким образом, нейронная сеть анализирует текстуру и цветовые узоры, а затем генерирует новое содержимое, соответствующее этим паттернам. Лично я пользуюсь этой функцией везде, где это возможно, и достигаю отличных результатов — до 2019 года заполнение части изображений другим содержимым было для непрофессионала существенно более сложной задачей.

Говоря о видеорендеринге с помощью нейронных сетей, стоит упомянуть проект "Video Rewrite" 1997 года. Это программное обеспечение автоматически изменяло существующие видеозаписи, показывая, как объект на видео произносит слова, содержащиеся в другой аудио дорожке. Нейронная сеть создавала связи между звуками, издаваемыми объектом видео, и формой его лица.

Для более полного представления о прогрессе в области рендеринга видео с помощью нейросетей, нельзя не обратить внимание на несколько других ранних примеров использования технологии. В 2002 году Sony выпустила игровую приставку PlayStation 2, оснащенную графическим процессором "Emotion Engine", использующим алгоритмы на основе нейронных сетей для рендеринга 3D-графики в реальном времени. Процессор обеспечивал улучшенную обработку графики за счет заранее обученной предустановленной нейронной сети и позволял использовать ресурсы приставки более эффективно. PlayStation 2, конечно же, стала коммерческим успехом – в т.ч. благодаря своей передовой графике.

Два года спустя NVIDIA выпустила видеокарты серии GeForce 6, которые внедрили движок "CineFX 3.0. Этот движок использовал алгоритмы, основанные на нейронных сетях, для таких продвинутых эффектов освещения и теней, как реалистичное воспроизведение кожи и волос. В отличие от "Emotion Engine" Sony, он был разработан не только для более эффективной обработки в реальном времени, но и для достижения ранее невозможных визуальных эффектов, таких как глубина резкости и эффект размытия движения.

Спустя десять лет совершенствования технологии NVIDIA представила технологию RTX, которая, помимо прочих новинок, включала в себя использование ядер Tensor, предназначенные для ускорения работы глубоких нейронных сетей. Эта технология используется и по сей день для увеличения эффективности аппаратного обеспечения и достижения новых визуальных эффектов с помощью AI-основанного рендеринга. Примером этого может служить технология DLSS, которая использует искусственный интеллект для масштабирования изображений низкого разрешения в реальном времени во время игры, снижая вычислительную нагрузку на GPU при сохранении высокого качества визуальных эффектов.

Из более современных проектов, стоит обратить внимание на проект «MetaHumans» от Epic Games. Он является ярким примером того, как искусственный интеллект и нейронные сети становятся все более востребованными на рынке. Реализованный в виде плагина для Unreal Engine, MetaHumans был анонсирован в 2021 году и находится в настоящее время в раннем доступе, позволяя пользователям создавать ультрареалистичных человеческих персонажей с помощью простого в использовании интерфейса. Результаты работы с MetaHumans практически неотличимы от реальности, что делает эту технологию очень впечатляющей.

Интересно, что начиная с 2017 года, было предпринято несколько попыток создания фреймворков для использования искусственного интеллекта в процессе рендеринга видео в программах трехмерной анимации. Однако большинство этих проектов были заброшены, так как они были опережающими свое время. Тем не менее, одним из успешных современных примеров применения подобной технологии является проект FlowFrames. Это приложение использует искусственный интеллект для интерполяции видео, с целью увеличения частоты кадров в наиболее естественно выглядящем виде. FlowFrames рендерит каждый второй кадр в последовательности, в то время как ИИ генерирует недостающие кадры. Таким образом, время рендеринга существенно уменьшается. Кроме того, FlowFrames можно использовать для создания плавных видео из оригинала с низкой частотой кадров.
На сегодняшний день применение искусственного интеллекта для помощи в рендеринге позволяет авторам экономить время, снижать количество затраченных усилий и уменьшать требования к вычислительной мощности. ИИ используется для множества задач, от улучшения изображений до автоматического риггинга и виртуального текстурирования. Виртуальное текстурирование — это процесс, при котором искусственный интеллект предсказывает, какие текстуры будут нужны в дальнейшем, что позволяет сократить время загрузки и улучшить производительность. В целом, благодаря использованию искусственного интеллекта рендеринг стал более эффективным, позволяя авторам сосредоточиться на творческой стороне своей работы, а не тратить время на технические задачи.

Будущее готовит нас к дальнейшему внедрению ИИ в процессы рендеринга: очевидно, что ИИ может не только облегчить некоторые рутинные процессы, такие как денойзинг, но и повысить эффективность аппаратного обеспечения и предоставить нам множество инструментов для использования. Другими словами, со временем не только профессионалы, но и просто энтузиасты смогут создавать технически сложные видео. Учитывая тот факт, что облачные технологии уже прочно вошли в нашу жизнь, вполне вероятно, что будущее 3D-рендеринга лежит в удобной для пользователя облачной инфраструктуре с поддержкой ИИ.

Следующее сражение на этом поле должно произойти на рынке text-to-video, за который уже начали соревноваться как инди-, так и крупные компании, но это очень любопытная тема для следующей статьи.

Пока мы думаем над следующей статьей, приглашаем Вас протестировать удобство работы с нашим ИИ-ботом. Общение с ним позволяет нам направлять его обучение в нужное русло, тем самым увеличивая его эффективность для каждого из наших клиентов.