Как нейросети упрощают работу с 2D- и 3D-графикой
В последние годы технология искусственного интеллекта совершила настоящий прорыв. Изменились многие вещи, в том числе и подход к созданию 2D и 3D-графики. Нейронные сети превратились в мощные инструменты для творчества дизайнеров и художников.
Представьте, что вы работаете над новым визуальным продуктом. Вам нужно быстро создать несколько прототипов или набросков для обсуждения с командой или заказчиком. Раньше на это уходило много времени, сейчас же, при грамотной работе с нейросетями, результата можно добиться гораздо быстрее.
Нейросети и их возможности
Генерация изображений
Нейросети позволяют создавать изображения на основе промпта. Промпт — текстовый запрос с описанием основных параметров задачи, который пользователь вводит в нейросеть для генерации изображений или другого контента.
На сегодняшний день умение грамотно формулировать и составлять промпты — важнейший навык любого дизайнера, иллюстратора или художника. Правильно составленный запрос ускоряет процесс получения нужного результата в несколько раз. В индустрии всё более востребованными становятся промпт-инженеры, которые умеют работать с нейросетями на высоком уровне.
Одним из ярких примеров нейросети для создания изображений является проект Midjourney.
Как это работает:
Пользователь вводит описание того, что он хочет увидеть на итоговом изображении. Это может быть что угодно: концепт-арт, иллюстрация, логотип, фотография и многое другое.
Пример промпта
Нейросеть, обученная на огромном количестве визуального контента, генерирует четыре варианта изображения на основе этого запроса. Процесс занимает до несколько минут, в зависимости от загруженности сервиса.
Четыре варианта изображения
Пользователь выбирает наиболее подходящий ему вариант изображения. С помощью дополнительных промптов корректирует и настраивает его, добавляет или изменяет детали, чтобы добиться нужного эффекта.
Итоговое изображение после всех правок
Помимо Midjourney существует множество других инструментов, которые художники и дизайнеры используют для создания изображений. Например, Kandinsky от Сбера, Шедеврум от Яндекс, AI Playground от Intel, Amuse от AMD, DALL-E, DeepDream, NightCafe, LeonardoAI и другие.
В качестве примера рассмотрим недавно вышедшую нейронную сеть Amuse 2.0 компании AMD.
Amuse 2.0 — инструмент создания изображений, который разработан специально для процессоров AMD Ryzen и видеокарт Radeon RX. Он делает процесс создания изображений максимально простым и удобным.
Интерфейс интуитивно понятен, поэтому не нужно обращаться к командной строке или изучать сложные настройки. Кроме того, Amuse 2.0 имеет встроенный апскейлер AMD XDNA Super Resolution, который ускоряет процесс вывода изображений и при необходимости увеличивает их разрешение в два раза.
Улучшение качества изображений
С помощью технологии апскейла можно улучшить качество любого изображения. Даже такого, на который без слёз не взглянешь. Нейросети легко повышают разрешение таких картинок без потери важных деталей.
Программы и сервисы для апскейла: Topaz Gigapixel AI, Waifu2x (бесплатная), Let's Enhance и многие другие.
Интерфейс программы Topaz Gigapixel AI
Одно из практических применений таких инструментов — улучшение текстур в старых играх. Апскейл хорошо работает, например, в играх с пререндерёнными фонами, значительно улучшая их вид. Поклонники ретро-игр часто прибегают к помощи нейросетей, чтобы дать вторую жизнь любимой классике.
Пример улучшения графики в Final Fantasy 7 (1997)
Улучшение качества видео
Нейросети давно работают не только с изображениями, но и с видео. Существует несколько платформ, созданных специально для выполнения таких задач. Например, Adobe Premiere Pro с технологией Adobe Sensei, Gigapixel Video AI, DVDFab Enlarger AI, RTX VSR от Nvidia и другие.
Интерфейс Gigapixel Video AI (на примере показан кадр до и после)
Основные возможности нейронных сетей для повышения качества видео:
•Увеличение разрешения до 8К
•Удаление шума
•Повышение резкости
•Стабилизация видео
Такие нейронные сети активно используются для повышения качества старых фильмов, улучшения заставок старых игр, реставрации архивных видеоматериалов.
Улучшение качества видео в реальном времени
Хочется обратить отдельное внимание на технологию RTX Video Super Resolution компании NVIDIA.
RTX VSR (Video Super Resolution) — технология повышения разрешения видео, которая использует ИИ-алгоритмы для увеличения чёткости и детализации в реальном времени. С её помощью можно улучшить качество просматриваемого контента с 1080p до 4К прямо в браузере, будь то Twitch, YouTube, Netflix или другие стриминговые платформы.
Сейчас RTX Video Super Resolution можно использовать на видеокартах GeForce RTX 40XX и RTX 30XX.
Не путайте RTX Video Super Resolution с DLSS (Deep Learning Super Sampling). Последняя улучшает качество и производительность игр. Это две разные технологии. RTX VSR дорисовывает кадры на основе входного материала низкого разрешения и работает исключительно с видеоконтентом. DLSS же для генерации кадров использует данные игрового движка и не предназначена для работы с видео.
Автоматизация рутины
Нейросети ускоряют выполнение рутинных задач, автоматизируют и ускоряют процессы, которые раньше отнимали много времени и усилий. Прорыв в этом плане совершила компания Adobe. Она добавила в свой софт новые функции, связанные с ИИ, которые позволяют:
•Добавлять и удалять объекты на изображениях и в видео парой кликов.
•Быстрее и точнее выделять сложные объекты.
•Расширять границы изображения. Нейросеть сама дорисует недостающие детали, чтобы изображение выглядело естественно.
•Заменять фон или менять области изображения на основе текстового запроса.
•Делать автоматическую цветокоррекцию и ретушь.
Автоматическое удаление фона
Добавление фона на основе текстового запроса
Перечисленные инструменты ускоряют и значительно упрощают процесс работы художников и специалистов по работе с видео.
Создание 3D-моделей
Нейросети автоматизируют создание 3D-моделей объектов окружения и персонажей. Вот лишь несколько примеров использования ИИ:
•Автоматическое создание геометрии.
•Генерация текстур и материалов.
•Автоматический риггинг.
•Автоматическая анимация.
Это позволяет быстро создать основные формы и структуры, сокращая время на подготовку моделей.
Рассмотрим несколько AI инструментов для работы с 3D.
Luma AI Genie. Создаёт 3D-модели на основе текстового описания.
Вводим текстовое описание.
Получаем 4 готовые модели на выбор. Если что-то не устраивает, всегда можно повторить генерацию.
Получаем готовую 3D-модель, которую можно экспортировать в удобном формате.
Так сгенерированная модель выглядит в Blender v 3.6.
За несколько минут мы получили результат приличного качества. Если бы художник рисовал модель от руки, затем подбирал текстуры и натягивал их на объект, у него бы на это ушло несколько часов.
Stable Projectorz: генерирует текстуры и материалы.
Бесплатная программа, созданная всего одним человеком. Помогает создавать бесшовные материалы и текстуры. Работает на основе нейронной сети Stable Diffusion.
Интерфейс программы
Для создания текстуры требуется 3D-модель с готовой UV-разверткой*. Программа генерирует текстуры и материалы на основе текстового запроса. В ней также можно сгенерировать окружение, которое будет влиять на освещение на поверхности объекта.
*UV-развертка — способ нанесения текстуры на трёхмерный объект.
Заключение
Нейросети предлагают профессионалам всё новые и новые возможности для ускорения и упрощения их работы. Давайте будем честны: они никогда не смогут полностью заменить человеческий труд. Но станут полезным инструментом, который позволяет сосредоточиться на более творческих задачах, оставив рутину машинам. Уже сейчас важно начинать изучать работу с нейросетями, чтобы в будущем оставаться востребованным и эффективным.
Мы в DigitalRazor тоже используем нейронные сети. С их помощью создаём арты для винилографии. Которые затем дорабатываем силами дизайнеров, масштабируем, примеряем на 3D-макеты, печатаем выкройки и наносим плёнку с принтами на корпуса ПК, игровые консоли, компьютерные комплектующие и другие предметы. Больше примеров наших работ можно посмотреть на официальном сайте.