В последние годы технология искусственного интеллекта совершила настоящий прорыв. Изменились многие вещи, в том числе и подход к созданию 2D и 3D-графики. Нейронные сети превратились в мощные инструменты для творчества дизайнеров и художников.

Представьте, что вы работаете над новым визуальным продуктом. Вам нужно быстро создать несколько прототипов или набросков для обсуждения с командой или заказчиком. Раньше на это уходило много времени, сейчас же, при грамотной работе с нейросетями, результата можно добиться гораздо быстрее.

Нейросети и их возможности

Генерация изображений

Нейросети позволяют создавать изображения на основе промпта. Промпт — текстовый запрос с описанием основных параметров задачи, который пользователь вводит в нейросеть для генерации изображений или другого контента.
На сегодняшний день умение грамотно формулировать и составлять промпты — важнейший навык любого дизайнера, иллюстратора или художника. Правильно составленный запрос ускоряет процесс получения нужного результата в несколько раз. В индустрии всё более востребованными становятся промпт-инженеры, которые умеют работать с нейросетями на высоком уровне.
Одним из ярких примеров нейросети для создания изображений является проект Midjourney.

Как это работает:

Пользователь вводит описание того, что он хочет увидеть на итоговом изображении. Это может быть что угодно: концепт-арт, иллюстрация, логотип, фотография и многое другое.

Пример промпта

Нейросеть, обученная на огромном количестве визуального контента, генерирует четыре варианта изображения на основе этого запроса. Процесс занимает до несколько минут, в зависимости от загруженности сервиса.

Четыре варианта изображения

Пользователь выбирает наиболее подходящий ему вариант изображения. С помощью дополнительных промптов корректирует и настраивает его, добавляет или изменяет детали, чтобы добиться нужного эффекта.

Итоговое изображение после всех правок

Помимо Midjourney существует множество других инструментов, которые художники и дизайнеры используют для создания изображений. Например, Kandinsky от Сбера, Шедеврум от Яндекс, AI Playground от Intel, Amuse от AMD, DALL-E, DeepDream, NightCafe, LeonardoAI и другие.
В качестве примера рассмотрим недавно вышедшую нейронную сеть Amuse 2.0 компании AMD.

Amuse 2.0 — инструмент создания изображений, который разработан специально для процессоров AMD Ryzen и видеокарт Radeon RX. Он делает процесс создания изображений максимально простым и удобным.

Интерфейс интуитивно понятен, поэтому не нужно обращаться к командной строке или изучать сложные настройки. Кроме того, Amuse 2.0 имеет встроенный апскейлер AMD XDNA Super Resolution, который ускоряет процесс вывода изображений и при необходимости увеличивает их разрешение в два раза.

Улучшение качества изображений

С помощью технологии апскейла можно улучшить качество любого изображения. Даже такого, на который без слёз не взглянешь. Нейросети легко повышают разрешение таких картинок без потери важных деталей.

Программы и сервисы для апскейла: Topaz Gigapixel AI, Waifu2x (бесплатная), Let's Enhance и многие другие.

Интерфейс программы Topaz Gigapixel AI

Одно из практических применений таких инструментов — улучшение текстур в старых играх. Апскейл хорошо работает, например, в играх с пререндерёнными фонами, значительно улучшая их вид. Поклонники ретро-игр часто прибегают к помощи нейросетей, чтобы дать вторую жизнь любимой классике.

Пример улучшения графики в Final Fantasy 7 (1997)

Улучшение качества видео

Нейросети давно работают не только с изображениями, но и с видео. Существует несколько платформ, созданных специально для выполнения таких задач. Например, Adobe Premiere Pro с технологией Adobe Sensei, Gigapixel Video AI, DVDFab Enlarger AI, RTX VSR от Nvidia и другие.

Интерфейс Gigapixel Video AI (на примере показан кадр до и после)

Основные возможности нейронных сетей для повышения качества видео:

•Увеличение разрешения до 8К
•Удаление шума
•Повышение резкости
•Стабилизация видео

Такие нейронные сети активно используются для повышения качества старых фильмов, улучшения заставок старых игр, реставрации архивных видеоматериалов.
Улучшение качества видео в реальном времени

Хочется обратить отдельное внимание на технологию RTX Video Super Resolution компании NVIDIA.

RTX VSR (Video Super Resolution) — технология повышения разрешения видео, которая использует ИИ-алгоритмы для увеличения чёткости и детализации в реальном времени. С её помощью можно улучшить качество просматриваемого контента с 1080p до 4К прямо в браузере, будь то Twitch, YouTube, Netflix или другие стриминговые платформы.

Сейчас RTX Video Super Resolution можно использовать на видеокартах GeForce RTX 40XX и RTX 30XX.

Не путайте RTX Video Super Resolution с DLSS (Deep Learning Super Sampling). Последняя улучшает качество и производительность игр. Это две разные технологии. RTX VSR дорисовывает кадры на основе входного материала низкого разрешения и работает исключительно с видеоконтентом. DLSS же для генерации кадров использует данные игрового движка и не предназначена для работы с видео.

Автоматизация рутины

Нейросети ускоряют выполнение рутинных задач, автоматизируют и ускоряют процессы, которые раньше отнимали много времени и усилий. Прорыв в этом плане совершила компания Adobe. Она добавила в свой софт новые функции, связанные с ИИ, которые позволяют:

•Добавлять и удалять объекты на изображениях и в видео парой кликов.
•Быстрее и точнее выделять сложные объекты.
•Расширять границы изображения. Нейросеть сама дорисует недостающие детали, чтобы изображение выглядело естественно.
•Заменять фон или менять области изображения на основе текстового запроса.
•Делать автоматическую цветокоррекцию и ретушь.

Автоматическое удаление фона

Добавление фона на основе текстового запроса

Перечисленные инструменты ускоряют и значительно упрощают процесс работы художников и специалистов по работе с видео.

Создание 3D-моделей

Нейросети автоматизируют создание 3D-моделей объектов окружения и персонажей. Вот лишь несколько примеров использования ИИ:

•Автоматическое создание геометрии.
•Генерация текстур и материалов.
•Автоматический риггинг.
•Автоматическая анимация.

Это позволяет быстро создать основные формы и структуры, сокращая время на подготовку моделей.
Рассмотрим несколько AI инструментов для работы с 3D.
Luma AI Genie. Создаёт 3D-модели на основе текстового описания.
Вводим текстовое описание.

Получаем 4 готовые модели на выбор. Если что-то не устраивает, всегда можно повторить генерацию.

Получаем готовую 3D-модель, которую можно экспортировать в удобном формате.

Так сгенерированная модель выглядит в Blender v 3.6.

За несколько минут мы получили результат приличного качества. Если бы художник рисовал модель от руки, затем подбирал текстуры и натягивал их на объект, у него бы на это ушло несколько часов.

Stable Projectorz: генерирует текстуры и материалы.

Бесплатная программа, созданная всего одним человеком. Помогает создавать бесшовные материалы и текстуры. Работает на основе нейронной сети Stable Diffusion.

Интерфейс программы

Для создания текстуры требуется 3D-модель с готовой UV-разверткой*. Программа генерирует текстуры и материалы на основе текстового запроса. В ней также можно сгенерировать окружение, которое будет влиять на освещение на поверхности объекта.

*UV-развертка — способ нанесения текстуры на трёхмерный объект.

Заключение

Нейросети предлагают профессионалам всё новые и новые возможности для ускорения и упрощения их работы. Давайте будем честны: они никогда не смогут полностью заменить человеческий труд. Но станут полезным инструментом, который позволяет сосредоточиться на более творческих задачах, оставив рутину машинам. Уже сейчас важно начинать изучать работу с нейросетями, чтобы в будущем оставаться востребованным и эффективным.

Мы в DigitalRazor тоже используем нейронные сети. С их помощью создаём арты для винилографии. Которые затем дорабатываем силами дизайнеров, масштабируем, примеряем на 3D-макеты, печатаем выкройки и наносим плёнку с принтами на корпуса ПК, игровые консоли, компьютерные комплектующие и другие предметы. Больше примеров наших работ можно посмотреть на официальном сайте.