ИИ обучили раскрашивать скетчи по тегам

Исследовательская группа Сеульского национального университета представила проект Tag2Pix для раскрашивания черно-белых набросков по текстовым атрибутам на основе генеративной состязательной нейросети (GAN). Используя текстовые атрибуты типа «blue_hair» или «brown_eyes», Tag2Pix может преобразовывать однотонные скетчи в цветные иллюстрации.

image-99.png

Существующие нейросети, которые умеют автоматически раскрашивать изображения, либо требуют участия художника, который должен отметить цветными штрихами нужные области скетча, как например в PaintsChainer, либо для них нужны иллюстрации-доноры стиля, как в нейросети Style2Paints.

В отличие от первых двух для Tag2Pix не требуются дополнительные трудозатраты и вычислительные ресурсы. В Tag2Pix используется набор данных, который на входе содержит однотонные скетчи, теги инвариантных цветов (Color Invariant Tag, CIT) и теги варьируемых цветов (Color Variable Tag, CVT), а на выходе — цветные иллюстрации. Порождающая и различающая модели обрабатывают входные скетчи, извлекают теги СIT, кодируют теги CVT и на выходе получается итоговая иллюстрация. Новизна нейросети в архитектуре Squeeze and Excitation with Concatenation (SECat), которая позволяет сегментировать исходник по нескольким тегам и применять соответствующие цвета. С ее помощью достигается раскрашивание даже небольших участков, например глаз.

В примере ниже каждый ряд раскрашивался, используя два общих тега CIT и один варьируемый CVT на входе, что позволило добиться естественности раскрашивания при использовании разных комбинаций тегов.


image-101.png

Сравнение трех нейросетей по критерию детальности сегментирования, естественности, точности и качеству также показало превосходство нового подхода.

image-98.png


image-100.png

Исходный код и предварительно обученная нейросеть доступны на Github.

Также по теме: с помощью ИИ энтузиасты возвращают классический облик "Королю льву".

520 0 850 4
9
2019-08-22
Позабыты хлопоты, Остановлен бег. Вкалывают роботы — Счастлив человек.
2019-08-22
по кайфу, жаль что я аниме не рисую
2019-08-22
Чего-то я не поняла в чём выгода. Вместо одного клика для заливки цветом или стилем, надо теперь написать несколько слов(далеко не один клик). А в чём оптимизация-то?
2019-08-22
Максим, это наверное только олды такое еще помнят ,как и электроника
2019-08-22
Петр, да тут пол ресурса олдов.
2019-08-22
а ну так-то да, рендер ру же
2019-08-22
Я, как художник, которого пытается заменить машина, а так же поклонник Бредбери, не очень горю желанием это узнать. А вообще, если это как-то помогает расскрашивать, например, слои анимации, коих тысячи тысяч, то в общем-то не плохо. Просто заливки и градиенты-простите это можно и стилями заливать, как мне кажется.
2019-08-22
Ну или не аниме художникам 😏
2019-08-24
Интеллектуальная работа теперь тоже за роботами.
И к чему мы идем? Даже старушек, которые на улицах цветы продают, на роботов заменят. Спасибо блин.
RENDER.RU