Нейронные сети научились превращать черно-белые изображения в цветные

Еще одна новинка, представленная в этом году на SIGGRAPH. Ученые калифорнийского университета в Беркли разработали технологию, которая “раскрашивает” черно-белые изображения с помощью нейронных сетей, искусственного интеллекта и подсказок пользователя.

Добавление цветов вручную - непростая задача, которая требует времени, определенного опыта и навыков. Обработка одного изображения может занимать часы и дни. Новая технология позволяет делать это гораздо быстрее, причем освоить ее могут даже новички, которые раньше никогда не занимались колоризацией.

Сначала команда ученых, с помощью примерно миллиона изображений, натренировала нейронную сеть автоматически делать картинки цветными без вмешательства пользователя. Результат вышел неплохим, но все же оставались некоторые ошибки. Главная проблема заключалась в том, что цвет многих объектов, например, рубашек, по определению неоднозначный. Система могла выбрать только одно цветовое решение.

“Цель нашего предыдущего проекта была просто получить правдоподобную колоризацию”, - говорит Ричард Занг, соавтор проекта. - “Если пользователю не нравился результат, или он хотел что-то поменять, он не мог ничего сделать. Тогда мы поняли: для желаемого результата нужно дать пользователю больше власти, позволить ему влиять на процесс".

Новую сеть тренировали на черно-белых изображениях, добавив ввод данных пользователем. Система начала работать значительно лучше, за счет того, что позволяла человеку в реальном времени корректировать и настраивать колоризацию. Пользователь направлял систему, добавляя цветные точки, или “подсказки”, которые система затем распространяла на все изображение.

Нейронная сеть также выучила самые типичные цвета для разных объектов и может давать рекомендации. Хотя она натренирована только на природных объектах - например, слоны, как правило, коричневые или серые - система все же прекрасно выполняет любые причуды и может сделать слона, скажем, розовым, хоть такие животные и не встречаются в природе.

Ученые опробовали интерфейс системы на пользователях-новичках. Они попросили их сделать реалистичную колоризацию черно-белых изображений, выбранных наугад. Даже после минимальной тренировки и за ограниченное время - минута на изображение - они смогли быстро сделать картинки цветными, причем качество было таким, что часто человеческий глаз принимал их за изначально цветные снимки.

“Преимущество нашей системы в том, что нейронная сеть предугадывает намерения пользователя, основываясь на выученных семантических сходствах. Но сеть также бывает чрезмерно оптимистичной и выдает нежелательные эффекты. Например, точки, добавленные на переднем плане, могут спровоцировать нежелательные изменения на заднем плане. Мы выяснили, что добавление контрольных точек может это исправить”, - так авторы проекта пишут о слабых местах технологии.

“Для изображений с нечеткими границами сегментов, пользователю иногда необходимо обозначить эти границы, ясно отметив каждую сторону. Наша система может безостановочно обновлять информацию, даже с сотнями точек ввода. Точки можно добавить, чтобы исправить артефакты хроматической аберрации. Но наш интерфейс в основном предназначен для того, чтобы вмешательство человека длилось “от нескольких секунд до пары минут”. Для пользователей, которые любят точный контроль и которые хотят провести несколько часов, работая над каждой фотографией, лучше подойдет Photoshop”.

Научная работа опубликована здесь>>. А скачать софт можно здесь>>.

1
2017-08-31
"цензура" же. От модератора: не материмся на сайте!
RENDER.RU