Нейронные сети научились превращать черно-белые изображения в цветные
Еще одна новинка, представленная в этом году на SIGGRAPH. Ученые калифорнийского университета в Беркли разработали технологию, которая “раскрашивает” черно-белые изображения с помощью нейронных сетей, искусственного интеллекта и подсказок пользователя.
Добавление цветов вручную - непростая задача, которая требует времени, определенного опыта и навыков. Обработка одного изображения может занимать часы и дни. Новая технология позволяет делать это гораздо быстрее, причем освоить ее могут даже новички, которые раньше никогда не занимались колоризацией.
Сначала команда ученых, с помощью примерно миллиона изображений, натренировала нейронную сеть автоматически делать картинки цветными без вмешательства пользователя. Результат вышел неплохим, но все же оставались некоторые ошибки. Главная проблема заключалась в том, что цвет многих объектов, например, рубашек, по определению неоднозначный. Система могла выбрать только одно цветовое решение.
“Цель нашего предыдущего проекта была просто получить правдоподобную колоризацию”, - говорит Ричард Занг, соавтор проекта. - “Если пользователю не нравился результат, или он хотел что-то поменять, он не мог ничего сделать. Тогда мы поняли: для желаемого результата нужно дать пользователю больше власти, позволить ему влиять на процесс".
Новую сеть тренировали на черно-белых изображениях, добавив ввод данных пользователем. Система начала работать значительно лучше, за счет того, что позволяла человеку в реальном времени корректировать и настраивать колоризацию. Пользователь направлял систему, добавляя цветные точки, или “подсказки”, которые система затем распространяла на все изображение.
Нейронная сеть также выучила самые типичные цвета для разных объектов и может давать рекомендации. Хотя она натренирована только на природных объектах - например, слоны, как правило, коричневые или серые - система все же прекрасно выполняет любые причуды и может сделать слона, скажем, розовым, хоть такие животные и не встречаются в природе.
Ученые опробовали интерфейс системы на пользователях-новичках. Они попросили их сделать реалистичную колоризацию черно-белых изображений, выбранных наугад. Даже после минимальной тренировки и за ограниченное время - минута на изображение - они смогли быстро сделать картинки цветными, причем качество было таким, что часто человеческий глаз принимал их за изначально цветные снимки.
“Преимущество нашей системы в том, что нейронная сеть предугадывает намерения пользователя, основываясь на выученных семантических сходствах. Но сеть также бывает чрезмерно оптимистичной и выдает нежелательные эффекты. Например, точки, добавленные на переднем плане, могут спровоцировать нежелательные изменения на заднем плане. Мы выяснили, что добавление контрольных точек может это исправить”, - так авторы проекта пишут о слабых местах технологии.
“Для изображений с нечеткими границами сегментов, пользователю иногда необходимо обозначить эти границы, ясно отметив каждую сторону. Наша система может безостановочно обновлять информацию, даже с сотнями точек ввода. Точки можно добавить, чтобы исправить артефакты хроматической аберрации. Но наш интерфейс в основном предназначен для того, чтобы вмешательство человека длилось “от нескольких секунд до пары минут”. Для пользователей, которые любят точный контроль и которые хотят провести несколько часов, работая над каждой фотографией, лучше подойдет Photoshop”.
Научная работа опубликована здесь>>. А скачать софт можно здесь>>.