ИИ раскрашивает ч/б кино без участия человека

Новые исследования Гонконгского университета науки и технологии (Hong Kong University of Science and Technology) позволяют полностью автоматизировать процесс перевода черно-белых фильмов в цвет без участия человека и референсов. Оригинал работы приводится на arXiv.org.


Технология перевода кино/видео в цвет существует достаточно давно. Небольшое количество фильмов начала 20-го века, таких как «Путешествие на Луну» (A Trip to the Moon, 1902) и «В царстве фей» (The Kingdom of the Fairies, 1903), кропотливо, кадр за кадром, раскрашивались вручную людьми. Компьютеризированная колоризация была изобретена в 1970-х годах и с тех пор широко используется и постоянно совершенствуется.

Как правило, для колоризации видео сначала необходимо использовать методы раскрашивания изображения отдельных видеокадров, а затем монтирования их вместе. И тут-то возникают проблемы:

  • восстановление истинных цветов в кино/видео сцене по изображению в градациях серого;
  • обеспечение постоянства и согласованности цвета на протяжении пости 150 тыс. кадров в 90-минутном фильме.

Для преодоления этих проблем в стандартных методах используются эталонные изображения или эскизы, полностью повторяющие изображение в градациях серого. И если автоматическое раскрашивание изображений уже не ново в сообществе исследователей, автоматический перевод видео в цвет оставался проблемой до недавнего времени.

Разработчики из Гонконского университета предложили структуру, состоящую из нейросети колоризации на основе методов саморегуляции (colourization network with self-regularization techniques) для улучшения качества путем распределения цвета между аналогичными пикселями видеокадра; и нейросети уточнения (refinement network), предназначенную для временной согласованности цветных пикселей между различными кадрами. Ниже приведено сравнение цветных видео с саморегуляцией и без нее.

image-1.png

Авторы также предлагают оптимальное решение для перевода видео в цвет должно быть в состоянии генерировать разнообразный набор цветных версий. Поэтому они реализовали функцию ранжирования потери разнообразия (ranked diversity loss function) для дифференциации различных режимов. Ниже представлены четыре кадра из трех разных видео, обработанных с учетом метода разнообразия.

image-2.png

Разработчики полагают, что в будущем алгоритмы саморегуляции и разнообразия можно применять не только для автоматического добавления цвета в ч/б фильмы, но и в системах технического зрения для понимания и отслеживания объектов. Их коллеги из Сеульского университета обучили нейросеть раскрашивать комиксы по текстовым тегам. А разработчики из Германии собирают инвестиции на проект, который позволит создавать 3D-окружение по фотографии.

Однако, как считают эксперты, несмотря на достижения в области машинного обучения и хайп вокруг таких новостей, не стоит спешить со сменой профессии. Ведь ИИ, который по нажатию одной кнопки сможет "сделать красиво", еще даже нет на горизонте событий, так как если для обучения сравнительно узкоспециальных алгоритмов требуются петафлопсы суперкомпьютерных мощностей, что уже сделало эту индустрию одной из самых ресурсоемких, то для тренировки мало-мальски комплексного цифрового "мозга", который сможет хотя бы Майнкрафт, нужны совсем иные технологии.

731 0 850 5
15
2019-09-04
напоминает плёнку начала 20-го века
2019-09-04
тропинка зеленая бросилась в глаза. явно там были проблески земли а ИИ взяла и заливку бахнула обыкновенную. все же обычного оператора посадить придется но не высоко оплачиваемого рестовратора теперь =)
2019-09-04
Да, сия технология пока ещё далека от совершенства, но, это дело ближайших 10 лет, есть например весьма впечатляющий фото сервис от маилру, на портретах не плохо работает, с пейзажами конечно уже похуже https://9may.mail.ru/ пройдёт ещё 10-20 лет и раскраска ЧБ будет вообще не проблемой.
2019-09-04
Блин как круто !! Любые старые фильмы, детские фотографии можно будет смотреть в цвете😍
2019-09-04
[club79265021|Консорциум Линукс-Игр LGC], https://9may.mail.ru/
2019-09-04
Раскрашу этим свою жизнь
2019-09-05
Вопрос: нахрена?
2019-09-05
Ури, тут ничем не поможешь
2019-09-05
Разкрашить._.
2019-09-05
Эмилия, без ножа застрелила
2019-09-05
Ури, я могу
2019-09-05
Игорь, этих ученых хрен поймёшь . Будто они терминатора не видели
2019-09-06
Игорь, чтобы раскаришивать старые фотки
2019-09-06
Игорь, чтоб так не получилось.😅
2019-09-10
сыро и пока ни о чём
RENDER.RU