Просчитывание тысяч лучей света для каждого кадра при переводе трехмерной сцены в двухмерную картинку, чтобы получить точный цвет, тени, отражения и другие характеристики, основанные на свете - дело трудоемкое, долгое и дорогое. В качестве альтернативы можно рендерить изображения, используя лишь небольшое число лучей. Это экономит время и силы, но в результате появляются неточности, которые на финальном изображении выглядят как неприятный “шум”.

Аспирант Калифорнийского университета в Санта-Барбаре Стив Бако и его научный руководитель Прадиип Сен, сделали шаг вперед на пути решения этой проблемы. В последние два года они работали вместе с исследователями в Disney Research и Pixar Animation Studios, и разработали новую технологию, основанную на искусственном интеллекте и глубинном обучении. Она убирает шум и позволяет делать качественный рендеринг гораздо быстрее. Ученые представил разработку на конференции SIGGRAPH, которая проходила с 31 июля по 3 августа в Лос-Анджелесе. Об этом пишет Sciencedaily.

Бако год проработал в Pixar. Команда протестировала софт с помощью миллионов образцов из мультфильма “В поисках Дори”, чтобы натренировать модель глубинного обучения, или сверточную нейронную сеть. Система научилась трансформировать шумные изображения в их аналоги без шума, которые соответствовали картинкам, просчитанным с гораздо большим количеством световых лучей. После “тренировки” система успешно удаляла шумы с тестовых изображений из совершенно разных фильмов. Например, из “Тачек 3” или “Тайны Коко” от Pixar, несмотря на то, что у них совершенно разные стили и цветовые палитры.

“Шум - это действительно большая проблема в рендеринге”, - говорит Тони ДеРоуз, руководитель исследованиями в Pixar. “Новая технология позволяет нам автоматически убирать шум, сохраняя детали сцены”.

Эта работа - важный шаг вперед по сравнению со старыми методами удаления шума, которые часто оставляли артефакты или остаточный шум, из-за чего художникам приходилось или делать рендеринг с большим количеством лучей, или же настраивать denoising фильтр для улучшения качества определенного изображения. Disney и Pixar планируют внедрить новую технологию в свои пайплайны, чтобы ускорить производство фильмов.

“Другие подходы к удалению шума становятся все сложнее, а отдачи от них все меньше”, - говорит Маркус Гросс, вице-президент исследований в Disney Research. - “Благодаря использованию глубинного обучения, эта система стала важным шагом на пути устранения нежелательных артефактов из анимационных фильмов”.

Авторы исследования пишут, что для измерения эффективность метода, они сравнили его результаты с другими способами удаления шума, включая RenderMan denoiser. В целом, система работала так же или лучше - и с точки зрения восприятия и количественно.

Они отмечают, что сейчас результаты представлены только для удаления шума с одного изображения за один раз, но было бы полезно обрабатывать сразу целые сцены. Для этого необходимы новые исследования, которые позволили бы сохранять временную связанность соседних кадров.

Для дальнейшего изучения этой удивительной области, команда сделает свои коды и модели глубинного обучения доступными для научного сообщества.

2017-08-22

Интересно.

2017-08-22

Хотелось бы увидить это чудо, но ведь в pixar вроде и так с шумом все впорядке, мультфильмы без шума, так почему заинтересованы именно они?

2017-08-22

Лучше рендерить быстрее, чем медленнее .) [quote=Белый ворон] так почему заинтересованы именно они? [/quote]

2017-08-30

ну, например, выпустить фильм 1920-х годов в 8K - переснять его невозможно, "перерендерить" - тоже. [quote=Белый ворон] Хотелось бы увидить это чудо, но ведь в pixar вроде и так с шумом все впорядке, мультфильмы без шума, так почему заинтересованы именно они? [/quote]

2017-10-12

Подобная новость была про то, что ИИ теперь может красить чб фото. Скорее всего за этим будущее.