На предстоящей конференции SIGGRAPH2019 ученые из института KAUST, Саудовская Аравия, представят опенсорсный инструмент TileGAN, способный генерировать крупномасштабные текстуры без артефактов и повторений. В опубликованной на archiv,org статье ученые описывают алгоритм на основе нейросетей GAN, а также пользовательский интерфейс, позволяющий максимально повысить качество результатов.
По словам исследователей, в статье они предлагают решение проблемы синтеза текстур в условиях, когда на основе массива входных изображений требуется получить одну большую текстуру без видимых стыков или повторений.
Опираясь на последние достижения в разработке порождающих состязательных нейросетей (Generative Advisory Networks, GAN), ученые получили два практических результата. С одной стороны, у них получилось объединить результаты нейросетей GAN, обученных на шаблонах с меньшим разрешением, для создания крупномасштабной карты правдоподобных текстур, практически не имеющей граничных артефактов. С другой стороны, им удалось реализовать пользовательский интерфейс на основе скрытых кистей (latent brushes), позволяющий в интерактивном режиме качественно улучшить результат алгоритма. Исследователи утверждают, что сгенерированные таким образом текстуры имеют очень высокое качество и высокую детализацию. Ключевым моментом здесь является тщательное размещение промежуточных скрытых "плиток".
Приложение TileGAN построено на клиент-серверной модели архитектуры и может запускаться как локально, так и с удаленного сервера. Пример детализации полученной текстуры можно посмотреть на easyzoom.com.
