Особенности применения карт нормалей
Целью написания данной статьи было желание разобраться в том, как работают карты нормалей, определить круг задач, которые можно решить их использованием, а также решить проблемы, возникающие при запекании карт нормалей.
В статью вошли как личные мнения, так и мнения множества людей, переводы и анализ статей.
Не считаю позиции, изложенные в статье, истиной в последней инстанции, это лишь попытка разобраться в сути проблемы. Буду рад конструктивной критике и дополнениям к идеям изложенным в статье.
Термины:
Карты нормалей = КН
HP – high poly – высокополигональная модель.
LP – low poly – низкополигональная модель.
Тупой угол – больше 90 градусов.
Острый угол - меньше 90 градусов.
Прямой угол – 90 градусов.
Жесткие грани – стыки двух или более групп сглаживания.
Оглавление:
Технология работы КН
• Типы КН • Настройки осей для запекания КН в разных программах • Кодирование информации • Tangent basis • Нейтральный цвет КН (Flat Color) |
Возможности и ограничения КН
Основные факторы, влияющие на запекание КН
• Влияние сглаживания на запекание карт • Проблема настройки групп сглаживания и UV • Проблема запеченной триангуляции • Жесткие грани (группы сглаживания) Их влияние на запекание КН. • Планирование UV\жестких граней • Градиенты на КН • Использования жестких граней для правки сильных градиентов на КН. Тестирование запеканий «Averaged projection mesh» и «Explicit mesh normals» • Отличие «Average Normals» от «Exported normals» в xNormal • Причины возникновения «волнистости» на КН • Зависимость «артефакта волнистости» от прямых углов и количества геометрии • Причины возникновения «искажений деталей» на КН • Зависимость «артефакта волнистости» от количества геометрии в окружности (Добавление фаски VS Добавление большего кол-ва сегментов) • Построение геометрии HP подстраивая её под кривизну LP • Влияние размера LP относительно размера HP • Настройка «Сustom» нормалей в 3ds max для запекания КН (CryEngine3) • Проблема наклонных UV • Проблема смешивания mipmap. Padding. • Настройка Mipmap и Padding • Антиалиасинг • Reset Transforms (сброс трансформаций) • Синхронизация программы запекания и программы отображения. Тестовые запекания для проверки Tangent Basis • Обход ошибок запекания при несинхронизированном пайплайне |
Методы проецирования лучей для запекания КН
«Averaged projection mesh» (Cage)
• Расстояние от high до low poly • Настройка модели перед запеканием (экспортом для запекания) • Проблема «отсутствия Cage» • Cage vs Offset • Экспорт Cage в Obj файл • Настройка Cage • Перекрытие Cage (Overlap) • Проблема «Излишнего» проецирования» • Решение - mat ID • Практическое применения техники «Material ID» • Решение - Explode |
Решение часто возникающих проблем при запекании КН
• Силуэт • Размер фаски на гранях (Detail Scale) • «Сужение» запекаемых деталей • Передача вида «дыры» в поверхности • Запекание «висящей» (floating) геометрии – Проблема волнистости • Проблема волнистости из-за слишком большой Cage • Триангуляция LP и HP. • Проблемы триангуляции. • Ошибка запекания – искажение деталей • Запекание отзеркаленной (перекрывающейся) геометрии • Зеркалирование – проблемы триангуляции • Влияние Smoothing Groups и разрывов UV на Vertex Count • Решение проблемы размера фаски • Скрипт для создания жестких граней по границам UV • Редактирование запеченной КН в 2D (правка волнистости) • Re-normalization • Ручное создание нормализированных Mip-Maps • Сжатие КН • Проверка КН • Разрешение и битность КН • Проблемы, связанные с разрешением КН • Уменьшение размера КН • Решение проблемы артефактов пикселей запекания c одной UV развертки на другую • Destructive baking workflows («Лишняя» ручная работа) • Запекание автоматических фасок Mental Ray в КН • Правка ошибок экспорта в нормалях • Проблема с разбиением вершин в движке • Проблема белых точек на рендере • PipelineIO для Modo • SBM Export |
Приложение – Записи по тестам.
Источники
Технология работы КН
Типы КН
World space, Object space, Tangent space. Типы отличаются в зависимости от координатной системы в которой зашифрованы нормали.
World Space
World Space КН очень похожи на Object Space, с различием в том, что они используют X, Y и Z мира (мировых координат) как свои. World Space радужные на вид. Т.к. карта зависит от мировых координат, художник не имеет возможности вращать модель, т.к. при этом разрушается освещение модели. Поэтому World Space можно использовать только для статичных объектов. Как и Object, Space World Space не могут иметь тайловую текстуру. (нужны оригинальные координаты)
В World space каждый пиксель текстуры отражает определенный угол в мире. Карта не редактируют нормали low poly а полностью переписывают их. (позволяет хорошо сгладить модель приближая её вид к хай поли)
Object Space КН
Object Space КН используют ориентацию модели как свои X, Y, and Z. Y наиболее часто используется как направленность «вверх», тогда как X – «слева», а Z – направление в котором направлена модель. На вид эти карты радужные т.к. они отображает нормали которые направлены в разные стороны (вместо 180градусов Tangent Space). Object Space могут использоваться для (жестких) вращающихся моделей и не могут иметь тайловую текстуру. (нужны оригинальные координаты)
В Object space каждый пиксель текстуры отражает определенный угол в мире, относительно pivot объекта. (если вращать объект угол будет вращаться с ним)
Tangent Space КН
Tangent Space КН используют текстурное координатное пространство, так что X и Y являются U и V текстурных координат, а Z нормаль поверхности. Эти карты большей мерой светло синие(127,127,255) т.к. синий канал отображает направление полигонов поверхности модели. red (X) и green (Y) каналы смещают это направление.
Tangent space каждый пиксель текстуры отражает нормали относительно нормалей низкополигональной модели. Карта редактируют нормали low poly.
Глядя на Tangent Space КН можно примерно определить, что в ней закодировано: светло-голубые пиксели (R 127, G 127, B 255) отображают нормали поверхности, направленные «спереди» (прямо из экрана). Розовые пиксели – нормали направленные направо. Зеленые – вверх. Фиолетовые – вниз. И темно синие\зеленые налево.
Алгоритмы создания КН
Для создание World space, Object space существует только один алгоритм создания карты. (исключая flip channels) Tangent Space более сложные и могут создаваться несколькими путями. Отображение модели будет результатом двух операций – кодирования в КН и расшифровки КН при рендере. Идеально эти калькуляции должны быть одинаковы, иначе можно получить ошибки отображения. К сожалению, нет единого стандарта в создании Tangent Space КН, каждая программа делает это по-своему, а игровые движки рендерят по-своему.
Не всегда можно угадать эти алгоритмы и подстроить пайплайн под конкретный движок.
Например Unreal – калькуляции не подходят ни к одному 3д приложению, но существуют техники способные улучшить отображение нормалей (шейдинга) в движке. (для лучшего результата можно экспортировать модель в fbx с флажком tangents and binormals.)
Например программа – handplane
http://www.handplane3d.com/index.html
Настройки осей для запекания КН в разных программах:
Maya, Marmoset, Unity should be X+Y+Z+ & Max, UDK, CryENGINE 3 should be X+Y-Z+.
Кодирование информации
Разница между High poly и Low-poly хранится в трех цветовых составляющих изображения (красной, зеленой и голубой). Цвет каждого пикселя кодирует информацию о том, в какую сторону была ориентирована нормаль детальной модели по отношению к нормали вершины низкополигональной модели в данной точке развертки. Красная и зеленая компоненты определяют отклонение нормали вправо/влево (X) и вверх/вниз (Y) соответственно. Голубая цветовая это «глубина» (Z), по сути, является обычной картой рельефа (bump map).
Если разделить все каналы получим видимости направленного освещения:
Красный канал (Red) – модель освещена точно справа.
Зеленый канал (Green) – модель освещена точно сверху.
Синий канал (Blue) – модель освещена точно cпереди.
Tangent basis
Когда вы смотрите на tangent-space КН (например, персонажа), вы замечаете разные цвета вдоль швов UV. Это происходит потому что UV островки обычно ориентированы под разными углами на модели, необходимое зло при отображении 3д модели на 2д карте. Тело может быть – вертикальным островком, рука – горизонтальным. Это заставляет нормали КН искривиться (повернуться) для разных направленностей этих UV островков. UV изгибаются, поэтому и нормали должны быть изогнуты для компенсации. tangent basis помогает переориентировать (изогнуть) освещение когда оно попадает на local space поверхности, поэтому свет выглядит равномерным во всей поверхности модели с КН.
Когда художник тайлит tangent-space КН по ширине поверхности модели (например, ландшафт (сшитые UV)), она освещается правильно т.к. модель имеет единое направление в tangent space.
Если же модель имеет разрывы в UV координатах (швы) или КН имеет сильные направленные градиенты вдоль карты, tangent space не будет единым, и поверхности может иметь стык освещения.
Нейтральный цвет КН (Flat Color)
Обычно (128,128,255) цвет нормали перпендикулярный поверхности. Это нейтральный цвет, показывающий, что никаких отклонений от нормы на КН нет.
Возможности и ограничения КН
Плюсы (+)
КН позволяют создавать cглаженные углы. На крупных прямоугольных деталях их лучше промоделивать геометрией.
КН в сочетании с затемнениями на текстуре цвета отлично передают вдавленности.
КН хорошо передают мелкие детали поверхности.
КН хорошо передают узкие и глубокие швы между деталями, вид практически безупречен.
Минусы (-)
КН не изменяют силуэт.
Выпуклые детали КН передают немного хуже - КН плохо передают крупные выступающие детали. Проблема состоит в том, что если нарисовать крупную выступающую деталь на КН она будет хорошо выглядеть если смотреть на полигон спереди или под каким-либо углом, но когда вы будете смотреть сбоку или почти сбоку вы будете видеть плоский полигон без всякого рельефа. (силуэт)
КН плохо сглаживают геометрию.
КН лучше всего работают для углов в 45 градусов и меньше. (более всего критично для запекания)
Выводы:
Нужно передавать основные выступающие детали, следить за тем, чтобы крупные детали были достаточно сглаженными, не нужно моделить геометрией мелкие детали или небольшие вдавленности.
Нет необходимости моделить те мелкие детали, которые гораздо лучше будут смотреться на текстуре с КН, допустим, мелкие болтики и прочее, которые будучи промоделенными будут выглядеть угловато.
Лучшая область применения КН:
•сглаживание острых углов низкополигонального объекта или добавление фасок на грани, •создание видимости рельефной поверхности. |
Основные факторы влияющие на запекание КН
Это группы сглаживания (Smoothing groups), развертка (UV) и ограничивающая сетка (Cage)
Влияние сглаживания на запекание карт
Запекание КН зависит от сглаживания, примененного к полигонам модели. Если полигоны сглажены – и на КН не будет стыков. (это больше мерой относится к плоскостям т.к. для углы описаны ниже)
Проблема настройки групп сглаживания и UV
Если на модель, имеющую прямые или острые углы назначить одну группу сглаживания и попробовать запечь хай поли с прямыми углами-фасками, КН придется компенсировать это сглаживания для наиболее точной передачи вида хай поли. Это приводит к «натяжению» КН (tension). Визуально это заметно по произвольными затемнениям на модели с КН.
Чем меньше разница в сглаживании хай и лоу поли, тем меньше усилий нужно приложить КН и тем точнее результат.
Пример 1
(1 группа сглаживания, сшитые UV)
Для наилучшего отображения в движке можно использовать Splits (разделения) как UV пространстве так и в группах сглаживания. Это нужно чтоб создавать карты нормалей с меньшим натяжением (tension).
Пример tension – видимые сильные градиенты – компенсация больших перепадов в направлении полигонов (например прямые углы куба) лоу-поли. Обычного нейтрального цвета (фиолет 128 как на фоне) на карте почти нет.
Это КН для 6 гранного куба с одной группой сглаживания.
Low poly с КН |
Для исправления этих проблем нужно создать такие КН которые не будут из последних сил исправлять сглаживание лоу-поли. Именно для этого используется Split (разделение), для избежания «чрезмерного натяжения» КН – и ошибок шейдинга.
Пример 2
(несколько групп сглаживания, сшитые UV)
В другом примере используется несколько групп сглаживания. (каждый полигон куба – своя группа). Рельтат тут лучше.
Как видно на карте нормалей на плоских частях модели цвет нейтральный (128 фиолет)
Но проблемы все же присутствуют: на сшитых углах модели видима черная полоска.
Решением данной проблемы в конкретном случае является добавление разрыва на UV добавление Padding.
Пример 3
(несколько групп сглаживания, все UV разорваны)
При этом UV отступают друг от друга на достаточное расстояние. (Padding не смешивается)
Вывод: если есть «разделение» в группах сглаживания, то автоматически нужно делать разделение на UV и оставлять место для Padding.
Некоторые рендеры более корректно просчитывают КН и хорошо отображаются в большинстве случаев. (3 point shader)
Пример 4
(добавление геометрии)
Решение проблемы «tension» - возможно добавлением геометрии по краям модели.
Добавление геометрии по краям модели сгладит нормали лоу поли без разных групп сглаживания. По отношению к созданию разных групп сглаживания итоговое количество вершин не изменится, но треугольников будет больше.
Основной минус – усложнение развертки UV.
Пример: 116 трис, 60 вершин.
Пример 5
Комбинация (добавление геометрии и групп сглаживания)
Более всего рекомендуется использовать комбинацию групп сглаживания и фасок геометрии. Это позволит достаточно просто развернуть UV (полосками на кубах и плоскостями на их крышках).
Пример: 60 трис, 64 вершины. (без учета SG)
Вывод: Острые углы в геометрии лучше разделять по SG и UV.
Проблема запеченной триангуляции
Если неправильно настроено сглаживание – а именно на всю модель одна группа сглаживания – при запекании КН могут запечься и проблемы триангуляции.
Это правится настройкой с групп сглаживания. На примере было достаточно сгладить внутренний круг и внешние границы. (Избегайте прямых выпуклостей - всегда должен быть минимальный скос)
Жесткие грани (группы сглаживания) Их влияние на запекание КН.
Планирование UV\жестких граней
Разумно планировать жесткие грани (стыки групп сглаживания) когда создается развёртка UV. Т.к. места в которых вы бы обычно хотели иметь жесткие грани являются также и местами в которых разумно иметь шов UV. Это также позитивно влияет на финальное значение количества вершин в модели, т.к. разрыв UV и групп сглаживания находится в одном месте.
В итоге: Места, где необходим разрыв UV будут сопровождаться жесткой гранью. В местах, где располагается острый угол, но не планируется разрыва UV нужно добавить дополнительную геометрию для смягчения нормалей модели. Поэтому важно так создавать HP и LP модели избегая большого количества острых углов.
Относительно швов на UV:
- Размещать швы нужно в труднодоступных для взгляда местах, лучше всего там, где есть швы на реальном объекте т.е. в логичных местах.
- Не размещайте детали в районе швов
- Если необходимы детали в районе швов – делать это нужно в режиме 3д рисования.
Градиенты на КН
Видимые градиенты на КН не означают, что у вас есть ошибки на запеченной КН. Градиенты лишь компенсируют LP нормали вершин. Чем более экстремальны нормали вершин, тем больше градиентов будет на КН.
Никогда нельзя на глаз определить ошибки сглаживания по 2д виду КН, нужно наложить эту карту на модель и поместить в нужный движок.
Тем не менее, чем больше КН вынуждена компенсировать экстремальные нормали, тем больше шансов получить ошибки сглаживания, в особенности если программа запекания и отображения не синхронизированы.
Поэтому желательно запекать КН с наиболее меньшим количеством градиентов.
Дополнительные причины для этого:
Градиенты плохо масштабируются и «сжимаются» (компрессия)
Проявляются сложности в текстурировании (сложно извлекать Detail map)
Иногда недостаточно texel density (в особенности, когда используются малые текстуры) и потому недостаточно разрешения для отрисовки градиентов.
Когда используются mipmap КН с сильными градиентами теряют качество быстрее, чем КН с меньшим количеством градиентов.
Если программа запекания и отображения не синхронизированы и Tangent basis не совпадает – при наложении КН на модель могут появиться ошибки сглаживания. (даже без mipmap)
Практический пример:
Обратите внимание, что с тем как разрешение уменьшается, кубы на которые наложены КН с сильными градиентами становятся более пикселизированными.
Все это усугубляется DXT (или 3Dc) компрессией которая использована наряду с уменьшением
В большинстве ситуаций желательно будет избавиться от градиентов. Это можно сделать довольно просто добавив жесткие грани к границам UV – это уменьшит градиент до приемлемого уровня. (на итоговом кол-ве вершин это не отразится)
Использования жестких граней для правки сильных градиентов на КН
Тестирование запеканий «Averaged projection mesh» и «Explicit mesh normals»
(синхронированные нормали)
На примере нет излишнего количество UV швов, фактически их даже меньше чем обычно используется для синхронизованого пайплайна.
А: Мягкие грани (одна группа сглаживания), «Averaged projection mesh»
В: Жесткие грани на UV швах, «Averaged projection mesh»
С: Жесткие грани на UV швах, «Explicit mesh normals»
Low poly
Low poly c КН
Обратная сторона
Low poly
Low poly c КН
Как видно из теста, нет никаких визуальных недостатков в использовании метода B. Нет визуальных швов, алиасинга или других подобных артефактов.
Даже там где можно этого ожидать - проблем нет. Например, мягкие формы в передней части прицела, где обычно стоило бы смягчить грани, для упрощения работы с LOD.
Фактически В выглядит лучше всех, т.к. в А имеются некоторые артефакты, названные выше «resolution based smoothing errors» (ошибки сглаживания из-за разрешения). На примере В данные артефакты тоже присутствуют (там, где сглаживание совпадает с А), но они не так заметны, как в А. А содержит вышеупомянутые ошибки в большем количестве мест.
Конечно же кое-кто может сказать, что проблемы слабозаметны даже на А, но это не отменяет факта что В выглядит лучше. К тому же если и уменьшить mipmap еще больше, проблема становится более заметной на крупных формах. (показано ниже)
Не беря во внимание тот факт, что с более низкими mipmap модель удаляется от камеры и занимает меньше места на экране B выдает результат лучше, чем А. Кроме того, большая часть игр имеет настройку качества текстур, так что если игрок играет на низких настройках он увидит mipmap быстрее. Даже если ваша модель имеет текстуру 4к, это не означает что она будет использоваться в игре, фактически такой высокий mipmap не будет использоваться никогда. Он будет отображен, только если модель больше разрешения экрана. (only when the mesh in question is larger than your screen resolution would it use a mip that high)
Теперь рассмотрим пример С. Проблемы проецирования довольно заметны. С данным типом проецирования («Explicit mesh normals») мы создаем швы вдоль любых жестких граней из-за пробелов в проецировании. Этого следует избегать.
В примере не показаны мягкие грани с «Explicit mesh normals» т.к. это дает идентичных результат с А.
Вид КН
Использование жестких граней (групп сглаживания) для правки сильных градиентов.
Главная причина использования групп сглаживания, если tangent basis программы запекания не соответствует движку рендеринга.
Цвета и градиенты КН отображают разницу между LP и HP моделями и если tangent basis не совпадает тогда цвета эти цвета и градиенты не могут быть транслированы верно в корректное освещение. В итоге мы видим ошибки сглаживания (которые и являются визуальной разницей между tangent basis запеченной карты и считыванием рендера).
Добавление групп сглаживания уменьшает количество градиентов и соответственно – количество ошибок т.к. остается меньше шансов для некорректной передачи – т.к. зоны с группами сглаживания имеют склонность быть более плоскими их значения ближе к 128,128,255 (вместе с иными факторами)
Если вами используется одна группа сглаживания и tangent basis программы для запекания совпадает с движком рендера – тогда в дополнительных группах сглаживания нет нужды, кроме того что это упрощает текстуринг. (более чистые КН) Хотя в некоторых случаях это все же может привести к ошибкам, поэтому нет нужды не использовать группы сглаживания.
Практическое применение:
Отличие «Average Normals» от «Exported normals» в xNormal
В xNormal всегда нужно запекать используя «exported normals». (финальные нормали LP), т.к. «усреднение» нормалей в xNormal отличается от «Averaged Projection Mesh» Если вы используете опцию «Average Normals» и затем используете получившуюся запеченную КН на вашей LP модели, их нормали не совпадут, что приведет к ошибкам.
"Discard back-faces hits"
Примеры:
Exported normals Vs Av. Normals in Marmoset (on the exported normals LP)
Averaged normals
Difference map
xNormal требует чтоб топология Cage совпадала на 100% с LP и не имеет функции «усредненной Cage». Встроенный редактор cage не работает: с увеличением размера Cage также увеличиваются и пробелы в проецировании.
Решением проблемы: дублировать LP модель для использования как external cage и после этого увеличить на нужное значение и наложить группы сглаживания (одну).
Плюсы в использовании «жестких граней»:
Меньше экстремальных градиентов на КН, что упрощает «извлечение» карты деталей в ndo2\ crazybump (без артефактов из-за резких изменений цвета) и упрощает создание LOD (уменьшенные КН создают меньше проблем т.к. они не должны сильно полагаться на нормали поверхности модели), предоставляет лучшее сжатие текстуры (компрессия).
Уменьшает «resolution based smoothing errors» (ошибки сглаживания из-за разрешения), которые появляются когда имеется маленький треугольник, но не достаточно разрешения для его корректного затенения. (в игре маленькие белые треугольники). Также это улучшает отображение КН на меньших MipMaps. (при отдалении от них камеры)
Выводы:
Использование жестких граней (групп сглаживания) на границах UV дает такие преимущества:
1. Если рендер не синхронизирован с программой запекания, это может существенно уменьшить ошибки сглаживания.
2. Даже если рендер синхронизирован , это поможет избавится от артефактов в разрешении текстуры. (треугольник слишком мал и требует градиента для того чтоб уравновесить сглаживание, что невозможно записать на КН) (проиллюстрировано выше)
3. Извлечение «detail maps» из crazybump или xnormal более простые и предсказуемые. Вы меньше переживаете из за артифактов от экстремальных перепадов.
Пример извлеченной карты деталей
Используется crazy bump. Увеличение 300%. Примеры А и В. Как видно В имеет более чистый результат.
4. Компрессия текстуры производит лучшие результаты с меньшими градациями.
Причины возникновения «волнистости» на КН
Факторы:
Сужение прямых выпуклостей (отсутствие 90градусных углов)
Совпадение формы: Форма лоу поли, насколько она совпадет с хай (решается добавлением геометрии) (для цилиндра верхняя и нижние крышки моделей должны быть в одном месте)
Сглаживание на прямых и острых углах.