Тоже с этим парился. Решения для vraymtl не нашел, так что тоже рекомендую использовать VrayDisplacementMod. Осваивается за пару минут.
Развертка тут не причем, и вообще инфы про нее много. Не ленись поискать.
Да, очень рекомендую скачать русский хелп по vray, сразу будет понятно что делает та или иная кнопка.