Как я понял, речь идёт о Render to texture, правильно? Если да, либо используйте Vray Framebuffer и смотрите нужный канал там во время просчёта, либо, при стандартном максовом (если, конечно, работаете в максе), ждите окончания рендера - он откроет остальные каналы в отдельных окнах. Для быстрой замены материала можно использовать Override Mtl в Global Switches. Если же нужно получить маску при обычном рендере, можно использовать пасс VrayExtraTex, куда и кинуть дёрт