Если вы имеете в виду использование вектора в масках, то делается это так:
на палитре слоёв выделяется слой, кот. требуется замаскировать, внизу палитры на иконке add layer mask делается ctrl+click. Это создает слою не обычную маску, а векторную. Далее, находясь в маске, рисуете, что хотите: стандартные формы, свои, можно скопировать в маску уже готовую векторную форму.