два пути:
1) открываешь шоп, по маске делаешь выделение и по выделению генеришь path, сразу говорю, что если маска сложная шом может неточный путь сгенерить, тогда-уж ручками подпровляй, затем пихаешь свой растр (без маски) в ил и туда-же копируешь свой векторный путь, затем делаешь маску в иле
но такой способ годится тока есль у тя маска не градиентная и не полупрозрачная, для этого второй путь:
2) открываешь шоп, по маске делаешь выделение, инвертируешь его, затем в другом слое по данному выделению делаешь заливку чёрным цветом, далее драгин-дропаешь раст (без маски) и слой с чёрной заливкой в ил и делаешь опасити маск.