По идее нужно просто убрать его Fill в 0. Но тогда и максируемый слой пропадет. Чтобы этого избежать для маскирующего слоя в Advanced Blending снимите флажок с опции Blend Clipped Layers as Group (OFF). Тогда маскируемые слои будут рендериться сами по себе, а маскирующий сам по себе.
Далее еще варианты есть. Если вы хотите применить к маскирующему слою эффекты, например Gradient Overlay, то окажется что этот градиент перекроет изображение маскируемого слоя при отключенной опции Blend Clipped Layers as Group, поэтому там есть еще одна: Blend Interior Effects as Group. Ее нужно ВКЛючить, и тогда все "внутренние"* эффекты будут рендерится в порядке появления их родителя в группе. Однако, при этом нужно вернуть параметр Fill = 100.
Далее вы можете захотеть применить к маскирующему слою эффекты с прозрачностью, типа паттернов с альфой или внутреннего свечения, или там градиентов с альфой. Тогда окажется что они будут рендерится на собственной заливке слоя, а если убрать ее Fill = 0, то они пропадут вместе с ней. Поэтому в качестве маскирующего слоя нужно применять любой настроечный слой, т.к. у него собственной заливки нет, то есть, он условно прозрачен когда никаких настроек в нем не произведено.
Таким образом задача полностью перевернулась: мы маскируем обычный слой, скажем, портрет в виньетке, настроечным слоем с векторной или слоевой маской (иначе откуда у него форма возьмется) и при этом можем применять эффекты с прозрачностью к маскирующему слою, а равно и к маскируемому. Разумеется мы можем прибегнуть и к цветовым настройкам, коли у нас уже есть настроечный слой.
Все это дает широкие креативные возможности. Конечно для тех кто понимает или хочет понять.
Вы можете зайти в этот тред: http://forum.yadesign.ru/index.php?showtopic=264 и скачать там psd файл с примером для вышеописанного. Заодно и картинки посмотреть.