Все просто.... Делаешь лейер основного изображения, над ним ставишь лейер с изображением-маской, отключаешь на нем видимость (глазик), далее - переходишь снова на основной лейер, в меню Leyers выбираешь опцию TrackMatte и выбираешь нужный метод (по альфе или по люме)... После этого между двумя лейерами появляется пунктирная линия, означает, что верхний лейер служит маской для нижнего