Ну вообщем способов несколько.... Можно создать маску, а можно, если требуется настоящий альфа-канал, положить слой который будет "работать" маской сверху, а у нижнего включить track matte. Там всего четыре способа наложения.
Тогда нижний слой с рисунком или видео, будет виден исключительно через маску лежащую сверху (видимость самого слоя сверху, автоматически выключается)