глянь для начала http://www.graphics.ru/forum/read.php?f=7&i=8007&t=8003
в общем, дело в приоритетах масок, эффектов и т.п.
порядок такой
(извлекла из стандартного хелпа
уважаемая и любимая форумчанами mazzza):
first the masks, then effects, and finally the transformations.
The transfer modes and track mattes are processed after that. For elements with multiple effects, After Effects processes these in the order in which they are listed in the Effect Controls and the Timeline windows.
прекомпозом обходится любая подобная проблема.
а в данном случае можно и как советуют в посте по ссылке - просто включить у слоя переключатель adjustment.