Есть такой глюк. Paint Effect - пост процесс и клеится с майской картинкой по
Z - буферу. Видимо из-за этого проблемы с прозрачностью ( её нет в Z - буфере ) и с антиалиасингом. В майе победить этот глюк сложно,
попробуй на композе, просчитав отдельно нужные слои.