антиалиазинг надо делать еще до АЕ, в фото@!#$ немножко подблюрить, немного помножить слои с разной степенью мягкости, в 3д назначить болье сильное сглаживание, добавить расфокус камеры.
Да и АЕ достаточно жесткая прграмма, в ней какчества добиться трудно (для меня)