насчет ореола - попробуй поменять интерпретацию альфа в АЕ.
(прикольно: - темы возникают одновременно почти...
http://render.ru/forum/viewtopic.php?topic_id=122102
попробуй страйт и премультиплай (белый и черный) - возможно поможет...)
(вообще-то, что АЕ делает с альфой, если она полупрозрачная - это отдельная песня...пипец!)
насчет зубцов - я использую Composite Wizard Edge Blur
http://www.redgiantsoftware.com/products/categories/keying/composite-wizard/
не панацея, но выручает...
(наверное, есть много других вариантов)