похоже, что при растеризации эффекта было задано недостаточное разрешение. см. меню effects> raster effects setting
заодно проверь все места, где в принципе может задаваться разрешение растризации эффектов, прозрачности, аппиеренса... - типа в команде flatten transparency, если "педаль" качества выжата не до упора и т.п.