Во-первых, перед тем, как увеличивать маленькие фрагменты, стоит повысить разрешение всего файла раза в два, это уже немного поможет сгладить зубчатость, во-вторых при трансформации лучше вводить % увеличения вручную и набирать круглое число, т.е. кратное 100-а, 50-ти или хотя бы 25-ти или 10-ти. В этом случае Photoshop "правильнее" считает, особенно в Photoshop 5.5. И ещё: подправить качество можно при помощи фильтров Blur--> Smart blur или Noise--> Dust&Scratches поставить Radius 1-3, a Threshold = 0; поставить значок history в строку перед применением фильтров и после фильтра инструментом History brush вернуть мелкие детали.