Что-то, я не понимаю.
Если нажать на клавишу М, и нарисовать прямугольник, залить цветом или сделать Еdit -> Stroke, то края у него будут ровные(прямые, без антиалиасинга), однозначно.
А вот если, ты его "крючишь"(Ctrl+T), то край поплывет. Но ведь при трансофрмации, ты получаешь исходный размер, так нарисуй его(прямоугольник) заново, на новом слое, будет чисто.
Ежели, надо некую многогранную фигуру, сделай черновик, Line Tool, чтобы замкнуты были углы, Magic Wizard, залей цветом, посмотри, нравиться-не нравиться, если да, пером отрисуй по кривым, и залей окончательно.