Насколько я понял у тебя проблемы со сглаживонием очень тонких линий, когда их размеры становятся соизмеримы с пикселем.
Попробуй их нарисовать паинтом, или дать немного софта на край масок, если не поможет, блюрь хвосты линий которые уходят в глубину.
Еще можно повозится с увеличением разрешения, потом опять уменьшить до нормального.