Возможно, нужно увеличить сложность объектов, добавить полигонов (тасселяция или MeshSmooth), либо поставить DefaultScanline Renderer вместо RenderGL.... А может ты говоришь об антиалиазинге?
Точнее сформулируй вопрос, о каких рваных краях идет речь....