Надеюсь, ты догадался нажать на кнопку 1:1, и зазубрины не от того, что в окне рендера картинка просто сжимается, дабы уместиться в окошке.
Вообще для хорошего антиалиасинга нужен дополнительный, внешний рендер, лучше всего Renderman. Если такового не имеется можно выкрутиться следующим образом. Если есть время, можно выкрутиться следующим образом. Поставить антиалиасинг к примеру Custom, затем в Shading Samples поставить Shading к примеру 7, а MaxShading 9-10. Естественно, это увеличит время просчета. Если это не поможет, можно увеличить картинку раза вполтора, затем сжать в Photoshop'e. Кроме того у каждого объекта есть Geometry Antialiasing Override. Главное помнить, что значение антиалиасинга для каждого объекта не может превышать основное значание в Render Globals. Поиграй параметрами, попробуй различные сочетания. Должно получиться.