какой фильтр сглаживания? Попробуй catmul netriavelli и тип сэмплирования delone triangulation в настройках ирмапы. А лучше сделать имитацию амбиент окклюжн - отрендерить все с белым материалом врэй дирт и потом в шопе уже доделать. Ну это наводка думаю поможет
отрендери разрешение побольше, а потом в фотошопе уменьшай насколько нужно.
Если рендер идет с ИрМап, то в ее настройках ставь галку Detail enhancement