в настройках рейтрейса есть антиалязинг, по-умолчанию он выключен, и это правильно, как только его включишь, всё будет рендериться намного медленнее..там вроде даже размытые отражения можно сделать, но на просчёт сцены будет уходить так много времени, что проще поставить нормальный рендер, или смириться с кривостью стандартного рэйтрейса..