Попробуй увеличить размер мапы теней в 2-3 раза, качество поставить в Shading Rate 0.25, Samples по 5 и т.д. но лучше бы тебе спросить об этом у ребят из форума рендерман.
Рекомендуют еще настраивать прожектор так, чтобы объекты максимально заполняли его луч, ну берешь выделяешь свой прожектор, и говоришь Мае, типа look through selected. Ну и корректируешь его уже как надо.