Iray, как и OctaneRender используют движок рендеринга на основе графического процессора, поэтому, конечно, лучше смотреть в сторону улучшения GPU, ну а затем, увеличивать объем оперативки.
RTX 2070 процентов на 25-28 будет быстрей просчитывать сцены, чем GTX 1070
И как Вам посоветовал Nevajno, ищите альтернативу Iray.