макс не хавает больше 1,5 гигов оперативки при стандартной винде, в boot.ini мона увеличить до 3 гигов... но тем не мение эта проблема решается настройками рендера, в данном случае - это свиток VRay:: System, а дальше читаем хелп!
P.S. именно на данный вопрос отвечал уже раз 20-30, устал =)