Оптимизируй геометрию (модификатор Optimize), уменьшай размер текстур (Photoshop в помощь), в настройках VRay, вкладка System, увеличь значение Memory Limit до максимального размера (наверно больше 1024 Мб поставить не получится).
Можно ещё в свойствах системы на вкладке дополнительно в параметрах быстродействия изменить боъём виртуальной памяти. Попробуй поставить больше оперативки. У меня тоже гиг и часто раньше вылетал рендер. Но теперь вроде нормально.