У меня такое было. Читал на форумах, по моему на 3dcenter, что это 32х разрядная винда вышибает приложения, которые захватывают много ОЗУ. У вас может быть 4Гига ОЗУ, но как только VRAY берет больше 1.5 - 1.7, винда вышибает макс. Там же было написано, что нужно сделать. Поставить дописку в boot.ini про 3Gb ОЗУ, инстуктировать не берусь. Я такое сделал, выбивать перестало.