Сталкивался с подобным. Помогло следуещее:
Есть всего две проблемы, приводящие к вылету макса, в частности с vray. Как правило, они проявляют себя сразу при построении карты геометрии сцены (Binary Space Partitioning или сокращенно BSP tree) в оперативной памяти компьютера. Скорее всего, ты успеваешь еще увидеть, как начинает заполняться ползунок прогресса фазы Building Static Raycast Accelerator, и сцена вылетает.
Это либо баг в сцене, либо просто не хватает оперативной памяти для ее просчета. Когда V-ray начинает строить двоичное дерево, то он либо не может его построить из-за непредвиденной ошибки, либо ему просто не хватает оперативной памяти для этого процесса.
Проверив всю сцену методом исключения, ты проверил ее на баги, то есть на наличие непредвиденных ошибок. Если ни один объект в ней сам по себе не вызывает краш 3ds Max, то тебе следует исключить вторую причину. То есть, более оптимально воспользоваться оперативной памятью.
Проще всего, это перейти во вкладку Settings, развертывающийся свиток V-Ray:: System и найти там опцию Default geometry. Этот параметр отвечает за способ загрузки информации о сцене в оперативную память и соответственно влияет на построение бинарного дерева данных. По умолчанию он установлен Auto, что, при отсутствии в сцене дийплейсмента или прокси объектов, автоматически, во время рендеринга использует способ загрузки Static. Тебе же нужно принудительно установить в Default geometry значение Dynamic. Это позволит V-Ray, при построении бинарного дерева загружать лишь те объекты, которые необходимы для просчета конкретной порции сцены, а не все сразу без разбора.
P.S.В вашем случае про "мало памяти" к вам не относится.
Взято с
http://ru.renderstuff.com/svobodnoe-3d-obsuzhdenie-38-vyletaet-3d-max-vray-pri-rendere-proschete/