У меня такое было оооочень много раз. Очень-очень много. Особенно на сценах с тяжелыми дисплейсами и волосами.
Варианта два:
1) Так же не хватает оперативки (я ВСЕГДА держу на рендер ноде открытым task manager на вкладке performance - смотрю по графику загрузки оперативки).
2) Это какой-то баг, возникающий случайно. Было много раз. Тут только методом экспериментирования. С виду простейшие действия могут вызывать обрушение ментала (вплоть до настроек материалов [SIC!!!]).
Например, такое случается если на каком-то объекте в сцене есть волосы, и у него в свойствах поставлен object id отличный от нуля, а на любом другом объекте есть дисплейс. Главное, чтобы одновременно. Без разницы качество и количество: хоть один волосок и одно разбиение - ментал вылетит.
Тот же turbosmooth может все обрушивать только из-за того, что включена галка explicit normals (зависит от объекта и устанавливается только экспериментально), или может рендерить кашу из полигонов, если включен isoline display.
Что самое интересное, ОДИН И ТОТ ЖЕ ФАЙЛ, даже без пересохранения (!!!) может один раз отрендериться идеально, во второй раз рендерить кашу, а в третий - вообще вылетать.
И таких вещей я уже столько находил (и потратил на них столько времени, что огого) - просто высаживают они. Ты прорастешь, пока найдешь, из-за чего ментал вылетает.
Так что тут вариант только один - ЭКСПЕРИМЕНТИРОВАТЬ. Попробуйте удалять объекты по одному и рендерить. Как найдете - копайте глубже.
Единственное, что - может потребоваться много часов, а то и несколько дней.