Возможно, не хватает оперативки. У меня бывает такое даже на 1 Gb RAM, если использую MTD и AA (Сцена - стеклянная бутылка с водой в обломках льда с использованием MTD, куча рефракции, DOF, PSDmanager). Тогда отключаю AA и рендерю на большее разрешение. В этом случае прокатывает. Когда на одной из машин было какое-то время 512 Mb, эта проблема встречалать сораздо чаще. Поставил 1 Gb - проблема снялась. Так что, возможно, проблема в количестве памяти. (Это мой личный опыт, не претендующий на объективное исследование)