В какой системе работаешь? Чем рендеришь? Какое разрешение? Какой тип теней на лайтах? Какой средный размер текстур? Какой МАХ? - это лишь часть того что может влиять на рендер..
Далее - полигоны бывают разные.. Если они уникальные, а не параметрические (т.е. например не результат работы tubosmooth) то я бы действовал так:
- сначала применяешь всем объектам серый мат. и выключаешь (а лучше удалить чтобы включились дефолтные) все лайты из сцены. Смотришь - если сцена валится - значить придется оптимайзить геометрию: удалять не нужное, уменьшать кол-во поликов на объектах заднего плана и т.п.
- если сцена рендерится, то нужно разбираться с текстурами - верни первоначальную сцену - но удали все лайты. Если рендериться - то разбирайся с лайтами.. Например тип теней: Shadow Map (и его вариации) может кушать довольно много памяти - хотя и рендерится быстро в отличие от трассированных теней..
Ну я думаю ты понял алгоритм работы..
P.S. 3Gb можешь прописать особо хуже не будет (хотя там есть свои заморочки).. Ну и памяти поставь 8Gb (если конечно работаешь в 64 битной системе) - по деньгам не дорого..