Никак и нигде..
Это определяет сам МАХ и сама система - если МАХ-у нужно больше именно оперативное памяти, то надо искать способ облегчить сцену.
И что ето за сцена такая которая жрет столько памяти? Там что все текстуры 4000х4000 с включённым суперсэмплингом? Вроде как геометрия сама столько памяти ну никак жрать не может..
Кстати если использовать стандартный МАХ-овский сканлайн, то там есть в закладке Render-Memory Managment: Conserve Memory - галка которая призвана помочь в этом плане, т.е. МАХ- не будет выходить за приделы оперативки но будет больше свопировать и соотв. дольше рендерить..