Попробуйте запустить счёт из коммандной строки и считать картинку частями.
У Render.exe есть несколько ключей, указывающих, что надо считать часть изображения.
-------------------------------------------
xLeft -xl <int> set X sub-region left pixel boundary
of the final image
xRight -xr <int> set X sub-region right pixel boundary
of the final image
yLow -yl <int> set Y sub-region low pixel boundary
of the final image
yHigh -yh <int> set Y sub-region high pixel boundary
of the final image
-----------------------------------------------
Полный список ключей можете получить, запустив в командном окне следущую команду:
Render > render_options.txt
Собрать окончательную картинку можно будет в Photoshop'е или используя програмку imgconvert.exe , входящую в поставку Maya (не путать с imgcvt.exe)