Формат неважен... А вот разрешение да. Если все текстуры 2к*2к, то скорее всего перебор. Текстуры должны делаться из расчета, что на 1 видимый пиксель на мониторе нужно не более 4х пикселей текстуры. По крайней мере, я так делаю.
А вообще нехватка памяти это то, с чем сталкивается любой 3дшник. Тут возможно дело не в текстурах вовсе.. а к примеру, при рендере, ОЗУ забиватся лайтмапом.. геометрией.. а когда дело доходит до фильтрации текстур.. памяти уже 0.
Лучше проанализировать сцену, на предмет оптимизации.
1) объединить некоторые объекты в 1.
2) все что тяжелое запихать в прокси
3) выключить текстуры во вьюпорте (перезагрузить макс)
4) покрутить настройки ГИ, мб получится урезать гдето.. Мб перейти на другие способы просчета, вплоть до прогресив..как там его.. (когда свет считается при рендере картинки, незабивая ОЗУ предварительными расчетами.
Самое главное почитать в разделе Уроки статю про нехватку памяти