На сколько я понимаю ты хочешь сохранить анимацию, если так, то забудь про avi в Максе. Говоришь пробовал в targa и получается много картинок, НО ведь именно так и делается, это называется последовательность изображений и targa для этого не самый лучший формат, я бы посоветовал tiff. И только потом, в композере, создается конечный продукт, так что ты был на верном пути.