Возможно кодек который ты используешь не поддерживает выставленного
тобой разрешения. Такое бывает с нестандартными кодеками карт ввода-вывода. Вообще кодеки настраиваются в окне сохранения изображения при рендеринге. Попробуй AVIшку без сжатия. Зажать можно потом, в любой монтажной программе. Удачи!