К сожалению, в 3DS MAX при обычном рендере сохранение Z в файл RLA происходит без aintialiasing. В результате при дальнейшей обработке вылезают зубчатые границы объектов. Лучше рендерить поэлементно (RenderElement). В этом случае слой Z считается и сохраняется отдельно и можно настраивать antialiasing. Можно вручную указать требуемый диапазон глубины, повысив точность и качество просчета и дальнейшей обработки. Для создания постовой глубины резкости (DOF) можно использовать стандартный AE Compound Blur, но лучше Frischluft Depth of Fild или Tinderbox2 LensBlur.