1. Если просто сохранить картинку в максе, то Z не работает. Надо рендерить именно через Render > File в какую-нить RLA.
2. Обычный Z рендерится без антиальязинга, что естественно, но есть отстой.
Можно в Render Elements включить Z-channel и галочку Filtering - получится ч/б картинка глубины, по которой потом уже блюрить, туманить и прочее основную картинку.