Ok ...
Оператор Set Matte (Operators \ Chanel \ Set Matte) использует оператор в качестве альфа канала для другого оператора. В Set Mate Control указываешь в Layer слой, который собираешься использовать в качестве альфа канала (в твоём случае - это Z Buffer). В Input - Luminance.
Если Z Buffer у тебя в *.rpf, то извлекаем его посредством оператора Show G-Buffer (Operators \ 3D Post \ Show G-Buffer). В настройках в G-Buffer выбираем Z Buffer.
В итоге должно быть две ветки:
Branch `Composite`
-Composite
- Set Matte (в Set Matte Controls - Layer указан Show G-Buffer)
- Footage
Branch `Show G-Buffer`
- Show G-Buffer
- Footage
(Подробно о Set Matte и Show G-Buffer в документации читай)
Надеюсь объяснил более менее внятно