В портянке рендер найди вкладку System и там будет кнопка обжект сеттингс.
Выбираешь объект и ставишь галку Matte Object. Далее в принципе всё понятно но аналог стандартного matte/shadow получается с выставлением параметра Alpha contribution на -1 (он прям под галкой Matte Object)
С наилучшими