Объектам, отбрасывающим тень - выключить visible to camera и recieve shadows.
Объектам, принимающим тень - Vray Properties > Matte Object (-1) + Shadows + Affect Alpha
хм... у меня дежавю, или я действительно все это пишу минимум третий раз за этот месяц...