У вирея свое отношение к matte/shadow =) Материал для объекта можно использовать стандартный. вот только в настройках рендера найди закладку VRay: System. Там жми на objects settings, выбира свою Plane слева, а справа в графе Matte properties поставь галочку и чуть ниже параметр Alpha contribution скинь на -1.0. Вот собственно и все.