Похоже, не хватает данных в канале глубины по краям.
Для начала, нужно проверить, не предумножен ли канал глубины на альфу. Если нет, но проблема остается, нужно нарастить края в канале глубины.
обратил внимание на одну мелочь - vray почему то создает более высокое значение (процентов на 5-10) по краям обьектов. тоесть в цветовом выражении они чуууть чуть ярче.