На счет первого - заходишь в параметры VRAY. там есть свой Environment вставляй туда HDRI. там кстати удобно можешь поставить на освещение и на отражения\преломления по отдельности.
На счет второго. на CGTALK лежал хороший урок. по всем рендерам как сделать АЛФА канал. Если хочешь могу выслать. куда? впринцепе ничего сложного. заходишь в материал vrayMATVrapper там в общем ставишь галочки
MATE SURFACE, SHADOW,AFFECT ALPHA
и в ALPHA CONTRIBUTION поставь 0 все вперед!
есть вопросы пиши