На эту тему есть очень хорошие примеры (даже в виде файлов с материалами) на соответствующем форуме 3dcenter.ru
Потом, стекло, я надеюсь, у тебя не Plane. вРей корректно работает только с корректным стеклом - то есть с таким, у которого "толщина" есть.
Про настройки
Diffuse = по вкусу. Для придания четко выраженного цвета стеклу используй Fog (в материале, а не в эффектах макса), но в очень маленьких количествах!!!!
Reflect = по вкусу, отражение по Френелю. Если без френеля - то будет вести как зеркальное стекло.
Glossines = оставь единицу (нафиг тебе грузить комп лишним размытием, которого не видно будет все равно).
Refract = 255 или меньше (оно же не совсем уж прозрачное)
IOR = 1,517??? А зачем такая точность? IOR в вРее довольно условное понятие. При 1 поверхность совершенно матовая. При 10 - как будто полировкой прошлись. Поэкспериментируй и увидишь. Можешь и меньше 1 попробовать
Reflect on back side в панели Options при необходимости (для правдивости)
Не забудь ткнуть галочку Affect shadows!!!