Чего там мучаться? Есть же готовый материал стекла в библиотеке рейтрейсмат в максе. Может у тебя просто нечему отражаться/преломляться, вот и не похоже получается. Поставь свой стакан на плоскость с текстурой, вокруг кубиков-шариков поставь разноцветных, в бек картину засунь какую нибудь. Тогда и будет рефлект/рефракт виден.