Ну с начала , думаю стоит определиться, что за рендер... Для mental ray свои материалы хороши, для V-ray - его родимые. А mental ray, если не ошибаюсь и стандатные максовские кушает. Например raytrace, материал как раз для преломлений и прозрачностей. А каустику настраиваешь в самом рендере.