Не пойму чем вам не подходит первый вариант. Он более физически корректный. Более быстрый для рендера.
Об этом написано в документации ментал рея, даже с картинками: http://docs.autodesk.com/MENTALRAY/2014/ENU/mental-ray-help/files/shaders/architectural/arch_mtl.html
Единственная проблема с таким подходом это если у вас например анимированный меш воды...
Ваш фалофф не работает правильно во втором варианте, потому что он идет от одного полигона до другого. Тоесть у вас вода окрашивается в оранжевый только на растоянии от полигона воды, до полигона стекла. А это тонкая полосочка внутри стекла. Далее луч идет от стекла к стеклу и ни про какую воду он не знает.
В большинстве случаев трейс работает от полигона к полигону и не учитывает реальные объемы объектов. Хотя при желании все это можно реализовать.
P.S. Если вам всетаки нужен именно второй вариант с результатом как в первом (например анимированный меш), то могу порекомендовать попробовать мой шейдер
p_dielectric_interface, который сделает это сам во время рендера. Но если у вас простая статичная бутылка, то проще один раз вырезать геометрию.