Если вопрос касается антиалазинга за прозрачным объектом, то читай хэлп по паинтингу, главу 9 Rendering Scenes with Paint Effects Strokes раздел Setting up to render Paint Effects strokes .
Если хочется, чтобы случалась рефракция куста или его отражение на стекле , то просто так это не получится, поскольку в самом начале доки большими буквами написано, что паинт эффект - это построцесс, то есть твой куст будет нарисован после рендера, и естественно, не будет участвовать в процессе рэйтрессинга. Так что нужно искать обходные пути. Они очевидные и много раз обсуждались