Все верно. Alpha маска создается на геометрию. Т.е то, что является результатом моделинга или работой шейдера Surface Geometria. Материал Glow создает эффект на этапе постобработки.
Хотя задачка решается достаточно просто. Оставляем в сцене объекты для который необходимо получить эффект Glow (месте с назначеным стандартным материалом Glow). Все остальное выключаем. Делаем рендер в файл. Открываем, например, в Photoshop-e. Идем в каналы и дублируем канал красного (в стандартном материале Glow цвет RGB задан как 1.0 0.0 0.0). Все теперь этот канал можно использовать в качестве маски.