Вообще, меня этот вопрос недавно тоже заинтересовал, потому как в своей сцене получил аналогичные контуры, только не вокруг стекла, а вокруг яркого объекта. Рендерил так же Catmull-ом. Честно, пока не экспериментировал, но возможно GD и прав - Катмул дает очень четкие границы, быть может от этого при GI и случается такая кака...