а что такое self intersection? если имеется ввиду пересечения объектов , то их нет. Стекло - стандартный примитив box, материал - arch & Design Solid, reflection\refraction - 1, glossy - 1
self intersection - это когда например луч пересекает шарик. Шейдер начинает трассировать отраженный или преломленный луч из точки пересечения. И из-за проблем с точностью луч пересекает шарик в практически той же самой точке вместо того чтобы быть отрассированным в сцену...
Попробуйте выставить простой материал (диффуз плюс рефлекшн) чтобы убедиться что получится чистое отражение. Если отражение будет чистым то значит проблема с arch материалом, иначе проблема с само-пересечением.