Убирай маты, выключай FG. И начинай настраивать GI. Затем FG потом уже маты выставишь. Зайди на F.A.Q. W.I.P. раздела, там море информации по MentalRay.
Ты перебрал с интенсивностью, логарифмик покрути, а шум из за нерационально настроил все, почитай уроки и статьи все сам поймешь.