Есть нормали (то что получается либо от сглаживания в вершинах либо как то вычисляется) а есть нормали к граням. Так вот если у тебя нормаль в точке является суммой нормалей на гранях то значит угол между нормалями граней по которым происходит сглаживание больше 180 чего быть не может -- вероятно ты что-то нахимичел с вычислением сглаженных нормалей.