Потому что там дырка и в ней нечего сглаживать, в то время как вокруг нее полигоны, которые сглаживаются. Была бы дырка на плоскости, все было бы нормально, но она у вас на криволинейной поверхности.
Заделайте дырку обратно, сделайте на ее месте ровную сетку, примените турбосмуф, полученный сглаженный объект конверните в эдит поли и уже в нем и делаете свою дырку.
Или, как вариант, двигать верхнюю точку дырки на несглаженной сетке внутрь объекта методом подбора ее положения, пока после сглаживания объект не станет нужной формы. Т.е сдвинули чуток, включили сглаживание, мало - еще двигаете внутрь, много - двигаете обратно. Возможно что-то и получится.
Вопросик - а зачем вам нужно, что бы после сглаживания ребра изначальной сетки были на своих местах? Какая разница где они будут, если сглаженный объект имеет нужную вам форму.