Судя по всему ваша модель состоит из отдельных полигонов которые не "сварены" друг с другом и потому грани между ними не могут сгладиться. Вам нужно конвертировать в эдит поли, выделить все точки и применить инструмент "велд" (сварка) с очень маленьким радиусом сварки, где то в районе 0,001, после этого модель станет единой и будет сглаживаться нормально.