Это получается из-за того, что выдавленный сплайн также строится из треугольничков. Грубо говоря, каждая конечная точка прямоугольного отрезка, из которых строятся "кривые" участки твоего сплайна, соединяется невидисой гранью с какой-то другой точкой на другом конце сплайна. Если сделать эти ребра видимыми, то получится супермерзкая сетка, состоящая из длинных узких трианглов.
Я бы боролся так (если тебе надо именно честную сетку одним обьектом):
1. уменьшил количество итераций в сплайне до минимально допустимого (для твоей задачи).
2. У цилиндра тоже бы уменьшил количество сторон.
3. после булевского вычитания сплайн бы конвертнул в полимеш (лично мне так удобнее)
4. На плоскости крышки от нескольких точек, которые образованы вычтенным цилиндром, провел бы несколько дополнительных ребер к периметру сплайна.
Если отверстие стало "нормальным", но сам сплайн угловатый и отверстие тоже угловатое, то присвой поликам крышек сплайна одну группу сглаживания, боковым сторонам - другую, а поликам, которые опосле вычитания образовали вертикальные стенки в теле сплайна - третью. И поставил галку "юзе НУРБСсмуч".
Типа все должно быть хорошо.
Кто-то считает, что для хорошего булева нужно наоборот, делать побольше сегментов. Я это не люблю...
И совет на будущее - пользуйся булевом поменьше. Очень некорректный интструмент.