Для того,что бы этого не случилось желательно соблюдать определённую последовательность действий и более точное положение вычитаемого объекта.К примеру, при слишком близком расстоянии вертексов ,при проекции, "результат" может выбрать среднеарифметический значения, т.е. вертекс будет находится в непредсказуемом месте.Но тоже правило должно работать и с булевскими операциями и "проКаттером".Можно конечно увеличить плотность сетки но в таком случае сложно правильно спроекцировать оба объекта.Наименее "болезненным" будет дополнительная нарезка форм(предварительная подготовка) поперёк вычитаемых рёбер,опять таки необходимо стараться чтобы вертексы не находились близко друг к другу.