пробулеан нормально работал желательно 1) относительно плотная сетка
Плотная сетка не нужна. Плотность может быть миллион или один полигон (это я загнул - из полигона солид-объект не получится)), лишние полигоны не нужны. Плотность сетки может быть совсем разной у разных элементов слияния. Стабильно он будет работать если геометрия будет без помарок (с "точки зрения" программы, то есть надо соблюдать определенные правила) и скачанные из интернета модели скорее всего не подойдут - там редко (и не нужна) безупречная геометрия с безупречной историей. Надо все сделать вручную, не допускать помарок и тогда любое количество элементов (я делал до сотни, но наверное ограничений нет, просто больше сотни не доводилось) будет стабильно сливаться с возможностью дальнейшего извлечения, перемещения, добавок и правок. Если какой-то элемент не слился и пошли исчезновения геометрии - это была внесена помарка, например попытка добавить модель со сдвоенной вершиной (то есть с дыркой) или что угодно в этом роде или непонятная геометрия после коллапса (плохая привычка всё коллапсировать). Еще может не произойти слияние если даже у правильной геометрии совместить две плоскости в одной плоскости (такое даже рендер не поймет и визуализирует пятна) и в этом случае достаточно сместить подобъект - это не ошибка и массив пробулеана не повредится - поправив можно продолжать работу с массивом. Пробулеан с большим количеством элементов можно даже анимировать перемещая подобъекты, то есть при соблюдении правил должно быть стабильно все.
п.с. Забыл добавить, что, например, самопересечение вносимого в массив объекта тоже серьезная ошибка (нарушение правил). Какие-то ошибки могут прокатить на минимальной сложности, но скажутся при усложнении, не следует вообще допускать ошибок, чтоб быть уверенным при любой сложности, а не надеяться на случай при минимальной.
Добавлю, что на объекты внутри можно помещать модификаторы (не нарушающие цельность) и можно их редактировать . На сам массив пробулеана тоже можно помещать модификаторы, например турбосмуз, а внутри анимировать подобъекты и будет эффект блобмеша (жидкости), или эдитполи и т.д. Мощный инструмент. Когда подготавливаю для слияния объекты, знаю, что всё будет как надо, поскольку объекты вот они - правильные, а не гадаю "получится или нет" пихая в пробулеан непонятно что. Может и будет иногда сбой, не знаю, один на тысячу слияний и то скорее всего объяснимый закравшейся ошибкой, вряд ли сам по себе ни с того ни с сего.
пропадают в большом количестве рандомные вершины или полигоны далеко от места соприкосновения объектов
Основные причины - это или дырки в геометрии или самопересечения, но могут быть и незаметные ошибки (скрытые от беглого взгляда. Правильная и аккуратная геометрия - залог успеха. Объекты должны быть цельными, если совсем кратко сказать. Если делать правильно - результат достаточно предсказуем и надежен.