Там есть четыре типа булеана - объединение, сложение, пересечение и вычитание.
Порядок пердставления активных-неактивных слоев влияет только если делаешь вычитание (Substract).
Чтобы вычесть одно из другого, делай так:
на разные слои помещай свои объекты. На активный слой ставишь тот объект, из которого будешь вычитать. Фоновым (неактивным) слоем (Alt+номер_слоя) ставишь объект, который будешь вычитать.
Т.о. если у тебя на активном слое - шарик, а на неактивном - кубик, и ты делаешь Boolean, то в шарике у тебя вырежется кубообразная дырка.
Кстати, он у меня еще не вис не разу. Однажды я вырезал окна в палубах - окон было несколько сотен. Так он двадцать минут вычитал, но все-таки справился.