Col. Tolerance заставляет подпрыгивать кости от этого они и падают. Значение теперь приходится ставить в десятитысячных и в окошке пишет просто 0,0, но это помогает до определенного предела массы.
Сделал сцену заново, все по дефолту, теперь не проваливается и стоят плотно к поверхности (не знаю почему в прошлый раз вроде бы тоже делал точно так), но почему-то с каждой костью падение замедляется и через 20-30 штук они просто повисают друг на друге(см. рис.). Увеличении массы или гравитации на ситуацию практически не влияет, но опять начинается падение костяшек (Col. Tolerance еще на порядок ниже уже просто не ставится). А так же проваливание сквозь стол. Сетка в этом случае не спасает - под каждую кость ставить вершину (не знаю насколько это помогает или нет) не разумно, а выставление их на ребро ни чего не меняет. Пробовал менять Friction и elasticity от 0 до 1, ни на то ни на другое по моему не влияют только изменяют поведение костей на поверхности и места в которых происходят не нужные последствия.
Геометрия подходит и bounding box и Mesh convex hull есть не большая разница в поведении, но произвольные падения все равно есть и там и там.
Более или менее приемлимый результат получил только с Havok 3. Все Mesh convex hull (Bounding box проваливается). Гравитацией регулировал скорость падения, до определенного значения (при -5 опять начали заваливаться не те кости, но при анимации для земных условий достаточно меньших значений).