Объект, который анимирован вручную, превращаешь в rigid body, в настройках реактора у этого объекта включи параметр Unyielding, тогда при создании анимации объект будет двигаться по ключам, но взаимодействовать с другими объектами, то есть толкать их, но на траекторию самого анимированного объекта это не повлияет.