У меня такое при открытии списка всех объектов по "H", вне зависимости от сцены - хоть пустая с чайником. Правда, там и задержка не 3-4 секунды, а 20-30 секунд.
Полностью перешел на Layer Manager и выделяю объекты только из него, чтобы не открывать по "H".