У меня такая же проблема, когда я работаю с тяжелыми сценами (от 100 000 поликов). Чем дольше работаю, тем сильнее тормозить все начинает. Я считаю, что это связано с постепенным забиванием оперативной памяти. Если перезапустить приложение и снова открыть сцену, то все опять будет работать хорошо и быстро.
p.s. > Мое личное мнение, и не факт, что оно верно.