Прикол в том, что в параметрах объекта отображаются мировые координаты, а во вьюпорте гизмо ориентировано локально, с учетом вращения.
Я обычно просто слайдерами в Контрольной Панели пользуюсь, если хочу в мировых осях смещать. Но можно еще подцепить Transform3D - его гизмо будет мировым, несмотря на вращение, заданное в самом объекте.