вся проблема в галочке follow, если её убрать то все в порядке...
как это исправить не подскажу надо усложнять сетап, но можно сделать проще, поставить поинт в центр глаза к нему прилинковать и завайрить поворот на слайдер, тогда не будет вообще никаких проблем и все будет намного контролируемее.
Подозреваю что при таком сетапе как у тебя меняются axis order изза этого дрожит потому что галка фоллоу все пытается исправить...