Ну что я могу сказать...
С 3DS я никогда не заморачивался, поэтому опять могу только предположить...
Скорее всего фишка в контроллере rotate который ты используешь... (либо который по умолчанию)
Во первых если ты используешь для поворота на 360 два колюча, то и не сомневайся глюки будут...
Во вторых интерполяция между ключами на верника в MAX'e и 3DS различная.
По сему ставь ключи на каждые 90*
Потом правой кнопкой на ключ и быбирай ось вокруг которой вращение...
После сего в квадратиках выберай картинки с прямой линий (прямолинейным движением). И так для всех ключей (которх для 360 должно быть не меньше 4х)
Потом конверти в 3DS. Если не помогло, а нужно очень, очень, то делай ключ в каждом кадре, но это сам понимаешь, потом не подправить и т.д.
-----
Или же просто. Зайди на панель motion, открой свиток Assigin Controller. Выбери Rotation:...... И назначь другой контроллер, например Linear Rotation.
-----
(и вообще не понимаю зачем из MAX'a сохранять анимацию в 3DS, особенно вращение? Неужели в самом 3DS не повернуть? И опять же, если есть MAX, зачем тебе 3DS? Хотя это дело хозяйское. Надо значит надо.)
Удачи!