Подскажите как сделать анимацию вертексов в объекте

То есть анимация двжения точек например в боксе, а сам бокс должен быть статичен

В смысле? А точки в боксе не являются самим боксом? Что то мне кажется что морфингом тебе надо это делать (если я правильно понял суть анимации)

с 8 макса edit poly позволяет анимировать точки, только переключись с режима model на animate в модификаторе.
если более ранняя версия макса, тогда только editable poly, то есть тип обьекта, в начале стека.
ну и морф, фдд, дисплейс форс, сплайн+скин, мешселект+иксформ и тд.... вариантов много

переключил в режим animate. как анимировать? через set key не получается...

Как-как... AutoKey и понеслась.