1. Покрути в параметрах Colision (который находится во вкладке reactor в разделе Utilities) значение Velocity.
2. Уже в окне OpenGL перед началом просчета поставь побольше значение Substeps.
3. Одежду попробуй поставить попроще simple (в самом модификаторе ReactorCloth). В смысле не надо ставить всякие advance.
4. Попробуй отключить просчет "самосталкивания" ткани
5. В пятом максе помнится был еще один параметр в Utilities> Reactor> Colisions. Там было что-то типа Thesold position/angle - так вот, поставь их поменьше раз в 5-10.
6. Возможно у тебя задрано или наоборот очень маленькое значение Tolerance (насколько я помню, он тоже должен находиться в Utilities> Reactor> Colisions). По-моему, этот параметр был только в 5-ом максе, в 6-ом я его не припомню. Он отвечает за расстояние, при котором одежда начнет сталкиваться с объектом.