Была такая же фигня. 5-й макс не хотел выключаться (вернее сама программа с экрана исчезала, но из памяти не выгружалась), иногда просто тихо висел в памяти, а иногда начинал что-то сам делать после выключения и загружать процессор на 100%. Такая же фигня была и с макс6, и вроде и с макс 4,2 (щас уже не помню точно). Это было и на вин2000 и на винХР
Комп практически такой же как у тебя, тока процессор с 1Мб кеша. Заметил, что при отключении НТ в БИОСе эти глюки исчезали. Однако терять заметный прирост в производительнсоти при рендере с включенным НТ не хотелось и я смирился с этими глюками и просто после выключения обычным способом еще и убивал макс через диспетчер задач. А потом как то переустанавливал систему и поставил винХР+СР1 с другого диска и все глюки пропали. До этого ВинХР был без СР1. А так же еще в этом новом винХР я переместил папки ТЕМР и ТМР из того места где они в виндах по умолчанию в корень диска С, чег ораньше никогда не делал - но, хотя скорее всего это никакого отношения к делу не имеет.
ИМХО, это какой то программный глюк, связанный с некорректной работой НТ.