Получается, что тебе, во-первых, администратором нужно сделаться, чтобы FlexLM суметь установить. Если всё делаешь правильно, то других причин, препятствующих установке софта я не вижу, тем более, если он работал на предыдущей операционке при этой же конфигурации железа. Во-вторых, драйвера для видеокарты попытайся обновить. Однако новые драйвера в каждом конкретном случае не всегда лучше старых. Всё зависит от совместимости с железом. Если будет работать хуже, ХП позволяет roll back сделать к старым драйверам. У меня 1.5.3. под ХП работает в полный рост и ещё ни разу не зависал.