Гы
Ну если "короче" - то а на что тебе Фотошоп?
)) Ну а вообще, когда ты используешь в максе любую карту в качестве прозрачности, она трактуется как чёрно-белая. Насколько я могу судить, если тебе требуется некий эффект типа свето-фильтра (как на фотоаппарате), то лучше всего воспользоваться Фотошопом (и иже с ними, что больше нравится). Для этих целей есть хороший фильтр Almathera Grey Area. Если же просто требуется создать качественную маску сложной формы, тем более это нужно делать не в Максе (анимированные маски вполне можно создавать в After Effects, Combustion, и даже во Flesh'э). Если же всё-таки требуется keying в реальном времени по одному цвету, для композитинга видео (а-ля диктор телевидения на фоне CG), то если не хочется (или слишком долго) использовать AE, Premiere, Combustion и т.п., то можно поставить для Макса плагин Primatte. Очень неплохой по возможностям кейер, с достаточно корректной обработкой краёв маски (я не пробовал, но возможно он сможет нормально скомпозироовать такие вещи, как волосы и т.п.).
Удачи.