Когда ты выделяешь что-то на рисунке, хотя бы просто прямоугольником, получаешь зону, ограниченую мерцающей пунктирной линией. Внутри нее ты можешь что-то делать, снаружи нет. Теперь нажми на клавишу Q - пррямоугольник превратится в красный полупрозрачный. Это ты видишь альфа-канал. Его можно редактировать как обычное изображение: подрисовывать кистью, размазывать, стирать, применять эффекты. Можно отключить, можно записать файл с альфа-каналом. Маска по сути тот же альфа-канал, только находится она в другом слое. Делать с маской можно тоже что хочешь. Маска нужна для скрытия отдельных частей слоя или создания полупрозрачности, ну и всего остального что позволяет Фотошоп.