1) режим overlay ничего ниоткуда не берет, он накладывает
2) "цвет" это целиком HSV или что?
3) "фактурность" - это что? depth?
вот, к примеру, если рисовать на нижнем прозрачном слое, а верхнему сказать colorize - это будет похоже на то, что ты хочешь?