в брайсе нормальный генератор фракталов, который может сделать и то и другое. а если надо что-то особенное - тогда да, в фотошопе надо делать квадратную ч/б картинку (grayscale). Чем светлее - тем выше. Потом ее грузить в брайс - в редакторе террейнов.