Дело в том, что неважно какой формат Вы выбираете в качестве "карты высот" (bmp или другой), в Bryce он преобразуется в 256-ти разрядный и конечно при этом получаются ступеньки. Попробуйте уже в bmp сразу создать 256-ти разрядный фон с максимальной степенью сглаживания, возможно тогда Вы получите максимально сглаженные ступеньки в Bryce.