Я конечно не профессионал математик, но люблю приложить мозги, правда когда время есть.
Общее решение задачи лежит в решении уравнения
F(x)+F(y) =0, где F(x) - функция зависимости координаты z от x в ортогональной проекции твоей плоскости на плоскость ZX,
соответственно также и F(y).
В твоем случае, так как плоскость прямая z=Ax (для F(x)) и z=By (для F(y)).
Получаешь Ax+ By = 0.
А нахождение этих проекций уже чистая геометрия, sin и cos, катеды и гипотенузы.
Сочиняешь движок к скринсейверу?
Если есть интерес дальше, пиши etumark@dialup.ptt.ru.
Почту я смотрю чаще
Игорь.