Дело в том, что алгоритм трассировки в ЛВ примерно следующий (как я его понимаю). Чтобы нарисовать четырехугольный полигон, ЛВ берет три точки и по формуле достраивает четвертую. Она, конечно же, не совпадает с той "четвертой" точкой, которая есть на самом деле. Поэтому и получаются непрорендеренные углы.
Иными словами, если все точки 4-х угольного полигона не лежат на одной плоскости, то это уже гиперболический параболоид.
Сделай плоскую 4-х угольную плоскость и поверни две соседние вершины, чтобы все точки не лежали в одной плоскости. Потом сделай Metaform. Несколько раз. Это и будет гиперболический параболоид. "Вот как надо рендерить!".
А у треугольных полигонов все нормально, все точки всегда лежат на одной плоскости. Про моделер - если не стоит сглаживание, то OpenGL просто закрашивает экран в границах этих четырех точек (2D) каким-то цветом. Если включено сглаживание - то трудно сказать.
Но ясно одно - в OpenGL (или что там) используется не трассировка лучей, а упрощенный алгоритм. Потому он и сглаживает нормально.