Не понял...
Какая связь между OpenGL и рендерингом.
Где трясется-то? На видеомониторе, или на компьютерном?
Если на видео, то этот эффект возникает, когда толщина линии соизмерима со строкой, метод лечения один - суровый антиалиасинг (+ Motion Blur иногда).
Сам с этим на днях возился, правда не в Майе, и "тряслось" на кинопленке
)