Понятие "реалистичный рендер" - некорректно.. (хотя пиксаровцы и имеют Photorealistic Renderman)
Понятие реалистичности относиться ко многим аспектам 3d:
Технические:
- Oсвещение: способ просчета первичного и вторичного света, симуляция
- Шэйдеры: алгоритмы взаимодействия поверхности со светом..
Художественные:
- Создание природной хаотичности, нессиметричности и грязности текстур..
- Тоже самое справедливо и по отношению к поверхности объектов наполняющих сцену..
и т.д.
В общем критериев реалистичности много.. Почитай Билла Флеминга - у него там более подробно описано..
Теперь что касается непосредственно рендеров:
Scanline A-buffer (стандартный МАХ-овский), RenderMan, MentalRay, Vray, Brazil, FinalRender и т.д.- каждый имеет свою технику реализации технической стороны понятия реалистичность.. Каждый использует свои алгоритмы просчета первичного и вторичного света - имеющего свои преймущества и недостатки.. Например Vray делает таким быстрым его Irradiance Map, а Brazil медленноват и-за использования Brute Force алгоритмов просчета, но передающих более точное поведение света.. Свет в свою очередь взаимодействует с поверхностью и тут уже важное значение имеет шэйдеры, которые определяют как свет на них воздействует и что собственно должен видеть пользователь.. Наиболее развитыми в плане кастомизации (написания собственных шейдеров) являются Renderman и MentalRay.. Но для этого придется заняться програмированием.. Большенство же задач решаются и обычными рендерами (без возможности кастомизации шэйдеров)..