Ментал рэй вроде входит в стандартный пакет, по крайней мере с 6-ой версии. материалы использовать более сложные, источники света самому расставлять, активируя тени (которые нигде в реальности черными не бывают). Фотометрические источники света, трассируемые тени...
В реальности мы видим объекты чем дальше, тем хуже, для этого эффекта нужно использовать туман (environment range, правда нужно создать камеру). Есть еще эффект зернистости пленки.
Вообще же для того, чтобы создавать такие качественные работы, нужен просто опыт. Тащи вообще результат рендера в фотошоп!