и то и то потребует напряжения мышцы мозга. правда есть mayaman для Mentalа. то етсь рулишь майские шейдера и свет а они "сами" конвертятся и всё это считается м.реем.... с другой стороны разобравший в рендермане можно будет спать спокойно ибо кусок хлеба ты всегда заработаешь.... оптимально конечно же и там и там успеть. чем большим количеством софта ты овладеешь - тем лучше.
PS Mental Ray в Майке 5,0 будет встроенный. делай выводы сам...