Не в Nuke, в нем собирали. Я читал арт бук их, в основном как и написано выше это рендерман, его кстати там дописывали, короче много манипуляций с ним было проделано, про другие рендеры не знаю. Аватар это куча технологий в одном фильме.
Посмотрите в сети арт бук и сразу найдете ответы на свои вопросы.