Вобще очень много исходников входит в SDK, в том числе и часть стандартных плугинов макса. Пишутся плугины в сновном на С++. Код на ассемблере можно посмотреть любым хорошим дизассемблером, но вот разобрать его - легче самому придумать плагин. Алгоритмы, как правило, публикуются в специальных изданиях. К примеру, многое можно найти в материалах сиграфа. (На моей памяти - статьи по алгоритмам трассировки лучей, волосам, воде... ). Но для этого надо очень хорошо знать математику (в том числе и высшую) и английский язык.
п.с. Говорят что есть специальная версия макса для разработчиков, где в исходниках присутствует около 80% процентов кода. Распространяется среди избранных друзей автодеска, разрабатывающих плугины. Но сам я это чудо не видел...