Есть такое рульное место в Сети, называется Stylized Depiction in Computer Graphics, Non-Photorealistic, Painterly and 'Toon Rendering ( an annotated survey of online resources by Craig Reynolds)
http://www.red3d.com/cwr/npr/
Там есть все. Даже то, чего ты не искал ;-)
А вообще говоря, раз уж мы в Renderman-форуме сидим, просто так шейдером мультяху в нем не сделать, поскольку в шейдере невозможно получить необходимую геометрическую информацию. Можно делать некие приближения к картуну, например, только для шариков или только для нюрбсов, но полноценное решение - это постпроцессинг аля описанному в Advanced Renderman.
Говорю всё это не просто так - сам пробовал/пробую (http://www.dream.com.ua/feature15_20010320.html) и видел, как люди делают (студия Классика, не спрашивайте про детали, плиз ;-)
p.s. Кто-нить в форуме рубит в wavelets? Есть идея.