В общем, насколько я знаю, rayserver.so должен быть именно для той версии линуха, в которой ты работаешь, поскольку это на самом деле библиотека, и она потом на лету прикомпиллируется к твоему шейдеру (грубо). А поскольку она использует всякие там libc, которые в последних итерациях Linux менялись прилично - и даже более того, отличаются от вендора к вендору (стандарт, блин), то запустить под Mandrake этот самый so, скомпиллированный для Redhat, может и не получиться.
Это дело обсуждали на c.g.r.r., так что посмотри на Deja. Может, там оно еще есть.
Ну а если не найдешь - спроси сам на c.g.r.r, там хорошие парни сидят, да и Ларри обычно отвечает очень быстро.