Хм, предположений нет, есть вариант, как это попробовать обойти.
Попробуй другой M-JPEG кодек, например от Matrox. Дело в том, что большинство железок (тем более такие древние как Matrox или твой Reeltime) используют аппаратный M-JPEG декомпрессор Zoran (их делает Philips), поэтому, например, авишки зажатые в Matrox M-JPEG проигрываются на внешний монитор даже дрянью типа DC10. Два момента - я не знаю с каким аспектом работает Reeltime (Matrox M-JPEG работает с D1, то есть пиксель у него неквадратный) и второе - я не знаю с каким потоком могут работать кодеки и фронтэнды (ЦАП-АЦП) у твоего Рилтайма, на высоком потоке они могут просто физически сгореть (так происходит, например, с той же DC10).