Не знаю у меня подобный эффект получился, когда я пытался в-реем отрендить сцену где был отражающий объект, а на фон был поставлен Dreamscape, если материал не с трассировкой, а с картой отражения, то гарантированно вылетает. (C трассировкой врет). Иногда так, как описано, иногда просто закрывается MAX. Ну это просто мысль, как понимаю из темы проблема сцены маловероятна.