Сталкивался когда-то с подобным. Рендерил сначала авишку (avi1), которую в последствии будут класть на другое видео (video). Потом рендерил ту же авишку, только объекты в сцене абсолютно белые, а фон абсолютно черный (avi2). Далее в Adobe Premier`е avi1 накладывалась на необходимое video, а avi2 была для avi1 маской. Получалось симпатично.