Если хочешь качество - никогда не работай с авишками - рендери последовательность кадров - в формат Tif или TGA. Альфа канал рендерится автоматом. Но если надо именно ави, например для превьюхи - применяешь к футаджу ефект Keying - много для этого крутых плагинов есть, хотя AE тоже неплохо справляется.