Есть какая штука как Alpha-канал. Берешь рендеришь свою работу в формат TGA (Targa) при сохранении спросит мол какие Images Attributes - ставишь 32 бита. И все.. залазишь в Photoshop и там в закладке "Каналы (Chanels)" будет маска, канал прозрачности.