Дополнение Stable Diffusion для Blender

Stability for Blender является официальной версией плагина, который интегрирует Stable Diffusion в Blender.

Как и AI Render, дополнение связывает Stable Diffusion с Blender - в самом простом варианте, позволяя вводить текстовые подсказки внутри Blender, а не через веб интерфейс.
Однако, гораздо более интересным способом использования плагина является использование 3D сцены в Blender для управления изображением, которое генерирует Stable Diffusion, в дополнение к самому текстовому описанию.

Blender рендерит сцену, а после использует этот рендер в качестве дополнительного описания для Stable Diffusion, что позволяет генерировать изображения, соответствующие композиции 3D сцены. Данный рабочий процесс превращает Stable Diffusion в нечто схожее с движком рендеринга AI.
С его помощью, пользователи могут быстро изучить варианты внешнего вида сцены или при помощи простой геометрии, создать детальный концепт арт или иллюстрации, выбирая ряд предустановленных стилей в пользовательском интерфейсе.

Помимо этого, Stability for Blender может преобразовывать простые направляющие изображения в диффузные текстуры в Blender или даже стилизовать целые анимации.
Пользователи могут рендерить существующую анимацию в Blender, при этом, изменяя параметры управления Stable Diffusion, что приводит к интересным эффектом в стиле motion-graphics, как показано на рисунке выше. Как обычно, прежде чем использовать Stable Diffusion, стоит ознакомиться с его возможностями и ограничениями.

Stability for Blender совместим с Blender 3.0 и выше. Исходный код доступен по лицензии MIT. Сам плагин можно скачать бесплатно, но чтобы генерировать изображения с его помощью, вам потребуется привязать к нему API ключ к учётной записи в DreamStudio - браузерном фронтенде Stability.ai

Регистрация аккаунта бесплатна и включает 100 кредитов для генерации изображений: необходимое количество зависит от разрешения и количества используемых этапов обработки. Дальнейшие кредиты стоят 10$ за тысячу.