"Сбер" запустил нейросеть Kandinsky 2.1, генерирующую изображения по текстовому описанию

Команда разработчиков из "Сбера" представила новую версию своей нейросети Kandinsky, которая является отечественным аналогом популярного алгоритма Midjourney. Новая генеративная модель Kandinsky 2.1 может использоваться для создания высококачественных изображений на основе текстового описания, а также для дорисовки картинок и других целей. Нейросеть доступна для использования всем желающим.

Фотореалистичная девушка со злым лицом.png
Сгенерировано по запросу: "Фотореалистичная девушка со злым лицом"

С помощью новой модели Kandinsky 2.1 можно создавать высококачественные изображения всего за несколько секунд по текстовому описанию на русском языке. Она также может смешивать несколько рисунков, изменять их в соответствии с текстовым описанием, генерировать изображения, которые похожи на заданное, дорисовывать недостающие части картинки и формировать изображения в режиме бесконечного полотна (inpainting/outpainting). Модель понимает запросы на 101 языке, включая русский и английский, и умеет рисовать в различных стилях.

Фотореалистичный старик .png
Сгенерировано по запросу: "Фотореалистичный старик", при изменении запроса,
например нового головного убора, нейросеть не смогла предложить варианты и оставила это же изображение.

Модель Kandinsky 2.1 является значительно улучшенной версией, по сравнению с предыдущим алгоритмом и была обучена на объединенном датасете Sber AI и SberDevices, который содержит 170 млн пар "текст-изображение" высокого разрешения, а также на дополнительном датасете из двух миллионов пар качественных изображений, включающих сложные для нейросетей области.

Новый алгоритм основан на новой модели автоэнкодера, которая используется как декодер векторных представлений изображений. Это значительно повысило качество генерации изображений в высоком разрешении. Модель Kandinsky 2.1 содержит 3,3 млрд параметров, что на 1,3 млрд больше, чем модель Kandinsky 2.0. Алгоритм использует закодированное текстовое описание и специальное представление изображения моделью CLIP. Это позволяет ему визуализировать любой контент и применяться в различных отраслях. В обучении новой модели принимали участие специалисты Sber AI и ученые из Института искусственного интеллекта AIRI.

мужчина в юбке.png
По запросу "Мужчина в юбке", мы ожидали увидеть шотландца, но нейросеть испорченная современным интернетом предложила нам азиатскую девушку, причем с иероглифом в правом нижнем углу.

Мужчина с усами в юбке.png
Но мы собрались с силами и скорректировали запрос на: "Мужчина с усами в юбке" и наконец получили нашего шотландца.


Вы можете оценить возможности Kandinsky 2.1 на промо-странице, а также запустить её на устройствах Sber, в мобильном приложении "Салют" и на платформе ML Space с помощью команды "Запусти художника".

Кроме того, нейросеть доступна через Telegram-бота, но нужно учитывать, что многие пользователи столкнулись с ошибкой "Произошла ошибка при работе модели:( Попробуй, пожалуйста, еще раз".

Если у вас получились забавные изображения, прикладывайте ссылки на них + текстовый запрос в комментариях к новости.

535 0 850 10
23
2023-04-05
[quote]По запросу "Мужчина в юбке", мы ожидали увидеть шотландца, но нейросеть испорченная современным интернетом предложила нам азиатскую девушку, причем с иероглифом в правом нижнем углу. Но мы собрались с силами и скорректировали запрос на: "Мужчина с усами в юбке" и наконец получили нашего шотландца.[/quote]

2023-04-05
Прикольный челенж, я сгенерил по запросу мужчина в юбке 6 изображений, 4 из них получились девушки (как правило в каком-то аниме варианте), а вот два изображения офигенные вышли, зацените:





Все остальное скучное, на подобие вот этого:
2023-04-05
Интересненько, на первый взгляд смесь MJ 4 и SD
2023-04-05
ProcXel.A


У тебя такой большой монитор? у меня 27-дюймов, поэтому в кадр в лучшем случае голова бы влезла :)
2023-04-05
https://cloud.mail.ru/public/ecgb/2466WjEPx

https://cloud.mail.ru/public/H53X/NEGffnWMd
2023-04-05
Вчера 3 раза пытался что-то сделать, в итоге долгая загрузка
2023-04-05
kandinsky-download-1680695144589
пьяный комар
2023-04-05
что то буквальное более менее. Надписи противопоказаны. Семантика слабая. Русский контекст как неродной. Однако прогресс есть
2023-04-05
И грянул гром... Проснулся ТОР. И у Цундапа старого взревел мотор, И я летел в далекий край, И ветер в волосах унёс мою печаль. Туда где Рай...
2023-04-05
Ну молодцы че))) а наши высокоразвитые европейские соседи ничего не сделали xD еще и батонами дубасятся под эйфелевой башни не от хорошей жизни)
2023-04-05
Попробовал. Если алгоритм свой, а не переписанный Stable Diff, то зачет.
2023-04-05
В целом выглядит симпатично. Если просто смотреть на картинку, не учитывая, какие запросы делал автор и насколько соответствует результат
2023-04-05
Очень любопытно, что рамку двигать можно. Удобней чем в A1111
2023-04-05
Александр, ракурсы одинаковые, мне на разные запросы практичеки идентичные две картинки выдала
2023-04-05
По запросу "Мужчина в юбке", мы ожидали увидеть шотландца,
но нейросеть испорченная современным интернетом предложила нам азиатскую
девушку, причем с иероглифом в правом нижнем углу.
Так в 2021 году лицом Сбербанка на экономическом форуме был Даня Милохин который позировал в юбке, так что противоречий никаких нет.
2023-04-06
Y_SПопробовал. Если алгоритм свой, а не переписанный Stable Diff, то зачет.
Конечно свой. Вот свежая лекция одного из разработчиков:

2023-04-06
Kirill none Конечно свой. Вот свежая лекция одного из разработчиков:

Да, я уже на Хабре почитал, но спасибо за видос.
2023-04-06
"у Лукоморья дуб зелёный" похоже был, стоял и есть ))
2023-04-06
клоны ..
2023-04-06
Генерация картины, подробное описание от Шарлотты Бронте ИИ не может осмыслить 😁 "Картина акварелью. Низкие свинцовые тучи стелятся над бушующим морем. Дальний план в сумраке, на переднем плане вздымающиеся волны. Один луч света выделяет полузатопленную мачту, на которой сидит баклан. Баклан темный, большой, в брызгах пены на крыльях. В клюве он держит золотой браслет, украшенный драгоценными камнями. Под мачтой и птицей сквозь зеленую воду видны очертания трупа, хорошо видна рука прекрасной девушки, с которой был смыт или сорван браслет."
2023-04-06
А где нейрона Малевич?
2023-04-08
Не плохо. Есть возможность составлять свой реф лист.spaceport in a crater on mars
2023-04-08
Серж, очень даже,между прочим
RENDER.RU