Emad твитнул про #SDXL
Версия 1.0 будет будет легко дообучаться и в то же время качественная из коробки. Она уже самая качественная базовая модель.

- Kohya уже подготовил свою дообучалку
- Авторы выложат свою мощную дообучалку
- Текстовая инверсия готова
- t2i адаптеры готовы
- ControlNet готов
- поддержка automatic1111 webui
- Ещё лучше поддержка ComfyUI

Самые крутые файнтюнеры уже получили веса.
Релиз v1.0 в середине июля под лицензией CreativeML


Твит

Emad продолжает подогревать интерес к #SDXL

У нас будет целый ряд сервисов для моделей всех типов через наш API, AWS и многое другое, чтобы упростить использование технологии и позволить вам владеть своими собственными моделями

твит

SDXL 0.9 Photographers Study

Фотографы, найденные в #SDXL, удобная галерея.
А значит, можно выбрать стиль, закинуть имя фотографа в промт и творить

#gallery

Вести с полей #SDXL

Оказывается, для обучения/дообучения требуется хренова гора VRAM. Вплоть до того что со всеми возможными оптимизациями обучение не запустится даже на 40GB VRAM. В коментах возражают что у Kohya обучение работает на 24GB, и он пилит алгоритм обучения на 12GB.

Не все радужно и гладко в датском королевстве. Возможно, мы вступаем в эру зависимости SD от онлайн сервисов. Можно даже конспирологически предположить что это сделано специально чтобы контролировать и цензурировать модели.

Пост на реддит

В сеть утекли веса #SDXL 0.9. Энтузистам уже удалось запустить их в ComfyUI с pytorch 2 и без xformers. У меня к посту нечаянно прикрепился торрент файл. Не знаю откуда он взялся и как его удалить. Помните, если там будет .ckpt файл, не запускайте его. Безопасно использовать только . safetensors

Кстати, веса можно вполне официально получить отправив заявку в Stability AI.

Впрочем, можно запустить по официальной инструкции со странички на гитхабе

Код

А вот и колаб #SDXL уже запилили. Для использования понадобится гугл-аккаунт и API токен Huggingface. Ничего сложного

Видеоинструкция
Колаб

[UPDATE] колаб сейчас не работает. Видимо, поп причине удаления весов с huggingface

Лайфхак
Вчерашний колаб в первозданном виде уже не работает, поскольку он подгружал веса с huggingface, но их оттуда уже удалили.

Если хочется запустить #SDXL самостоятельно, идём на YouTube, пишем в поиске SDXL и сразу же видим инструкцию по запуску. Если первая не подойдёт, ищем следующую

Вот первая

https://youtu.be/146jUZLj6yw

AUTOMATIC1111 webui обновился до версии 1.5

Главное - поддержка #SDXL

В дискорде StabilityAI начинается презентация #SDXL

https://discord.gg/stablediffusion

А вот и ссылки на официальные модели #SDXL 1.0

Базовая
Refiner
VAE

Гитхаб

Опубликована инпейнтинг-модель #SDXL

Демо
Веса

#inpainting #image2image

SDXL-Lightning

В ByteDance переизобрели #SDXL c очень быстрой генерацией 1024x1024 за несколько шагов

Код и воркфлоу ComfyUI
Демо

#text2image

ControlNet Tile для SDXL

Никто не ждал, но xinsir сделал контролнет для SDXL.
На странице модели примеры деблюра, апскейла, вариаций

#controlned #sdxl #deblur #upscale #variation

MV-Adapter: Multi-view Consistent Image Generation Made Easy

Генерация изображения сразу с нескольких (до 40) ракурсов на базе #SDXL, 768*768

Код
Демо t2i animagine
Демо t2i general
Демо i2i

#multiview #text2image #image2image #text2multiview #image2multiview

MoD ControlNet Tile Upscaler for SDXL

Апскейлер для #SDXL, апскейл происходит прямо в процессе диффузии

Код
Демо

#upscale

FaceCLIP

ByteDance выпустил новый энкодер для персонализации картинок

FaceCLIP с SDXL обеспечивает исключительные результаты в области сохранения идентификационных данных, выравнивания текста и качества изображения

Ну и в том же репозитории лежит FaceT5-FLUX, хотя в папире нет о нем никакого упоминания

Вообще карточка модели весьма кривая - ссылка на папиру ведет на InfU, ссылка на Гитхаб ведет на 404. Подождем сайт проекта если он будет и код.

Спасибо @john_eod

#text2image #personalization #sdxl #flux