🌟 PowerPaint v2: обновление универсального инструмента для inpaint и outpaint изображений.

PowerPaint - это универсальный инструмент, который поддерживает удаление объектов с помощью текста, вставку объектов с помощью маски и расширение границ изображения при помощи дорисовки.
Эти техники очень схожи с проприетарной технологией "Генеративная заливка", реализованной в Adobe Photoshop.

Основной функционал PowerPaint:
🟢вставка и удаление объектов на изображении естественным и бесшовным образом;
🟢добавление объектов путем заполнения указанной области на изображении по текстовому промпту сохраняя общую целостность композиции;
🟢изменение формы и положения объектов, соблюдая гармоничное смешивание с фоном;
🟢расширение изображения по границам за счет генерации на основе анализа соседних существующих областей.

Изменения в версии v2:
🟠обновлены веса моделей с учетом issues первой версии;
🟠проект (код, веса) теперь полностью доступны в открытом доступе;
🟠доработан пользовательский UI-интерфейс (Gradio)

Локальный запуск v2 с использованием GradioUI:

# Clone the Repository
git clone https://github.com/zhuang2002/PowerPaint.git

# Navigate to the Repository
cd projects/powerpaint

# Create Virtual Environment with Conda
conda create --name PowerPaint python=3.9
conda activate PowerPaint

# Install Dependencies
pip install -r requirements.txt

# Run PowerPaint v2 
python gradio_PowerPaint_BrushNet.py

Для использования в составе ComfyUI - реализация BrushNet (включает в себя обновление PowerPaint v2)

⚖️ Лицензирование кода: MIT license


🟡Страница проекта
🟡Arxiv
🟡Модели на HF
🖥 Github [Stars: 415 | Issues: 36 | Forks: 22]


@ai_machinelearning_big_data

#Text2Image #Diffusers #ControlNet #ML

🌟 Moebius: ультракомпактная модель для инпейнта изображений

Команда из китайского университета HUST и лаборатории VIVO AI Lab опубликовала проект Moebius для восстановления и дорисовки недостающих или удалённых фрагментов изображений.

Модель объёмом 220 млн параметров, по словам авторов, достигает качества, сопоставимого с системами на порядок большего размера, при значительно более высокой скорости работы.

На 6 тестовых наборах Moebius работает на уровне моделей с 10 млрд параметров (FLUX.1-Fill-Dev), а в отдельных случаях (сложные текстуры и правдоподобность лиц) превосходит их.

Скорость инференса составляет около 26 мс на один шаг вычислений, а суммарное ускорение более чем в 15 раз по сравнению с крупными системами.

🟡Под капотом два решения

Первое, блок Local-λ Mix Interaction, который перестраивает механизм внимания, сводя пространственный и смысловой контекст к матрицам фиксированного размера.

Второе - дистилляция знаний от более крупной модели-учителя PixelHacker, выполненная в латентном пространстве.

На Hugging Face технический отчет Moebius занял первое место в ежедневном рейтинге статей, а сам проект подан на конференцию ECCV 2026.

Опубликованы код для дообучения и веса:

🟢Базовый чекпоинт
🟠Дообученная версия на Places2 (общие знания);
🟠Дообученная версия на CelebA-HQ (фото знаменитостей);
🟠Дообученная версия на FFHQ (люди с Flickr).


📌Лицензирование кода : Apache 2.0 License

📌Лицензирование моделей: MIT License


🟡Страница проекта
🟡Arxiv
🟡Веса
🖥GitHub


@ai_machinelearning_big_data

#AI #ML #Diffusers #InPaint #Moebius