OminiControl Training

Опубликован код обучения универсального управляемого генератора изображений OminiControl

Можете обучить свой собственный OminiControl на базе #flux с любым управлением - примерка, 3D, поза или что-либо еще что придумаете.

Только запаситесь двумя NVIDIA H100, 80GB VRAM. Непонятно почему двумя, ведь столько памяти у одной H100, но по ссылке написано именно так

#finetuning #training #conditioning #text2image

EditAR: Unified Conditional Generation with Autoregressive Models

Авторегрессионная модель для различных задач управляемой генерации картинок от NVIDIA

- редактирование изображений
- генерация картинки по карте глубины
- генерация по карте краев (canny/edges)
- генерация по сегментной маске

Код ждем

#imageediting #conditioning #controlnet

JASCO: Joint Audio And Symbolic Conditioning for Temporally Controlled Text-To-Music Generation

Генератор музыки от запрещенной Meta AI на базе audiocraft - опубликован код и веса

На вход принимает текст / аккорды / мелодию / ноты / отдельные партии, например ударные

Есть API, генерирует 10-секундные куски

Обучен на 16000 часов лицензионной музыки

Код
Модель
Jupiter notebook

#music #text2music #conditioning #music2music

DiffSplat: Repurposing Image Diffusion Models for Scalable 3D Gaussian Splat Generation

Генератор 3D объектов на гауссианах по картинке, по тексту. Поддерживает контроль генерации контролнетом - в примерах есть canny, depth, normals

Модель представляет собой файнтюн PixArt-Sigma-XL-2-512-MS

Код
Веса
Демо ждем

#textto3d #imageto3d #gaussian #conditioning #text2gaussian #image2gaussian

Any2Caption: Interpreting Any Condition to Caption for Controllable Video Generation

Контроль генерации видео на основе любой входной информации (текст, нормали, глубина, эскиз, сегментация, ракурс и т д) за счет использования мультимодальных языковых моделей

Эпоха зоопарка контролнетов уходит?

В работе явно указан Hunyuan, наверняка, может работать и с другими генераторами

Код ждем

#text2video #conditioning #controlnet

FLUX.1-dev-ControlNet-Union-Pro-2.0-fp8

Квантизованная версия универсального контролнета для #flux

civitai/workflow

#controlnet #conditioning @text2image #image2image #workflow

VisualCloze: A Universal Image Generation Framework via Visual In-Context Learning

Это Flux Fill обученный на матрицах входных изображений.

Получает на вход матрицу картинок, например 2 ряда, 2 столбца и понимает какую задачу надо выполнить. Задач можно придумать много от переноса стиля до смены времени года и генерации технических карт.

Разрешение входных изображений в матрицах при обучении 384x384 пикселя

Много примеров на гитхабе и в демоспейсе

Очень интересно какое применение вы ему найдете?

Поломал голову пока понял что он делает и как это описать. Теперь не знаю какие теги придумать.
В коментах подсказывают что это близнец In-Context-LoRA

Код
Демо
HF

#referencing #image2image #conditioning #text2image

Опубликован код инструмента для работы с изображениями ZenCtrl

Разрешение до 1024×1024, уже работают над 1500х1500 и больше, работают над агентским и видеопайплайном

Лучше всего работает с объектами. С людьми - ограниченно. Плохо умеет в иллюстации. Ибо обучен на бедном датасете. В будущем улучшат.

Код

#conditioning #deblur #image2image #personalization #multiview #novelview #referencing

Опубликован код и веса генератора технических карт (пассов) DICEPTION

Под капотом #SD3 и своя модель на 4 ГБ

Код
Веса

Спасибо @Dmitriy_Ru6ts0v

#conditioning #image2mask #image2normal #image2depth #image2pose #segmentation

ControlHair: Physically-based Video Diffusion for Controllable Dynamic Hair Rendering

Управляемый рендер динамических волос с использованием физически обоснованной видеодиффузии. Модель позволяет контролировать движение волос с помощью сигналов, генерируемых физическим симулятором

Сначала создает покадровую симуляцию с заданными исходными (направление ветра, жесткость волос, движение человека и т п), потом заворачивает ее с заданным ракурсом камеры в управляющий контролнет, а контролнет отдает видеогенератору.

Прикручено к модифицированному Wan 2.1

Код ждем

#simulation #controlnet #conditioning #image2video

PhysMaster: Mastering Physical Representation for Video Generation via Reinforcement Learning

Улучшайзер физики для видеогенераторов. Направляет видеогенератор учитывать физические законы при генерации.

Код ждем

#simulation #physics #text2video #conditioning

Time-to-Move: Training-Free Motion Controlled Video Generation via Dual-Clock Denoising

Контроль движения при генерации видео, в том числе контроль камеры

Прикручено к WAN 2.2, SVD, CogVideoX

Код

#wan22 #motioncontrol #conditioning

Z-Image-Turbo-Fun-Controlnet-Union-2.0

Обновился Контролнет 5-в-1 под #Zimage от alibaba-pai

Умеет делать инпейнтнг, аутпейнтинг

Рулька силы и количество шагов влияет на реалистичность и чёткость результатов

Спасибо @m_franz

#controlnet #conditioning #inpainting #outpainting