Два подхода к генерации картинок диффузными моделями

Латентный (обычный): картинку сжимают в маленькое скрытое представление через VAE-кодировщик, потом модель шумит и денойзит уже это сжатое представление а в конце VAE возвращает пиксели. Быстро и стабильно но теряет мелкие детали

Пиксельный (напрямую): работает сразу с пикселями без VAE. Качество деталей выше, но напрямую с нуля такую модель обучать очень медленно, сходится сильно хуже латентной

Alibaba нашли компромисс - латентно-пиксельный переход (latent-to-pixel strategy):

1. Претрейн в латентном пространстве - быстро получают хорошие генеративные знания
2. Потом переключаются в пиксельное пространство и дообучают там

Качество на уровне латентных но в 3–5 раз быстрее - не тратится время на VAE-декодирование и нет потери деталей

Не приходится выбирать между скоростью и качеством

Это рисерч, ждем новых моделей от Алибаба

#research #pixelduffusion

VK | MAX