🍏 Apple представила Normalizing Trajectory Models: генерация за 4 шага с точным правдоподобием

Исследователи Apple (совместно с UPenn и UIUC) опубликовали работу о Normalizing Trajectory Models (NTM) - новом классе генеративных моделей, которые устраняют ключевое ограничение диффузии. Диффузионные модели разбивают сэмплирование на множество мелких гауссовых шагов, и это допущение ломается, когда генерацию сжимают до нескольких грубых переходов.

Существующие few-step методы (дистилляция, consistency training, adversarial-цели) решают проблему, но теряют рамку правдоподобия. В NTM каждый обратный шаг моделируется как выразительный условный normalizing flow с обучением по точному правдоподобию. Архитектурно метод сочетает неглубокие обратимые блоки внутри шага с глубоким параллельным предиктором вдоль всей траектории - сеть обучается с нуля или инициализируется из предобученных flow-matching моделей.

Точное правдоподобие траектории открывает self-distillation: лёгкий денойзер, обученный на score-функции самой модели, выдаёт качественные сэмплы всего за четыре шага. На text-to-image бенчмарках NTM догоняет или превосходит сильные базлайны генерации изображений, сохраняя точное правдоподобие по всей генеративной траектории.

🎨 qvabo.studio/tg · картинки и видео

#AI #ML #Apple #DiffusionModels #ImageGen