ViewDiff: 3D-Consistent Image Generation with Text-to-Image Models

Консистентная генерация изображения с разных ракурсов

Код

#text2image #consistency #multiview

ATAS (Any Time, Any Space)

Просто атас фреймворк от ziplab для генерации видео по сценарию (шутки за 200). Держит общее состояние мира, чтобы сцены и события оставались согласованными даже в несоседних кадрах.

• Скрипт компилируется в запросы на кадры с явными локацией, камерой и временем события
• Две памяти: сцена со статической геометрией и события с динамикой по сцене, событию и времени
• Перед генерацией достаёт доказательства из памяти, после — реконструирует клип и регистрирует его
• Память обновляется только если отзыв и проверка состояния приняли наблюдение
• Кадр остается в фильме независимо от того, попал ли он в постоянное состояние

Разделение статической геометрии и динамики — ключевое: похожий кадр не подтянется, если он из другого события. Остается сложным точное воспроизведение «действие + состояние»

Гитхаб
Демо

#consistency