PixWorld

3D-генерация и реконструкция в пиксельном пространстве. Решает проблему потерь деталей из-за латентных автоэнкодеров, дает четкую геометрию. На выходе RGBD и гауссова сцена

Cоздание и восстановление 3D, без VAE. Высокая скорость за счет архитектуры и стратегии сэмплирования. Судя по последнему пейзажу с горой, генерирует по тексту слабее чем по картинке или набору ракурсов

• работает напрямую с рендеренными изображениями
• генерация сцены за ~0.6 с - до 1000x быстрее аналогов

Гитхаб - ждем код и 4-шаговую дистиллированную модель

#gaussian #image2rgbd #image2scene #scenereconstruction

Muse Image и Muse Video

Генераторы изображений и видео "с учетом социального контекста" от Meta (запрещено в РФ)

№2 на Арене по картинкам

Muse Image работает как агент: ищет данные, пишет код, дорабатывает генерации и улучшает результат через вычисления при инференсе. Интегрирован с Muse Spark для совместного планирования.

Возможности:
• Пишет и исполняет код (графики, QR-коды) через RL.
• Использует отрендеренные фигуры для точности.
• Комбинирует код и медиа с Muse Spark для создания GIF, сайтов и игр.

Muse Video на той же базе - высокая визуальная детализация, встроенная аудиодорожка

Muse Image доступен в Meta AI, Instagram Stories, WhatsApp (в отдельных странах). Muse Video - в превью.

Спасибо @BrianMItro @QuantumFast

#t2i #t2v #referencing #i2v #agent #av #t2av

Wan-Streamer v0.2

Повысили разрешение с 192×336 до 640×368, сохранив скороость.

Для этого переработали архитектуру генератора латентных представлений для мульти-GPU

Расширили возможности визуального формата. Теперь работает не только с крупными планами, но и со сценами, где важна общая картина взаимодействия

Кода и весов по прежнему нет

#avatar #intereactive #realtime #streaming #research

AlayaWorld

Видеогенератор интерактивных миров в рилтайме

Акцент на долгосрочную согласованность мира и мгновенную реакцию на действия - внизу сайта есть демка

• 60+ секунд непрерывного видео 720p 24fps
• управление персонажем через WASD
• каст заклинаний как часть геймплея
• смена стиля прямо в генерации
• 15B параметров

Код / веса ждем

#world #text2world #imagw2world #interactive #realtime