Muse Image и Muse Video

Генераторы изображений и видео "с учетом социального контекста" от Meta (запрещено в РФ)

№2 на Арене по картинкам

Muse Image работает как агент: ищет данные, пишет код, дорабатывает генерации и улучшает результат через вычисления при инференсе. Интегрирован с Muse Spark для совместного планирования.

Возможности:
• Пишет и исполняет код (графики, QR-коды) через RL.
• Использует отрендеренные фигуры для точности.
• Комбинирует код и медиа с Muse Spark для создания GIF, сайтов и игр.

Muse Video на той же базе - высокая визуальная детализация, встроенная аудиодорожка

Muse Image доступен в Meta AI, Instagram Stories, WhatsApp (в отдельных странах). Muse Video - в превью.

Спасибо @BrianMItro @QuantumFast

#t2i #t2v #referencing #i2v #agent #av #t2av

Wan-Streamer v0.2

Повысили разрешение с 192×336 до 640×368, сохранив скороость.

Для этого переработали архитектуру генератора латентных представлений для мульти-GPU

Расширили возможности визуального формата. Теперь работает не только с крупными планами, но и со сценами, где важна общая картина взаимодействия

Кода и весов по прежнему нет

#avatar #intereactive #realtime #streaming #research

AlayaWorld

Видеогенератор интерактивных миров в рилтайме

Акцент на долгосрочную согласованность мира и мгновенную реакцию на действия - внизу сайта есть демка

• 60+ секунд непрерывного видео 720p 24fps
• управление персонажем через WASD
• каст заклинаний как часть геймплея
• смена стиля прямо в генерации
• 15B параметров

Код / веса ждем

#world #text2world #imagw2world #interactive #realtime

GUSH3R: Everyone Everywhere All at Once as Gaussians

Реконструкция движущихся людей вместе со сценой из монокулярного видео. Делает всё за один проход, сразу в гауссианы

Опирается на геометрические и человеческие априоры, SMPL-X для поз

• реконструкция людей и статичной сцены в одном проходе
• стабильная геометрия
• синтез новых ракурсов с фотореализмом
• высокая скорость против оптимизационных методов

Гитхаб
HF

#hmr #video2gaussian #videoto3d #gaussian