Wave Forcing

Стриминговая генерация видео от SJTU DENG Lab

Выдает по одному чанку за параллельный forward-раунд. Совместный дизайн генерации, обучения и рантайма. База Wan2.1-T2V-1.3B

- causal wavefront: новые шумные чанки читают раньше чистые, стадии денойзинга идут параллельно на отдельных репликах модели
- каждая каждая реплика ведёт свою стадию, store-проход тоже, отсюда 1F1C после заполнения конвейера
- WaveRT прячет доставку K/V за вычислением и конвейеризует VAE-декодинг
- трёхстадийное обучение: mixed-noise денойзинг, motion-супервизия, causal-адаптация на собственноручно сгенерированной истории

huggingface.co/SJTU-DENG-Lab/WaveForcing-1.3B
github.com/SJTU-DENG-Lab/WaveForcing

#optimization #streaming #wan21

MAX

PhysAg3D

Одно фото -> интерактивный 3D-ассет с рабочими механизмами.

VLM-агент и 3D-генератор работают в паре, без совместного обучения

- агент выводит из картинки семантические части, варианты взаимодействий и физические априоры, TRELLIS.2 параллельно даёт текстурированный меш
- иерархическое interaction representation связывает намерение, механизм и поверхность
- агент сам собирает parts, joints и деформируемые зоны инструментами геометрии и симуляции, сохраняя готовые грани
- рендер и замеры показывают провал, дальше точечные правки в пределах бюджета

На выходе GLB, Blender-файл, MuJoCo-сцена

Нужны Blender, Codex CLI и Linux-хост с TRELLIS.2: от 28 GB VRAM
github.com/Supra-3D/PhysAg3D

#imageto3d #agent

MAX

Mago Studio опубликовали код, как и обещали

В отличие от НЕКОТОРЫХ

github.com/MagoStudio/MagoStudio

#desktop #directing

MAX

#Yue2

#ComfyUI

github.com/jeankassio/ComfyUI_YuE2 - переносит официальный YuE2 пайплайн в ComfyUI: стили, текст песни, генерация, ABC-планирование, семантические токены, синтез, декодинг; либо все одной нодой, либо отдельными этапами. Заявлено сильное превосходство над официальными моделями/нодами

github.com/whitedragon0000/ComfyUI-YuE2-Auto-Vocal-PRO-v2 - озвучивает инструментал: переносит мелодию из ABC-партитуры в вокальную дорожку, на твои слова; различает куплет/припев/соло и не поет на инструментальных проигрышах

github.com/pytraveler/YuE2-ComfyUI/releases/tag/v0.15.0 - обновление нод от @Aleks_101 : выбор чекпойнта в Options под файнтюны включая RS-FW, нода Generation Info отдает текст, seed, стиль и шаги отдельными выходами, метроном в редакторе партитуры

#LoRA

huggingface.co/jamespetts/yue2-1980s-eurodisco-lora - NAR LoRA, евро-диско 80-х

huggingface.co/jamespetts/yue2-1980s-italo-disco-lora - NAR LoRA, итало-диско 80-х

huggingface.co/monsterovich/yue2-keygen-music-lora - пара адаптеров под demoscene-чиптюн: 8- и 16-бит, трекерные square/pulse/triangle, FM и wavetable арпеджио, чип-барабаны

MAX

Apriel Voice 27B Preview

Голосовая модель от ServiceNow для ИИ-ассистентов: понимает речь на входе, рассуждает, отвечает текстом и генерит tool calls. Ротация Gemma 4 26B-A4B + Whisper large-v3-turbo, двухэтапное обучение

- транскрибация, перевод, ответы на вопросы голосом
- инструкция, многошаговые задачи, function calling прямо из аудио
- один контекст для звука, текста, картинок и результатов инструментов
- принимает запись до ~30 минут
- синтез речи и очередь реплик — на стороне приложения, сама модель отдаёт текст и вызовы

Лучшая среди открытых двух- и трехэтапных систем на EVA-A, EVA-X и τ-Voice, обходит Parakeet+Gemma и связки на Flux. Закрытые GPT Realtime 2.1 и Gemini 3 Live все еще впереди.

huggingface.co/ServiceNow-AI/Apriel-Voice-27B-preview
servicenow-ai-apriel.hf.space/home

#dialog #tts #agent

MAX

MOSS-Live

Голосовая система реального времени от MOSI Intelligence, полная дуплексность: слушает и говорит одновременно, а не по очереди как рация. Та же ниша, что у Gemini Live и GPT Realtime

- отличает «угу» от настоящего перебивания, ждет пока подбираешь слово, игнорирует чужие разговоры
- после перебивания продолжает с того же места, не с начала
- видеозвонок, показ экрана, звуки вокруг, синхронный перевод на лету
- задача уходит в бэкграунд, разговор идёт, результат прилетает в подходящий момент

Две модели: фронт слушает, смотрит и говорит, бэк думает и дёргает инструменты, память общая. Первая по шести full-duplex метрикам

Весов нет, только API по WebSocket. Бета бесплатна, дальше тариф по времени соединения

в демках англ и китайский

platform.mosi.cn/docs/reference/moss-live

#dialog #duplex #voicemode #realtime

MAX

Опубликован код генератора 3D-звука по тексту AMBIT

github.com/WJM-George/AMBIT

#text2audio

MAX

P-H3-Image

Генератор картинок от Pruna AI, собранный из #MiniMaxH3

H3 перебрали по частям, от энкодера и расписания до декодера, и оставили качество при меньшем весе

• Правка с одним входным изображением или сразу с восемью: остальные идут референсами
• В комплекте усиление промпта, одна строка разворачивается в подробный запрос
• Сильна в фотореализме, редакционной и документальной съемке, кадрах из фильма, графике с коротким текстом

• 8 шагов, негативный промпт не нужен
• До 8 MP для генерации, 4 или 8 для правок
• В bf16 около 100 ГБ, считается на H200 или B200
• В #ComfyUI есть int8 и 4-битные файлы, влезают в 21 ГБ

hf.co/PrunaAI/P-H3-Image
hf.co/PrunaAI/P-H3-Image-Comfy

P-H3-Image: Image Edit
P-H3-Image: Text to Image

#t2i #imageediting #workflow