PhyMotion

Система вознаграждения для генерации видео с реалистичным человеческим движением - оценивает физику движений в сгенерированных роликах.

• анализирует 3D‑траектории движений (восстанавливает SMPL‑меши из видео)
• проверяет движения в симуляторе MuJoCo
• оценивает кинематическую правдоподобность
• контролирует согласованность контактов и баланса
• проверяет динамическую осуществимость движений

Коррелирует с оценками людей лучше аналогов, даёт +68 Elo при RL‑посттренинге, работает с авторегрессивными и двунаправленными генераторами.

Гитхаб
HF

#optimization #t2v #motioncontrol

Causal Forcing++

Метод генерации видео в реальном времени с низкой задержкой. Основан на авторегрессивной дистилляции диффузионных моделей.

• генерирует видео frame‑wise за 1–2 шага семплирования
• снижает задержку первого кадра
• экономит ресурсы на обучение (Stage 2 — в 4 раза дешевле)
• работает с action‑conditioned world model (в духе Genie3)

Превосходит #SOTA (4‑step Causal Forcing) на +0,1 в VBench Total, +0,3 в VBench Quality, +0,335 в VisionReward.

Гитхаб
HF

#optimization #t2v #realtime

Dramabox (ResembleAI)

Модель для генерации аудио с актёрской игрой — интонациями, эмоциями, драматическими паузами.

• создаёт речь с разными эмоциями
• имитирует актёрскую подачу
• добавляет естественные паузы и акценты

основана на ltx-2 между прочим

huggingface.co/ResembleAI/Dramabox

https://huggingface.co/spaces/ResembleAI/Dramabox

https://github.com/resemble-ai/DramaBox

#tts

Scenema Audio

Еще одна говорилка на ltx2.3 с клонированием и дизайном голоса

Создаёт звуковые эффекты и фоновую атмосферу по описанию.

• генерирует звуковые эффекты по текстовому запросу
• создаёт фоновые аудиодорожки (город, лес, офис и т. д.)
• комбинирует звуки в единую композицию

Говорят, нужно 40ГБ VRAM

https://github.com/ScenemaAI/scenema-audio

https://huggingface.co/ScenemaAI/scenema-audio

https://huggingface.co/spaces/multimodalart/scenema-audio

#TTS #voicecloning #voicedesign

Нет повести печальнее на свете

#humor

Дорогие подписчики❗

Админ отправляется в заслуженный отпуск примерно впервые за наше постапокалиптическое время

В связи с этим посты будут выходить реже. Потому что я сам их пишу примерно на 87.123%, бип-бип

И может измениться качество постов. Потому что писать посты с мобилки - пытка в лучших традициях Торквемады. А я это не люблю

Это продлится всего лишь несколько дней. Во всяком случае неделю-две. И уж точно не более трех-четырех недель.

Не все это время я проведу в вожделенном путешествии, но все - в отрыве от моего уютного компика

Всем чмоки, не теряйтесь

#news

Просили кратко и по делу, так что вот
#оффтоп

Москва преподает урок доминирования

Sana-WM

Генератор управляемых видеомиров от NVIDIA с 2,6 млрд параметров. Генерирует видео в 720p длительностью до минуты на одном GPU по картинке и траектории камеры

github.com/NVlabs/Sana

#world #cameracontrol #image2world

Supertonic

Быстрая локальная мультиязычная говорилка

• синтезирует речь в реальном времени
• поддерживает 31 язык, русский есть
• добавляет нюансы речи через теги (смех, вздох и т. д.) по тегам
• выдаёт аудио 44,1 кГц, 16 бит в формате WAV
• запускается на разных платформах и слабых устройствах (Raspberry Pi, электронные книги)

модель на 99 млн параметров, работает через ONNX Runtime, не требует GPU

Спасибо https://t.me/EvgenyiPerm

#tts #realtime #mobile #russian

OmniNFT

фреймворк для совместной генерации аудио и видео с помощью RL

Улучшает качество генерации аудио и видео, их синхронизацию и согласованность между собой. Построен на базе LTX-2 и использует продвинутые методы RL.

- выравнивает модальность (согласовывает аудио и видео между собой);
- оптимизирует синхронизацию звука и изображения
- работает с учётом особенностей каждой модальности (аудио/видео).

- Modality-wise advantage routing — распределяет вознаграждения по ветвям генерации для аудио и видео отдельно.
- Layer-wise gradient surgery — отделяет градиенты видеоотдела от слоёв аудио, сохраняя взаимодействие между модальностями.
- Region-wise loss reweighting — фокусируется на ключевых зонах для синхронизации аудио и видео.

Сделали лору для #LTX2 а для 2.3 не сделали

https://github.com/zghhui/OmniNFT

https://huggingface.co/zghhui/OmniNFT

#av #t2v #t2av

Qwopus3.5-9B-Coder (Jackrong)

9B моделька для работы с кодом и агентских сценариев в Hermes agent от NousResearch. Работает на недорогом железе.

• вызывает инструменты (tool calling)
• пишет код в агентских workflow
• решает задачи по программированию
• корректно взаимодействует с HermesAgent
• генерирует код с учётом контекста.

• оценка 53,33% в SWE bench (на срезе 200 образцов) — близко к результатам серии Gemma 4 (более крупных моделей)
• результат 85 в HermesAgent-20 benchmark (у базовой модели — 71)
• оптимальная температура работы — около 1 (при проблемах можно снижать)

#coding #agent

LipDub IC‑LoRA

Липсинк-лора от Lightricks для LTX-2.3

• синхронизирует движение губ с новой речью
• поддерживает 5  языков (один говорящий)

https://huggingface.co/RuneXX/LTX-2.3-Workflows/tree/main/Video-2-Video

#workflow #lora #lipsync #dubbing #ltx23

Comfy.org хантит людей в команду - продукт дизайнеров, инженеров, маркетологов

Расчехляйте свои резюме

#vacancy