Нет повести печальнее на свете

#humor

Дорогие подписчики❗

Админ отправляется в заслуженный отпуск примерно впервые за наше постапокалиптическое время

В связи с этим посты будут выходить реже. Потому что я сам их пишу примерно на 87.123%, бип-бип

И может измениться качество постов. Потому что писать посты с мобилки - пытка в лучших традициях Торквемады. А я это не люблю

Это продлится всего лишь несколько дней. Во всяком случае неделю-две. И уж точно не более трех-четырех недель.

Не все это время я проведу в вожделенном путешествии, но все - в отрыве от моего уютного компика

Всем чмоки, не теряйтесь

#news

Просили кратко и по делу, так что вот
#оффтоп

Москва преподает урок доминирования

Sana-WM

Генератор управляемых видеомиров от NVIDIA с 2,6 млрд параметров. Генерирует видео в 720p длительностью до минуты на одном GPU по картинке и траектории камеры

github.com/NVlabs/Sana

#world #cameracontrol #image2world

Supertonic

Быстрая локальная мультиязычная говорилка

• синтезирует речь в реальном времени
• поддерживает 31 язык, русский есть
• добавляет нюансы речи через теги (смех, вздох и т. д.) по тегам
• выдаёт аудио 44,1 кГц, 16 бит в формате WAV
• запускается на разных платформах и слабых устройствах (Raspberry Pi, электронные книги)

модель на 99 млн параметров, работает через ONNX Runtime, не требует GPU

Спасибо https://t.me/EvgenyiPerm

#tts #realtime #mobile #russian

OmniNFT

фреймворк для совместной генерации аудио и видео с помощью RL

Улучшает качество генерации аудио и видео, их синхронизацию и согласованность между собой. Построен на базе LTX-2 и использует продвинутые методы RL.

- выравнивает модальность (согласовывает аудио и видео между собой);
- оптимизирует синхронизацию звука и изображения
- работает с учётом особенностей каждой модальности (аудио/видео).

- Modality-wise advantage routing — распределяет вознаграждения по ветвям генерации для аудио и видео отдельно.
- Layer-wise gradient surgery — отделяет градиенты видеоотдела от слоёв аудио, сохраняя взаимодействие между модальностями.
- Region-wise loss reweighting — фокусируется на ключевых зонах для синхронизации аудио и видео.

Сделали лору для #LTX2 а для 2.3 не сделали

https://github.com/zghhui/OmniNFT

https://huggingface.co/zghhui/OmniNFT

#av #t2v #t2av

Qwopus3.5-9B-Coder (Jackrong)

9B моделька для работы с кодом и агентских сценариев в Hermes agent от NousResearch. Работает на недорогом железе.

• вызывает инструменты (tool calling)
• пишет код в агентских workflow
• решает задачи по программированию
• корректно взаимодействует с HermesAgent
• генерирует код с учётом контекста.

• оценка 53,33% в SWE bench (на срезе 200 образцов) — близко к результатам серии Gemma 4 (более крупных моделей)
• результат 85 в HermesAgent-20 benchmark (у базовой модели — 71)
• оптимальная температура работы — около 1 (при проблемах можно снижать)

#coding #agent

LipDub IC‑LoRA

Липсинк-лора от Lightricks для LTX-2.3

• синхронизирует движение губ с новой речью
• поддерживает 5  языков (один говорящий)

https://huggingface.co/RuneXX/LTX-2.3-Workflows/tree/main/Video-2-Video

#workflow #lora #lipsync #dubbing #ltx23

Comfy.org хантит людей в команду - продукт дизайнеров, инженеров, маркетологов

Расчехляйте свои резюме

#vacancy

LongLive 2.0 (NVIDIA Research)

Новая версия генератора длинных видео в реальном времени на NVFP4. Ускоряет обучение и повышает скорость инференса на GPU Blackwell

• генерациявидео до 4 минут
• можно менятьсценарий прямо во время генерации
• распределение нагрузкина несколько GPU
• плавные переходы между промтами (через KV‑recache)

• ускорение обучения в 2,15 раза
• 45,7 FPS на Blackwell с квантизацией W4A4

https://github.com/NVlabs/LongLive

#longvideo #t2v #optimization #realtime

Starchild‑1 (Odyssey)

Мультимодальная модель мира генератор интерактивных сцен в реальном времени. Развитие Odyssey 2

• генерирует видео и звук синхронно
• редактирует и стримит видео в реалтайме
• реагирует на действия пользователя
• принимает голосовые команды
• строит длинные непрерывные сцены

• 20 FPS
• нет публичного демо
• есть техрепорт и видео с пометкой «симуляция в реальном времени»

#text2world #world #av #interactive #realtime

Papers with Code возобновил работу

Hugging Face перезапустил ресурс - теперь с новыми функциями для отслеживания трендов в AI. Акцент на World Models, Agents, Robotics.

Что появилось/вернулось:
• вкладки с бенчмарками
• данные по метрикам
• интеграция статей через Hugging Face Papers

Для чего: следить за прогрессом в ключевых направлениях ИИ, сравнивать модели по метрикам и бенчмаркам.

#news

mm-ctx

Инструмент для работы агентов с мультимодальными данными - изображениями, видео, аудио, PDF

• читает изображения, видео, аудио, PDF - переводит в формат, понятный LLM
• ищет и перечисляет файлы (mm find)
• считает токены для LLM-контекста (mm wc)
• делает запросы к метаданным (mm sql)
• подписывает изображения, находит объекты (mm cat <img>)
• суммирует ключевые кадры видео (mm cat <video>)
• извлекает текст из PDF (mm cat <pdf>)
• транскрибирует аудио (mm cat <audio>)

• ядро на Rust
• оболочка на Python
• индексирует файлы автоматически при первом использовании
• время работы метаданных-команд ~60 мс на 700 файлов

Установка:

pip install mm-ctx
Или через uv:

uv pip install mm-ctx

Можно подключить как навык для других инструментов:

npx skills add vlm-run/skills@mm-cli-skill

Демо

#vlm #skill #agent