SwanSphere

Потоковая система от Bytedance для генерации пространственного аудио в высоком качестве по панорамным видео или текстовым подсказкам.

Кода пока нет

#text2audio #video2audio #foley

LoomVideo

Мультимодальная модель от Alibaba (5B параметров) для генерации и редактирования видео на Wan 2.2+Qwen3-VL

• генерирует видео из текста
• редактирует видео по текстовым инструкциям
• редактирует видео с эталонным изображением
• создаёт видео из нескольких изображений + текст

github.com/MSALab-PKU/LoomVideo
huggingface.co/MSALab/LoomVideo

Спасибо @m_franz

#wan22 #videoediting #multimodal

Higgs Audio v3 TTS

Диалоговая говорилка на 4 млрд параметров для общения в реальном времени.

• реагирует и держит диалог в риалтайме
• делает паузы, расставляет акценты
• меняет стиль, эмоции и скорость через inline‑теги без выхода из риалтайма
• поддерживает русский язык
• отлично передаёт паралингвистические сигналы: вздохи, смешки, интонации, интонирование вопросов
• работает на 100+ языках (WER/CER)
• показывает лучший результат по WER среди открытых и коммерческих систем

HF
Демо
Плейграунд
API
ComfyUI

#tts #dialog #russian #realtime

ComfyUI‑PixelDriftFix

Кастом пак для устранения pixel drift (смещения и небольшого кропа отредактированной после img2img картинки). Работает с любыми AI‑моделями редактирования: klein, Qwen‑Edit, Flux2‑Dev и другими.

• выравнивает финальное изображение по оригиналу — возвращает идеальную геометрию
• автоматически подгоняет выходной размер под оригинал

Режимы:
• flat_4_points — базовый, быстрый (около 4 секунд на обработку), работает по 4 точкам
• mesh — экспериментальный, на основе сеток и тысяч точек (медленный и пока неточный, не рекомендуется)

Нюансы:
• нужно минимум 10 общих точек между исходным и изменённым изображением
• по краям может появиться полоса дублированных пикселей (если их не было в отредактированной картинке)

В папке workflows готовый воркфлоу: klein‑9b + pixel_drift_fix + blend_with_original для реставрации фото.

#i2i #comfyui #workflow #tools

Best 19 Ltx 2.3 LoRA Models for Optimized Video Generation

Список из 19 лор #LTX23

Улучшение качества и детализации, изменение стиля, художественные эффекты

#lora

точно-точно, в Матрице код был на иероглифах

#humor #robot

Houdini 22 Sneak Peek

Обновки работы с гауссианами в Houdini 22

Улучшенные инструменты создания Gaussian Splats. В Houdini 22 добавлены новые ноды и рабочие процессы для более эффективного создания Gaussian Splats, что упрощает генерацию и манипулирование этими объектами. 

Расширенные возможности освещения. Появились новые функции для настройки освещения Gaussian Splats, включая поддержку современных техник, таких как image-based lighting (IBL). Это позволяет добиться более реалистичного и гибкого освещения моделей. 

Инструменты риггинга. В версии 22 реализованы новые методы для анимации и управления Gaussian Splats, что открывает возможности для их использования в динамических сценах и сложных проектах. 

Интеграция с другими рабочими процессами. Новые инструменты для работы с Gaussian Splats лучше интегрированы с другими функциями Houdini, например, с фреймворком Copernicus и поддержкой USD (Universal Scene Description). Это упрощает использование Gaussian Splats в комплексных пайплайнах

#gaussian #houdini

comfyui-lrw-nodes

При использовании WAN2.2 First‑Last Frame (FLF) модель чётко попадает в целевой последний кадр, но промежуточные кадры получаются кривыми если между первым и последним кадром сильно меняется поза или ракурс

Движение между кадрами рывками, появляются артефакты, искажения формы/пропорций, итоговая анимация теряет связность: начало и конец есть, а середина «ломается»

Кастом пак добавляет риманову геодезическую направляющую для WAN2.2 FLF

• исправляет нестабильное движение между кадрами при сильных изменениях позы/ракурса
• вычисляет геодезический путь в латентном пространстве
• мягко подмешивает путь перед KSampler — даёт модели плавный «подсказ» для средних кадров

Workflow

#flf #comfyui #wan22 #workflow

Comfy Desktop: новое десктоп‑приложение для ComfyUI

Перестроили десктопный интерфейс с нуля но всё привычное сохранилось: рабочие процессы, кастом ноды, модели и настройки переносятся без изменений

Что нового:

• Запуск нескольких экземпляров ComfyUI в одном месте. Можно работать с разными версиями и наборами нод одновременно.
• Автоматические снапшоты перед каждым обновлением и изменением кастомных нод. Если что‑то сломалось, откатываешься одним кликом.
• Мгновенные обновления: доступ к свежим версиям и ночным сборкам (nightly) сразу после релиза.

У юзеров прежней версии появится уведомление с предложением обновиться.

#comfyui

DIRECT (Direct 3D‑Aware Object Insertion via Decomposed Visual Proxies)

Модель для вставки объектов в изображение с учётом 3D‑геометрии и позы.

• использует три типа визуальных прокси для условия вставки:
- изображение эталонного объекта
- геометрический прокси (рендер 3D‑модели объекта);
- изображение контекста сцены
• учитывает 3D‑характеристики сцены — вставка выглядит естественнее

На базе FLUX.1‑Fill‑dev + siglip2 + TRELLIS

Гитхаб
HF

#imageediting #inpainting #objectinsertion #referencing #posecontrol

Когда стоимость взлетела до небес и приходится выслеживать роботов в диких условиях, чтобы заполучить оперативу для апгрейда

я таки решил потратиться на SSD и оперативу ибо к концу года оно подорожает еще сильнее

#humor