SceneMosaic (HKU + UESTC)
Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов
- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных
- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты
Гитхаб
#imageto3d #image2scene #image2layout
Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов
- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных
- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты
Гитхаб
#imageto3d #image2scene #image2layout
🔥8👍5❤2
YuE2-ComfyUI v0.4.0
Адаптация YuE2-3B для ComfyUI от @Aleks_101
Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи
v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается
v0.4.0:
Редактор партитуры
- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)
#yue2 #musicediting #comfyui
Адаптация YuE2-3B для ComfyUI от @Aleks_101
Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи
v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается
v0.4.0:
Редактор партитуры
- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)
#yue2 #musicediting #comfyui
👍10❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Volumetric Motion Rigging (VMR)
Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа
- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)
Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые
#video2animation #motioncontrol #characteranimation
VK | MAX
Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа
- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)
Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые
#video2animation #motioncontrol #characteranimation
VK | MAX
👍6🫡3🤔2
LTX-2.5 22B IC-LoRA Deblur
Недавно Lightricks выложили лору на восстановление резкости для #LTX25
#lora #videorestoration #deblur
VK | MAX
Недавно Lightricks выложили лору на восстановление резкости для #LTX25
#lora #videorestoration #deblur
VK | MAX
👍24
ComfyUI Assistant
Еще один ИИ-ассистент в интерфейсе #ComfyUI.
Лезет в твой граф. Видит ноды, соединения, виджеты. Может объяснить, что делает выбранный участок, выделить нужные ноды на канве, поменять значения, добавить или убрать ноды, пересоединить, поправить промпты, завальдировать после изменений
Поиск по установленным нодам и документации. Установка кастомных репозиториев после подтверждения. Запоминает исправления и предпочтения между диалогами
Веб-поиск (Brave, Tavily, SerpAPI)
Работа с картинками (#vlm)
Поддерживает LM Studio, Ollama, OpenAI-совместимые API и Anthropic
Пока только ручная установка с GitHub
#assistant
VK | MAX
Еще один ИИ-ассистент в интерфейсе #ComfyUI.
Лезет в твой граф. Видит ноды, соединения, виджеты. Может объяснить, что делает выбранный участок, выделить нужные ноды на канве, поменять значения, добавить или убрать ноды, пересоединить, поправить промпты, завальдировать после изменений
Поиск по установленным нодам и документации. Установка кастомных репозиториев после подтверждения. Запоминает исправления и предпочтения между диалогами
Веб-поиск (Brave, Tavily, SerpAPI)
Работа с картинками (#vlm)
Поддерживает LM Studio, Ollama, OpenAI-совместимые API и Anthropic
Пока только ручная установка с GitHub
#assistant
VK | MAX
👍9❤1👀1
#Yue2
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky
#musicediting #music2midi #finetuning
VK | MAX
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky
#musicediting #music2midi #finetuning
VK | MAX
🔥9👍1
Накопилось по #minimaxH3 - часть 23
huggingface.co/Smite79/MiniMax-H3-Longvideos - один промпт → ~2 минуты видео со звуком. Решает проблемы склейки шотов. Без воркфлоу, с инструкцией #longvideo
github.com/tritant/ComfyUI_MiniMax_H3_Extender - чейнинг клипов с motion context, дисковым кешем, динамическими референсами и аудио. Есть #workflow
github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder - построитель промптов по официальному гайду в #ComfyUI: секции, тайминги, ID спикеров, теги референсов. Без LLM
github.com/RmaNMetaverse/ComfyUI-FirstframeLastframeExtractor - автосохранение первого и последнего кадра из VAE-декода для повторной генерации в большем размере
jurn.link/dazposer/index.php/2026/08/15/updated-my-minimax-workflow-for-the-3060-12gb-card/ - воркфлоу #T2V для RTX 3060 12Gb: до 2.0 Мп без падений, Kitchen Attention, автоэкстракт кадров
huggingface.co/CZMartin22/TaoMate-H3-3step-ComfyUI - TaoMate упаковали в 3-шаговую лору
huggingface.co/Robert1212star/TaoMate-H3-3Step-ComfyUI - версия для комфи
huggingface.co/Kijai/MiniMax-H3_comfy/tree/main/loras - версия #LoRA 182Mb от Kijai #optimization
github.com/xm6018924/BSAI-ComfyUI-FaceRefine - еще один фикс мелких и дальних лиц
github.com/GENKAIx/Genkai-ComfyUI-Nodes - PromptSync: видео H3 рядом с таймкодами промпта — проверка, где происходят действия и диалоги
github.com/LoveRain1997/video-to-h3-prompt - видео → готовый H3-промпт: разделение на действие/камеру/эффекты/звук. CLI, нужен ffmpeg #captioning #vieo2prompt
github.com/FranckyB/ComfyUI-H3RefModPicker - форк RefModPicker: лучше UI, добавлен звук #refmods
huggingface.co/siraxe/H3_slider_experiments - #slider Camera Arc, Detail, Speed, Smear. Без триггеров
github.com/NyckM/H3-Relight-Minimax-ComfyUI - #relighting до трeх источников света на виджете → референс и промпт. GUI на португальском
huggingface.co/Smite79/MiniMax-H3-Longvideos - один промпт → ~2 минуты видео со звуком. Решает проблемы склейки шотов. Без воркфлоу, с инструкцией #longvideo
github.com/tritant/ComfyUI_MiniMax_H3_Extender - чейнинг клипов с motion context, дисковым кешем, динамическими референсами и аудио. Есть #workflow
github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder - построитель промптов по официальному гайду в #ComfyUI: секции, тайминги, ID спикеров, теги референсов. Без LLM
github.com/RmaNMetaverse/ComfyUI-FirstframeLastframeExtractor - автосохранение первого и последнего кадра из VAE-декода для повторной генерации в большем размере
jurn.link/dazposer/index.php/2026/08/15/updated-my-minimax-workflow-for-the-3060-12gb-card/ - воркфлоу #T2V для RTX 3060 12Gb: до 2.0 Мп без падений, Kitchen Attention, автоэкстракт кадров
huggingface.co/CZMartin22/TaoMate-H3-3step-ComfyUI - TaoMate упаковали в 3-шаговую лору
huggingface.co/Robert1212star/TaoMate-H3-3Step-ComfyUI - версия для комфи
huggingface.co/Kijai/MiniMax-H3_comfy/tree/main/loras - версия #LoRA 182Mb от Kijai #optimization
github.com/xm6018924/BSAI-ComfyUI-FaceRefine - еще один фикс мелких и дальних лиц
github.com/GENKAIx/Genkai-ComfyUI-Nodes - PromptSync: видео H3 рядом с таймкодами промпта — проверка, где происходят действия и диалоги
github.com/LoveRain1997/video-to-h3-prompt - видео → готовый H3-промпт: разделение на действие/камеру/эффекты/звук. CLI, нужен ffmpeg #captioning #vieo2prompt
github.com/FranckyB/ComfyUI-H3RefModPicker - форк RefModPicker: лучше UI, добавлен звук #refmods
huggingface.co/siraxe/H3_slider_experiments - #slider Camera Arc, Detail, Speed, Smear. Без триггеров
github.com/NyckM/H3-Relight-Minimax-ComfyUI - #relighting до трeх источников света на виджете → референс и промпт. GUI на португальском
👍9🔥5❤2👨💻1
Vidu S2
Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке
S2-Avatar
720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает
S2-Editing
редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки
- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат
API
#realtime #interactive #streaming #videoediting #avatar #vr
VK | MAX
Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке
S2-Avatar
720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает
S2-Editing
редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки
- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат
API
#realtime #interactive #streaming #videoediting #avatar #vr
VK | MAX
👍5❤2⚡2😭2🫡1
ComfyUI-WorldSculpt
Ноды пообъектного реконструктора сцены WorldSculpt
Спасибо @m_franz
#comfyui #imageto3d #image2scene
VK | MAX
Ноды пообъектного реконструктора сцены WorldSculpt
Спасибо @m_franz
#comfyui #imageto3d #image2scene
VK | MAX
👍12