Нейронавт | Нейросети в творчестве
13.3K subscribers
7.21K photos
5.68K videos
51 files
7.3K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
SceneMosaic (HKU + UESTC)

Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов

- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных

- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты

Гитхаб

#imageto3d #image2scene #image2layout
🔥8👍5❤2
YuE2-ComfyUI v0.4.0

Адаптация YuE2-3B для ComfyUI от @Aleks_101

Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи

v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается

v0.4.0:
Редактор партитуры

- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)

#yue2 #musicediting #comfyui
👍10❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Volumetric Motion Rigging (VMR)

Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа

- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)

Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые

#video2animation #motioncontrol #characteranimation

VK | MAX
👍6🫡3🤔2
ComfyUI Assistant

Еще один ИИ-ассистент в интерфейсе #ComfyUI.

Лезет в твой граф. Видит ноды, соединения, виджеты. Может объяснить, что делает выбранный участок, выделить нужные ноды на канве, поменять значения, добавить или убрать ноды, пересоединить, поправить промпты, завальдировать после изменений

Поиск по установленным нодам и документации. Установка кастомных репозиториев после подтверждения. Запоминает исправления и предпочтения между диалогами

Веб-поиск (Brave, Tavily, SerpAPI)

Работа с картинками (#vlm)

Поддерживает LM Studio, Ollama, OpenAI-совместимые API и Anthropic

Пока только ручная установка с GitHub

#assistant

VK | MAX
👍9❤1👀1
#Yue2

github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090

github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA

huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent

Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль

huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах

github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky

#musicediting #music2midi #finetuning

VK | MAX
🔥9👍1
Накопилось по #minimaxH3 - часть 23

huggingface.co/Smite79/MiniMax-H3-Longvideos - один промпт → ~2 минуты видео со звуком. Решает проблемы склейки шотов. Без воркфлоу, с инструкцией #longvideo

github.com/tritant/ComfyUI_MiniMax_H3_Extender - чейнинг клипов с motion context, дисковым кешем, динамическими референсами и аудио. Есть #workflow

github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder - построитель промптов по официальному гайду в #ComfyUI: секции, тайминги, ID спикеров, теги референсов. Без LLM

github.com/RmaNMetaverse/ComfyUI-FirstframeLastframeExtractor - автосохранение первого и последнего кадра из VAE-декода для повторной генерации в большем размере

jurn.link/dazposer/index.php/2026/08/15/updated-my-minimax-workflow-for-the-3060-12gb-card/ - воркфлоу #T2V для RTX 3060 12Gb: до 2.0 Мп без падений, Kitchen Attention, автоэкстракт кадров

huggingface.co/CZMartin22/TaoMate-H3-3step-ComfyUI - TaoMate упаковали в 3-шаговую лору

huggingface.co/Robert1212star/TaoMate-H3-3Step-ComfyUI - версия для комфи

huggingface.co/Kijai/MiniMax-H3_comfy/tree/main/loras - версия #LoRA 182Mb от Kijai #optimization

github.com/xm6018924/BSAI-ComfyUI-FaceRefine - еще один фикс мелких и дальних лиц

github.com/GENKAIx/Genkai-ComfyUI-Nodes - PromptSync: видео H3 рядом с таймкодами промпта — проверка, где происходят действия и диалоги

github.com/LoveRain1997/video-to-h3-prompt - видео → готовый H3-промпт: разделение на действие/камеру/эффекты/звук. CLI, нужен ffmpeg #captioning #vieo2prompt

github.com/FranckyB/ComfyUI-H3RefModPicker - форк RefModPicker: лучше UI, добавлен звук #refmods

huggingface.co/siraxe/H3_slider_experiments - #slider Camera Arc, Detail, Speed, Smear. Без триггеров

github.com/NyckM/H3-Relight-Minimax-ComfyUI - #relighting до трeх источников света на виджете → референс и промпт. GUI на португальском
👍9🔥5❤2👨‍💻1
Vidu S2

Рилтайм видео, с которым можно говорить, управлять и редактировать в потоке

S2-Avatar

720p аватар в реальном времени (25-42 FPS). Голосовое управление, диалог с прерываниями, взаимодействие с предметами по референсу. Вход: микрофон + картинка → на выходе живой аватар, который реагирует и отвечает

S2-Editing

редактирование видеопотока в реальном времени — стиль, виртуальная примерка, замена персонажа и фона. Подаёшь видео → меняешь референс по ходу → стрим перерисовывается без остановки

- Синхронная генерация: онлайн-аватары с голосовым взаимодействием
- Асинхронная: картинка + аудио → готовый ролик с липсинком и движением
- Spatial video: превращение и аватаров, и редактированного видео в VR-формат

API

#realtime #interactive #streaming #videoediting #avatar #vr

VK | MAX
👍5❤2⚡2😭2🫡1
ComfyUI-WorldSculpt

Ноды пообъектного реконструктора сцены WorldSculpt

Спасибо @m_franz

#comfyui #imageto3d #image2scene

VK | MAX
👍12