Нейронавт | Нейросети в творчестве
13.3K subscribers
7.2K photos
5.68K videos
51 files
7.29K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
X-AuT

Метод сжатия аудио-энкодера для речевых LLM на примере Qwen3-ASR-0.6B. Убирает 4 из 18 слоtв энкодера, восстанавливает качество через дистилляцию от большой модели (1.7B) — в итоге —21% параметров, —21% латентности на автомобильном PPU, ошибка почти не растёт (+2.5%). С автомобильной спецификой.

Гитхаб
HF

#encoder #optimization #asr

VK | MAX
👍8❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Mask Forcing (HKUST / LIGHTSPEED / UCLA)

Прием для дистилляции авторегрессивных видеогенераторов. Проблема: при дистилляции из двунаправленной модели в каузальную, видео часто получаются перенасыщенными и сглаженными. Mask Forcing это лечит, ничего не меняя в архитектуре.

Эффекты:
- Быстрее сходится и выше качество
- Больше динамики в движении, лучше следование инструкциям
- Чинится перенасыщение и сглаживание
- Работает и для длинных видео (30 сек в тесте с LongLive)

- Монтируется в любые существующие пайплайны AR дистилляции, chunk-wise и frame-wise
- Не требует реального видео, дополнительных стадий пост-трейна, изменений архитектуры или инференса

На видео слева Self-forcing, справа Mask forcing

Гитхаб

#optimization

VK | MAX
🔥7👍3
DeepSeek-V4-Pro-0813-nvfp4-DSpark

NVIDIA выпустила NVFP4-квант DeepSeek-V4-Pro со спекулятивным декодингом DSpark

Сжали DeepSeek-V4-Pro-0813 (1.65T MoE, 49B активных) в NVFP4 и добавили DSpark. Разница с предыдущим NVFP4-релизом: теперь и draft-голова DeepSeek тоже переведена в NVFP4 (была MXFP4), так что один файл работает и как таргет, и как черновик

#dspark #nvfp4

VK | MAX
👍4😈2
This media is not supported in your browser
VIEW IN TELEGRAM
FastFlowLM (AMD)

Движок для запуска ИИ на ноутбуках с Ryzen AI. Быстро, энергоэффективно, локально.

Гитхаб

Спасибо @krnk_music

#amd #tools

VK | MAX
👍12
CVRR (DMIS-Lab — KAIST)

Принудительное визуальное мышление: модель не может ответить на вопрос по картинке, не подумав скрытым состоянием, отделенным от прямого доступа к визуальным данным

Обычная #VLM может жульничать — ответ приходит прямым путем из визуальных токенов. CVRR перекрывает этот обход: ответный декодер видит только рекуррентное скрытое состояние, а не оригинальные визуальные ряды. Если модель ответила — значит она действительно рассуждала через латент.

- Доступны чекпоинты на Qwen2.5-VL-7B, Qwen3-VL-8B, Gemma3-4B/12B, Gemma4-12B, InternVL3-9B
- Apache 2.0

Гитхаб
HF

VK | MAX
👍8🔥3
SceneMosaic (HKU + UESTC)

Из одной фотки — серия готовых к симуляции 3D-сцен с разными вариантами расстановки. Вместо долгого агентного text-to-3D (часы) или быстрого, но кривого image-to-3D с летающими объектами, SceneMosaic берет скорость от картинок, а физику от агентов

- Из одного референса: реконструкция объектов, физическая стабилизация, агентная эволюция расстановки
- Разнообразие: сцена раскладывается на локальные единицы, каждый вариант меняется независимо, потом комбинируются — десятки валидных планировок
- VLM-агенты (Critic-Actor) смотрят на ортографические виды, чинят семантические и физические ошибки, параллельно предлагают варианты
- Отбор по новизне: из всех комбинаций остаётся компактный набор самых разных, но валидных

- Базовая сцена: ~8 минут
- Каждый дополнительный вариант: ~2 минуты

Гитхаб

#imageto3d #image2scene #image2layout
🔥8👍5❤2
YuE2-ComfyUI v0.4.0

Адаптация YuE2-3B для ComfyUI от @Aleks_101

Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи

v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается

v0.4.0:
Редактор партитуры

- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)

#yue2 #musicediting #comfyui
👍10❤4
This media is not supported in your browser
VIEW IN TELEGRAM
Volumetric Motion Rigging (VMR)

Перенос движения из видео на 3D-персонажа. Видео → реконструированные меши по кадрам → анимация на консистентном персонаже. Без скелета, без маркеров, без дорогого моушен-капа

- Сохраняет форму и детали (лица, одежда) по всей анимации
- Работает со сложными зонами: кисти, запястья, контакт с объектами
- Прямой экспорт в Blender и FBX (проверено в Unity)
- Анимация как запечtнные меш-позы (не скелетный риг)

Полным пайплайном не поделились, хотя пишут что в базе TRELLIS.2, и все используемые инструменты открытые

#video2animation #motioncontrol #characteranimation

VK | MAX
👍6🫡3🤔2
ComfyUI Assistant

Еще один ИИ-ассистент в интерфейсе #ComfyUI.

Лезет в твой граф. Видит ноды, соединения, виджеты. Может объяснить, что делает выбранный участок, выделить нужные ноды на канве, поменять значения, добавить или убрать ноды, пересоединить, поправить промпты, завальдировать после изменений

Поиск по установленным нодам и документации. Установка кастомных репозиториев после подтверждения. Запоминает исправления и предпочтения между диалогами

Веб-поиск (Brave, Tavily, SerpAPI)

Работа с картинками (#vlm)

Поддерживает LM Studio, Ollama, OpenAI-совместимые API и Anthropic

Пока только ручная установка с GitHub

#assistant

VK | MAX
👍9❤1👀1
#Yue2

github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090

github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA

huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent

Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль

huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах

github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky

#musicediting #music2midi #finetuning

VK | MAX
🔥9👍1
Накопилось по #minimaxH3 - часть 23

huggingface.co/Smite79/MiniMax-H3-Longvideos - один промпт → ~2 минуты видео со звуком. Решает проблемы склейки шотов. Без воркфлоу, с инструкцией #longvideo

github.com/tritant/ComfyUI_MiniMax_H3_Extender - чейнинг клипов с motion context, дисковым кешем, динамическими референсами и аудио. Есть #workflow

github.com/Adudeguyman/ComfyUI-Fantastic-MiniMaxH3-PromptBuilder - построитель промптов по официальному гайду в #ComfyUI: секции, тайминги, ID спикеров, теги референсов. Без LLM

github.com/RmaNMetaverse/ComfyUI-FirstframeLastframeExtractor - автосохранение первого и последнего кадра из VAE-декода для повторной генерации в большем размере

jurn.link/dazposer/index.php/2026/08/15/updated-my-minimax-workflow-for-the-3060-12gb-card/ - воркфлоу #T2V для RTX 3060 12Gb: до 2.0 Мп без падений, Kitchen Attention, автоэкстракт кадров

huggingface.co/CZMartin22/TaoMate-H3-3step-ComfyUI - TaoMate упаковали в 3-шаговую лору

huggingface.co/Robert1212star/TaoMate-H3-3Step-ComfyUI - версия для комфи

huggingface.co/Kijai/MiniMax-H3_comfy/tree/main/loras - версия #LoRA 182Mb от Kijai #optimization

github.com/xm6018924/BSAI-ComfyUI-FaceRefine - еще один фикс мелких и дальних лиц

github.com/GENKAIx/Genkai-ComfyUI-Nodes - PromptSync: видео H3 рядом с таймкодами промпта — проверка, где происходят действия и диалоги

github.com/LoveRain1997/video-to-h3-prompt - видео → готовый H3-промпт: разделение на действие/камеру/эффекты/звук. CLI, нужен ffmpeg #captioning #vieo2prompt

github.com/FranckyB/ComfyUI-H3RefModPicker - форк RefModPicker: лучше UI, добавлен звук #refmods

huggingface.co/siraxe/H3_slider_experiments - #slider Camera Arc, Detail, Speed, Smear. Без триггеров

github.com/NyckM/H3-Relight-Minimax-ComfyUI - #relighting до трeх источников света на виджете → референс и промпт. GUI на португальском
👍9🔥5❤2👨‍💻1