YuE2 на GGUF — влезает в 8-9 ГБ VRAM
audio.cpp реализовал поддержку #YuE2 в #GGUF
Теперь музыкальная модель, для которой раньше нужно было 24 ГБ, помещается в 8-9 ГБ видеопамяти
- DEV-ветка: https://github.com/0xShug0/audio.cpp/tree/dev
- Prebuilt-бинарники в Artifacts на странице релиза
Q4/Q8 GGUF веса
#musicediting
VK | MAX
audio.cpp реализовал поддержку #YuE2 в #GGUF
Теперь музыкальная модель, для которой раньше нужно было 24 ГБ, помещается в 8-9 ГБ видеопамяти
- DEV-ветка: https://github.com/0xShug0/audio.cpp/tree/dev
- Prebuilt-бинарники в Artifacts на странице релиза
Q4/Q8 GGUF веса
#musicediting
VK | MAX
Telegram
Нейронавт | Нейросети в творчестве
audio.cpp
C++ движок для аудиоинференса на ggml. заявлен прирост 1.8–5x по сравнению с Python‑реализациями, плюс есть оптимизация под CUDA.
- синтез речи.
- распознавание речи.
- VAD (Voice Activity Detection) - детекция голосовой активности.
- конвертация…
C++ движок для аудиоинференса на ggml. заявлен прирост 1.8–5x по сравнению с Python‑реализациями, плюс есть оптимизация под CUDA.
- синтез речи.
- распознавание речи.
- VAD (Voice Activity Detection) - детекция голосовой активности.
- конвертация…
🔥13👍4❤1
YuE2-ComfyUI v0.4.0
Адаптация YuE2-3B для ComfyUI от @Aleks_101
Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи
v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается
v0.4.0:
Редактор партитуры
- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)
#yue2 #musicediting #comfyui
Адаптация YuE2-3B для ComfyUI от @Aleks_101
Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи
v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается
v0.4.0:
Редактор партитуры
- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)
#yue2 #musicediting #comfyui
👍10❤4
#Yue2
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky
#musicediting #music2midi #finetuning
VK | MAX
github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090
github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA
huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent
Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль
huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах
github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky
#musicediting #music2midi #finetuning
VK | MAX
🔥9👍1
#yue2
github.com/Comfy-Org/ComfyUI/releases - поддержка YuE2 в новой стабильной версии #ComfyUI
huggingface.co/Mothersuperior/YuE2-instrumental-cot-full-loras - инструментальные #LoRA для YuE2: 2700 треков, 100+ жанров. Три способа промптить секции — от «[instrumental]» до точных таймкодов m:ss
github.com/KytraScript/ComfyUI-FS_Audio_Suite - официальные ноды Humsong: адаптер YuE2 «невнятное мычание→песня». Есть и CLI-скрипты
github.com/jplenio/ComfyUI-MiniMax-Music-Production-Toolkit - в версии 3.0 добавлен YuE2 с каверами. Источник → SheetSage2 → ABC → LLM правит промпт → новый аранжемент. Не клонирует голос певца
github.com/vrgamegirl19/Yue2_Studio - локальная студия: песни, каверы, трейн LoRA (стиль/артист), LLM-райтер, режим Surprise Me. экспериментально #GGUF
github.com/PasiKoodaa/YuE2-Radio - радио: LM Studio генерит тексты, батники разворачивают под Windows
github.com/KadoBOT/ComfyUI-YuE2-Voices - ноды голосов
huggingface.co/monsterovich/yue2-industrial-rock-lora - #LoRA индастриал-рок
github.com/pytraveler/YuE2-ComfyUI/releases/tag/v0.8.0 - обновление от @Aleks_101
github.com/Comfy-Org/ComfyUI/releases - поддержка YuE2 в новой стабильной версии #ComfyUI
huggingface.co/Mothersuperior/YuE2-instrumental-cot-full-loras - инструментальные #LoRA для YuE2: 2700 треков, 100+ жанров. Три способа промптить секции — от «[instrumental]» до точных таймкодов m:ss
github.com/KytraScript/ComfyUI-FS_Audio_Suite - официальные ноды Humsong: адаптер YuE2 «невнятное мычание→песня». Есть и CLI-скрипты
github.com/jplenio/ComfyUI-MiniMax-Music-Production-Toolkit - в версии 3.0 добавлен YuE2 с каверами. Источник → SheetSage2 → ABC → LLM правит промпт → новый аранжемент. Не клонирует голос певца
github.com/vrgamegirl19/Yue2_Studio - локальная студия: песни, каверы, трейн LoRA (стиль/артист), LLM-райтер, режим Surprise Me. экспериментально #GGUF
github.com/PasiKoodaa/YuE2-Radio - радио: LM Studio генерит тексты, батники разворачивают под Windows
github.com/KadoBOT/ComfyUI-YuE2-Voices - ноды голосов
huggingface.co/monsterovich/yue2-industrial-rock-lora - #LoRA индастриал-рок
github.com/pytraveler/YuE2-ComfyUI/releases/tag/v0.8.0 - обновление от @Aleks_101
❤6👍3
#YuE2
github.com/Comfy-Org/ComfyUI/pull/16250 - YuE2 в #ComfyUI v0.36.0: генерация музыки по стилю и тексту. Еще PR/16293: фиксы AMD и больше контролов в generate ABC
huggingface.co/guey-khala-mari/yue2_lora_sandbox/tree/main/samjac - #LoRA голос Сэмюэла Л. Джексона
huggingface.co/monsterovich/yue2-steps-from-hell -2 Steps From Hell #LoRa - эпичная оркестровая трейлер-музыка
civitai.com/models/2950939/yue2-music-and-cover-easy-ui-supernova-workflow - #workflow Supernova с оптимизациями. KSampler ускорен в 16 раз без слышимой разницы. песни и каверы, простой UI
github.com/dynamohum/YuE2gen-studio - YuE2-Studio: веб-обертка над ComfyUI + тренер LoRA #finetuning
github.com/pytraveler/YuE2-ComfyUI - v0.9.0 от @Aleks_101 : нода Edit Track правит кусок готовой песни без перепевки остального. Перепеть такты, вырезать, смена слов, сдвиг секции, инструментальный проигрыш. Пока только свои песни. Окно Saved songs, редактор партитуры
MAX
github.com/Comfy-Org/ComfyUI/pull/16250 - YuE2 в #ComfyUI v0.36.0: генерация музыки по стилю и тексту. Еще PR/16293: фиксы AMD и больше контролов в generate ABC
huggingface.co/guey-khala-mari/yue2_lora_sandbox/tree/main/samjac - #LoRA голос Сэмюэла Л. Джексона
huggingface.co/monsterovich/yue2-steps-from-hell -2 Steps From Hell #LoRa - эпичная оркестровая трейлер-музыка
civitai.com/models/2950939/yue2-music-and-cover-easy-ui-supernova-workflow - #workflow Supernova с оптимизациями. KSampler ускорен в 16 раз без слышимой разницы. песни и каверы, простой UI
github.com/dynamohum/YuE2gen-studio - YuE2-Studio: веб-обертка над ComfyUI + тренер LoRA #finetuning
github.com/pytraveler/YuE2-ComfyUI - v0.9.0 от @Aleks_101 : нода Edit Track правит кусок готовой песни без перепевки остального. Перепеть такты, вырезать, смена слов, сдвиг секции, инструментальный проигрыш. Пока только свои песни. Окно Saved songs, редактор партитуры
MAX
❤8👍2
MERT-v2-FullSong
Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях
• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers
Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков
На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик
#encoder #music
MAX
Музыкальный энкодер на 632M параметров, который понимает целую песню от 30 до 360 секунд. Продолжение MERT-v2-30s, bidirectional, дообучен на полных композициях
• репрезентации на уровне кадров и всей записи
• 24 кГц моно, 1024 измерения, 25 Гц
• жанр, бит, тональность, эмоции, инструменты, аккорды
• интерфейс как у классического MERT - работает через Transformers
Место в экосистеме #YuE2: causal-ветка MERT2 токенизирует аудио для генератора песен, а FullSong закрывает эмбеддинги целых треков
На бенчмарке MARBLE (15 задач понимания музыки) лучше всех байзлайнов в 13 из 15 метрик
#encoder #music
MAX
👍8
#YuE2
Официальные обновки:
Выпустили техрепорт
#skill yue2-music agent skill превращает описание, ABC-ноты или референс в инструментальную музыку. YuE2 пишет партитуру по умолчанию, навык переносит вокальную мелодию в инструментальную партию перед рендером. Рекомендуемый агент — GPT-6 Astra
Сегодня в официальном HF появился новый VAE. Прежний остался под именем m-a-p/YuE2-Vae-legacy
Обновился пак нод YuE2-ComfyUI (v0.10.0), улучшилось распознавание мелодий
Новые проекты вокруг YuE2:
YuE2-Turbo — ускорение инференса и серверный слой для YuE2. Превращает один GPU в продакшен-сервис. Потребление — потребительские карты, ~10 секунд на песню
github.com/himomohi/yue — форк YuE2 с поддержкой всех языков. Полная поддержка мультиязычности поверх той же архитектуры с символическим планированием
#t2m #m2m
MAX
Официальные обновки:
Выпустили техрепорт
#skill yue2-music agent skill превращает описание, ABC-ноты или референс в инструментальную музыку. YuE2 пишет партитуру по умолчанию, навык переносит вокальную мелодию в инструментальную партию перед рендером. Рекомендуемый агент — GPT-6 Astra
Сегодня в официальном HF появился новый VAE. Прежний остался под именем m-a-p/YuE2-Vae-legacy
Обновился пак нод YuE2-ComfyUI (v0.10.0), улучшилось распознавание мелодий
Новые проекты вокруг YuE2:
YuE2-Turbo — ускорение инференса и серверный слой для YuE2. Превращает один GPU в продакшен-сервис. Потребление — потребительские карты, ~10 секунд на песню
github.com/himomohi/yue — форк YuE2 с поддержкой всех языков. Полная поддержка мультиязычности поверх той же архитектуры с символическим планированием
#t2m #m2m
MAX
arXiv.org
YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
Symbolic models make melody, harmony, rhythm, and form explicit but typically stop before a finished recording; audio models produce complete songs while leaving composition implicit. We introduce...
👍11
#Yue2 / #minimaxMusic / #acestep15
github.com/jplenio/Plenio-Music-Production-System - Plenio 0.3: описание песни → локальная LLM пишет, YuE2/Minimax Music 3 исполняет, Plenio сводит/мастерит. Все в #ComfyUI, без облака. Редактор партитуры (пианолла, нотация, ABC), стемы с фейдерами и эффектами, графический EQ с матчингом референса, мастеринг до −14 LUFS. Шесть шаблонов, режим ревью. Refine и Stems пока экспериментальные
github.com/Garionhk/GoKuk - Gokuk: портативное Windows-приложение для полных песен на YuE2 без ComfyUI. Чипы стиля, кавер с SheetSage2, редактор партитуры до генерации, библиотека. Windows 10/11, NVIDIA 12GB+, ~25GB диска. Лицензии CC BY-NC — только некоммерческое
github.com/yeufonic/yeufonic - Yeufonic: веб-приложение вокруг ComfyUI/YuE2 без проводов, Docker или Windows-инсталлятор, локальный трейн LoRA
github.com/HerkulesTerminator/comfyui-music-generator/tree/main - ACE-Step 1.0 + YuE2 - эйсстеп хорош креативно, прогоняем его ноты через YuE2 = хороший звук #workflow
#LoRA
huggingface.co/pduncan/YuE2_Deathmetalv1_lora -дэт-металл
Обновления
github.com/pytraveler/YuE2-ComfyUI/releases/tag/v0.12.0 - YuE2-ComfyUI 0.12.0: точнее распознавание слов (поле language — русский больше не переводится на английский; second_hearing: Whisper слушает второй раз, ошибки 9% вместо 15%). RTX 20xx/GTX 16: последняя стадия в FP16 — длинные песни доходят до конца. Фикс падения при отмене в первую секунду
huggingface.co/deAPI-ai/minimax-music3-11b-int8 - MiniMax Music 3 ужат до ~12Gb (int8)
#musicediting
github.com/jplenio/Plenio-Music-Production-System - Plenio 0.3: описание песни → локальная LLM пишет, YuE2/Minimax Music 3 исполняет, Plenio сводит/мастерит. Все в #ComfyUI, без облака. Редактор партитуры (пианолла, нотация, ABC), стемы с фейдерами и эффектами, графический EQ с матчингом референса, мастеринг до −14 LUFS. Шесть шаблонов, режим ревью. Refine и Stems пока экспериментальные
github.com/Garionhk/GoKuk - Gokuk: портативное Windows-приложение для полных песен на YuE2 без ComfyUI. Чипы стиля, кавер с SheetSage2, редактор партитуры до генерации, библиотека. Windows 10/11, NVIDIA 12GB+, ~25GB диска. Лицензии CC BY-NC — только некоммерческое
github.com/yeufonic/yeufonic - Yeufonic: веб-приложение вокруг ComfyUI/YuE2 без проводов, Docker или Windows-инсталлятор, локальный трейн LoRA
github.com/HerkulesTerminator/comfyui-music-generator/tree/main - ACE-Step 1.0 + YuE2 - эйсстеп хорош креативно, прогоняем его ноты через YuE2 = хороший звук #workflow
#LoRA
huggingface.co/pduncan/YuE2_Deathmetalv1_lora -дэт-металл
Обновления
github.com/pytraveler/YuE2-ComfyUI/releases/tag/v0.12.0 - YuE2-ComfyUI 0.12.0: точнее распознавание слов (поле language — русский больше не переводится на английский; second_hearing: Whisper слушает второй раз, ошибки 9% вместо 15%). RTX 20xx/GTX 16: последняя стадия в FP16 — длинные песни доходят до конца. Фикс падения при отмене в первую секунду
huggingface.co/deAPI-ai/minimax-music3-11b-int8 - MiniMax Music 3 ужат до ~12Gb (int8)
#musicediting
🔥13