audio.cpp
C++ движок для аудиоинференса на ggml. заявлен прирост 1.8–5x по сравнению с Python‑реализациями, плюс есть оптимизация под CUDA.
- синтез речи.
- распознавание речи.
- VAD (Voice Activity Detection) - детекция голосовой активности.
- конвертация голоса (изменение тембра, пола и т. д.).
- генерация музыки/аудиофрагментов
Windows / Linux / macOS
#tts #stt #vad #t2m #text2music #voice2voice
C++ движок для аудиоинференса на ggml. заявлен прирост 1.8–5x по сравнению с Python‑реализациями, плюс есть оптимизация под CUDA.
- синтез речи.
- распознавание речи.
- VAD (Voice Activity Detection) - детекция голосовой активности.
- конвертация голоса (изменение тембра, пола и т. д.).
- генерация музыки/аудиофрагментов
Windows / Linux / macOS
#tts #stt #vad #t2m #text2music #voice2voice
GitHub
GitHub - 0xShug0/audio.cpp: An all-in-one, pure C++ inference engine for audio models, powered by ggml. Supports TTS, STT, VAD…
An all-in-one, pure C++ inference engine for audio models, powered by ggml. Supports TTS, STT, VAD, voice conversion, music generation, and more, with highly optimized performance. No Python depend...
🔥11❤3👍3
MuLaCover
Контролируемый генератор каверов и ремиксов от HeartMuLa. Берет референс-музыку, трансформирует под новые слова и стиль - жанр, инструменты, настроение задаются текстовым промптом. Либо работает от MIDI с мелодией и аккордами
• кавер по референсу, тексту и стилю
• генерация с нуля из мелодии и аккордов MIDI
• секции текста с маркерами - Verse, Chorus
• стиль одной строкой: жанр, инструменты, настроение
• 4B параметров
• выход WAV
huggingface.co/HeartMuLa/MuLaCover
github.com/HeartMuLa/MuLaCover
———
DiffSynth-Music от DiffSynth-Studio
Набор моделей контролируемой генерации музыки на базе #ACEStep
Унаследовал #t2m из базы, плюс пять режимов управления через адаптеры Diffusion-Templates
• биты - генерация строго под заданный темп и ритм
• вокал - держит голос, добивает аккомпанемент
• аккомпанемент - держит инструменты, пишет вокал
• просодия - ритм и фразировка каждого слога по входной дорожке
• референс - новый трек в стиле и тембре входного аудио
• 48 кГц на выходе
• длительность до 240 секунд
• низкий VRAM - оффлоад на диск и CPU
huggingface.co/DiffSynth-Studio/DiffSynth-Music
github.com/modelscope/DiffSynth-Studio
#text2music #musicediting #midi2audio
MAX
Контролируемый генератор каверов и ремиксов от HeartMuLa. Берет референс-музыку, трансформирует под новые слова и стиль - жанр, инструменты, настроение задаются текстовым промптом. Либо работает от MIDI с мелодией и аккордами
• кавер по референсу, тексту и стилю
• генерация с нуля из мелодии и аккордов MIDI
• секции текста с маркерами - Verse, Chorus
• стиль одной строкой: жанр, инструменты, настроение
• 4B параметров
• выход WAV
huggingface.co/HeartMuLa/MuLaCover
github.com/HeartMuLa/MuLaCover
———
DiffSynth-Music от DiffSynth-Studio
Набор моделей контролируемой генерации музыки на базе #ACEStep
Унаследовал #t2m из базы, плюс пять режимов управления через адаптеры Diffusion-Templates
• биты - генерация строго под заданный темп и ритм
• вокал - держит голос, добивает аккомпанемент
• аккомпанемент - держит инструменты, пишет вокал
• просодия - ритм и фразировка каждого слога по входной дорожке
• референс - новый трек в стиле и тембре входного аудио
• 48 кГц на выходе
• длительность до 240 секунд
• низкий VRAM - оффлоад на диск и CPU
huggingface.co/DiffSynth-Studio/DiffSynth-Music
github.com/modelscope/DiffSynth-Studio
#text2music #musicediting #midi2audio
MAX
Telegram
Нейронавт | Нейросети в творчестве
HeartMuLa: A Family of Open Sourced Music Foundation Models
Набор открытых моделей для создания и понимания музыки
Создаёт песни по запросу, учитывая разные условия: можно описать стиль, дать текст или показать образец музыки
Позволяет детально управлять…
Набор открытых моделей для создания и понимания музыки
Создаёт песни по запросу, учитывая разные условия: можно описать стиль, дать текст или показать образец музыки
Позволяет детально управлять…
❤6👍3🔥2
#YuE2
Официальные обновки:
Выпустили техрепорт
#skill yue2-music agent skill превращает описание, ABC-ноты или референс в инструментальную музыку. YuE2 пишет партитуру по умолчанию, навык переносит вокальную мелодию в инструментальную партию перед рендером. Рекомендуемый агент — GPT-6 Astra
Сегодня в официальном HF появился новый VAE. Прежний остался под именем m-a-p/YuE2-Vae-legacy
Обновился пак нод YuE2-ComfyUI (v0.10.0), улучшилось распознавание мелодий
Новые проекты вокруг YuE2:
YuE2-Turbo — ускорение инференса и серверный слой для YuE2. Превращает один GPU в продакшен-сервис. Потребление — потребительские карты, ~10 секунд на песню
github.com/himomohi/yue — форк YuE2 с поддержкой всех языков. Полная поддержка мультиязычности поверх той же архитектуры с символическим планированием
#t2m #m2m
MAX
Официальные обновки:
Выпустили техрепорт
#skill yue2-music agent skill превращает описание, ABC-ноты или референс в инструментальную музыку. YuE2 пишет партитуру по умолчанию, навык переносит вокальную мелодию в инструментальную партию перед рендером. Рекомендуемый агент — GPT-6 Astra
Сегодня в официальном HF появился новый VAE. Прежний остался под именем m-a-p/YuE2-Vae-legacy
Обновился пак нод YuE2-ComfyUI (v0.10.0), улучшилось распознавание мелодий
Новые проекты вокруг YuE2:
YuE2-Turbo — ускорение инференса и серверный слой для YuE2. Превращает один GPU в продакшен-сервис. Потребление — потребительские карты, ~10 секунд на песню
github.com/himomohi/yue — форк YuE2 с поддержкой всех языков. Полная поддержка мультиязычности поверх той же архитектуры с символическим планированием
#t2m #m2m
MAX
arXiv.org
YuE2: Unifying Symbolic and Audio Music Generation at Frontier Quality
Symbolic models make melody, harmony, rhythm, and form explicit but typically stop before a finished recording; audio models produce complete songs while leaving composition implicit. We introduce...
👍11
Somora
Сайт для создания ИИ-песен из текста или музыкальной идеи, без работы с ComfyUI напрямую. Опиши стиль и настроение, напиши или сгенерируй текст — и получи готовый трек
• Песня с текстом или инструментальная композиция
• Выбор стиля, длительности, BPM и тональности
• Выбор языка песни
• Трек через ChatGPT-плагин (пишет лирику и заполняет форму)
• Скачивание в FLAC
• Бэкенд — Ace-Step 1.5 XL (SFT + SFT/Turbo), через свой ComfyUI-нод AceStep SFT
• Бесплатный тариф, для старта 2 генерации в день
• Есть платные Básico и Completo
#t2m
MAX
Сайт для создания ИИ-песен из текста или музыкальной идеи, без работы с ComfyUI напрямую. Опиши стиль и настроение, напиши или сгенерируй текст — и получи готовый трек
• Песня с текстом или инструментальная композиция
• Выбор стиля, длительности, BPM и тональности
• Выбор языка песни
• Трек через ChatGPT-плагин (пишет лирику и заполняет форму)
• Скачивание в FLAC
• Бэкенд — Ace-Step 1.5 XL (SFT + SFT/Turbo), через свой ComfyUI-нод AceStep SFT
• Бесплатный тариф, для старта 2 генерации в день
• Есть платные Básico и Completo
#t2m
MAX
👍4🤔1