Нейронавт | Нейросети в творчестве
13.2K subscribers
7.15K photos
5.66K videos
51 files
7.23K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Magenta RealTime 2

Опенсорсная модель Google для генерации музыки в реальном времени прямо на устройстве.

• генерирует музыку непрерывно в рилтайме
• реагирует на ввод с задержкой ~200 мс
• принимает команды через текст, аудио или MIDI

github.com/magenta/magenta-realtime

huggingface.co/google/magenta-realtime-2

#musicediting #text2music #realtime
👍11
This media is not supported in your browser
VIEW IN TELEGRAM
Popit Music

Воркфлоу promptless создания музыки. Тулза для создания треков студийного качества без написания промптов

Что умеет и как работает:
• Создание музыки через “пирог”, нужно добавить 2 жанра + настроение
• Механика соревнования: трек попадает в плейлист с треками других пользователей - победитель определяется временем прослушивания
• Площадка не забивается музыкой, которую никто не слушает - проигравшие удаляются
• Внутренняя экономика: прослушивание минтит токены NACKL и токены трека. Артисты зарабатывают на аудитории без отчислений площадке или дистрибьютору
• Права остаются за пользователем (royalty-free) трек можно скачать, вставить в видео/рилс или перезалить на другие муз площадки


Первые 2 генерации бесплатные - попробовать можно тут

#ref2music #musicediting #referencing
👍16🔥8🤔5⚡2💯2🍌1
ACE-Step LoRA Collection

Небольшая коллекция лор для Ace-Step 1.5
Описания в папке каждой лоры в README

#music #text2music #musicediting #lora #acestep
👍9❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Lyria 3.5

В новой версии генератора музыки:

- Вокал - более выразительное и динамичное пение

- Музыкальность: богаче аранжировки, треки звучат более естественно.

- Управление: лучше следование промпту, добавлен контроль BPM, экспорт стемов

- Тексты: выше качество, улучшена структурная осознанность

Попробовать

#text2music #musicediting
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
Пока Suno ограничивает количество скачиваний треков до 7 за всю жизнь аккаунта, посмотрите еще один сервис для генерации музыки

Treblo

Бывший Sonauto, сменили имя в июне. Неограниченное число песен на последней модели, без платных заглушек - с трудом конечно верится

• Генерация песен по текстовому описанию + стилевым тегам - 4160+ стилей
• Свои тексты или авто-лирика на любом языке, включая микс языков в одном треке
• Инструменталы - отключаешь вокал и получаешь бэк-трек, lo-fi, саундтрек
• Редактирование: inpaint секций, замена текста, extension треков, stem separation
• Шеринг: публикация в профиль, группы, плейлисты, unlisted-ссылки
• iOS и Android
• OGG, MP3, WAV, FLAC, M4A
—

Treblo Classifier - определитель музыки созданyой в Treblo

Гитхаб

#text2music #musicediting
❤11👎6😁2🤝2
Suno Studio 2.0

После кнута Suno и пряник кинули пользователям.
Крупное обновление студии Suno - из генератора треков превращается в "полноценный" музыкальный редактор. Доступно подписчикам Premier

Что нового
• MIDI-треки со встроенными синтами + поддержка внешних MIDI-контроллеров, transport control и MIDI learn
• Аудиоэффекты - sidechain-компрессия, convolution reverb, свои эффекты через чат-бар
• Chat bar - генерация звуков, создание уникальных плагинов и пресетов синтов, справка
• Wavetable-синт - басы, лиды, пэды, аккорды. Пресеты проектируются промптом
• Musical typing - игра MIDI-партий с обычной клавиатуры, режимы арпеджиатора и аккордов
• Автоматизация - параметры эффектов меняются во времени
• Свежая Suno stem separation (разделение на дорожки)

#musicediting
😁6❤5👍1
MiniMax Music 3

Генератор музыки, опенсорс. Видимо понравилось раздавать H3

• Текст песни + теги [Intro], [Verse], [Chorus]
• Контроль структуры: жанр, BPM, тональность, тембр вокала, инструменты, аранжировка
• music-caption-rewriter разворачивает короткий промпт в детальный
• 16-bit стерео WAV, 32 kHz. 🤩 Могли бы и человеческие 48 kHz сделать

• 8B на базе Qwen3-8B + Local LLM 0.6B
• 24 ГБ VRAM, со стримингом слоев - 8 ГБ

Гитхаб
HF
API
Демо
Примеры
воркфлоу
ComfyUI

#comfyui #musicediting #text2music
Please open Telegram to view this post
VIEW IN TELEGRAM
👍22👀2😁1
Suno v6

Новое поколение музыкальных моделей Suno, чьи результаты вам не дадут скачать так же дешево как и раньше

Модели разработаны совестно с Warner Music Group, BMG и Believe - ну вы поняли. А официально:

Быстрее, выразительнее, с контролем на каждом шаге


v6 - флагман
v6-wild для экспериментов
v6-mini быстрый, бесплатный, доступен всем

- Редактирование части песни по тексту
- Мэшапы
- Сэмплирование
- Создание из настроения и мультимодального ввода: текст, аудио, картинки, видео
- Правка одной строки в лирике без пересборки всей песни

- v6 и v6-wild — для Pro и Premier
- Старые модели отключают

#musicediting #news

VK | MAX
👎11😁2🍌2❤1👀1
This media is not supported in your browser
VIEW IN TELEGRAM
YuE2

Опенсорная генерация музыки, обновка

по качеству догоняет Suno v5, но локально, редактируемо и с нотами

- Модель сначала пишет редактируемую партитуру (мелодия + аккорды), а потом по ней генерирует аудио. Партитуру можно править
- Есть редактирование через агента
- Cover: загрузил песню → транскрибировал в ноты с SheetSage2 → написал новый стиль → получил кавер
- 3.6 минуты песни за 71 секунду на RTX 4090, 24 ГБ VRAM

- 3B, лицензия CC BY-NC 4.0 (некоммерческая)
- Сопутствующие открытые модели: MERT2 (музыкальные эмбеддинги, SOTA в 14/15 метрик MARBLE), SheetSage2 (транскрипция аудио в ноты, SOTA в 10/13 метрик), WildSongBench (бенчмарк)

Гитхаб
HF
Comfyui спасибо @m_franz

#musicediting #text2music #text2midi #midi2music

VK | MAX
🔥21👍5
#MiniMaxMusic

MiniMax Music Prompt Studio

Простое приложение: даешь аудиофайл, получаешь готовый промпт для MiniMax Music и текст песни в похожем вайбе
———

MiniMax Music Production Toolkit for ComfyUI

Полный конвейер производства песни внутри #ComfyUI: идея → структурированный промпт → генерация в Music 3 → восстановление аудио (Declip, FlashSR, HF shimmer repair) → подготовка релиза (LUFS, true-peak) → обложка FLUX.2 → размеченный FLAC/MP3 + JSON с параметрами

- 239 жанровых шаблонов промптов
- Локальный #GGUF LLM для капшена, текста, названия и обложки — без облака
- Custom Mode для своих промптов
- 11 встроенных профилей системных промптов в v2.1
- Отдельная лаборатория улучшения аудио

Галерея

#comfyui #musicediting
❤8👍6🥴2
Media is too big
VIEW IN TELEGRAM
Foundation-1

Семейство моделей для генерации семплов и инструментов из текста, заточенное под музыкантов. Главная находка — разделение инструмента и тембра

- Лупы — BPM, тональность, структура
- Одношоты — отдельные ноты для сэмплеров
- Кейбеды — полноценные инструменты, генерирующиеся по всему регистру с сохранением тембра
- Трехслойные инструменты: три отдельных промпта → три независимых слоя → экспорт в DecentSampler/SFZ

- Слои: инструмент → тембр → FX → нотная структура → тональность/BPM
Foundation-1 (лупы)
Foundation-1.2 Samples
Foundation-1.2 Keybeds (инструменты)

- 7 ГБ VRAM, ~7-8 секунд на семпл
- Свой Gradio-интерфейс (RC Stable Audio Tools — форк)

видео
Демо
RC Stable Audio Tools

#musicediting
🔥10👍4❤2
Nova AI (SoundHear Inc.)

Оболочка для генерации музыки — работает и как отдельное приложение, и как VST/AU/AAX-плагин внутри DAW. Тянутся и локальные модели, и облачные, всё в одном окне

- Сэмплы по текстовому промпту — локально, без аккаунта
- Извлечение стемов из готового аудио, drag & drop прямо в DAW
- Облачные модели: Suno, ElevenLabs, Stable Audio, ACE-Step, MiniMax, Mureka, YuE2
- Локально: ACE-Step 1.5 Turbo, Stable Audio Small, YuE2 3B, плюс текстовая модель для лирики
- Windows и macOS, VST/VST3/AU/AAX + standalone

Бесплатно (модели оплачиваются отдельно или запускаются локально)

Спасибо @krnk_music

#vst #musicediting

VK | MAX
👍15❤3
Suno.com раздают бесплатный доступ к v6 - еще 2 дня

Спасибо @DracoLockhard

#giveaway #musicediting

VK | MAX
❤3👍2
YuE2-ComfyUI v0.4.0

Адаптация YuE2-3B для ComfyUI от @Aleks_101

Генерация полноценных песен из описания стиля и текста. Веса сами находятся, дополнительная нода-писатель пишет и слова, и стиль из одной строки идеи

v0.2.0:
добавился редактор песни. Стиль собирается из частей (язык, темп, голоса, звучание), текст правится по секциям, клик по букве показывает, где токенизатор режет слово. Все в окне поверх канвы, до Apply ничего не записывается

v0.4.0:
Редактор партитуры

- Отдельная оптимизация VRAM: у модели две половины весов, ни одной стадии не нужны обе — на карте держится только нужная
- 40 секунд песни: ~4.9 GiB, 4 минуты: ~11.5 GiB (с offload)
- 75 секунд песни на RTX 5090 — 40.2 секунды генерации
- Встроенный writer (YuE2 Write Song): одна строка идеи → готовый стиль + лирика с тегами. Использует любой GGUF на диске, если нет — скачивает 2.55 ГБ
- Поддержка INT8 ConvRot (3.69 ГБ)

#yue2 #musicediting #comfyui
👍10❤4
#Yue2

github.com/o-l-l-i/ComfyUI-Olm-YuE2 - #ComfyUI для YuE2: генерация музыки по этапам Plan→Semantic→Synthesize→Decode. Редактор нот ABC в боковой панели, оффлоад под меньшие карты. Проверено на 5090

github.com/filliptm/ComfyUI-FL-YuE2 - пианолла для YuE2 в ComfyUI: импорт ABC-нот, редактирование, генерация. Плюс ноды для обучения #LoRA

huggingface.co/m-a-p/SheetSage2 - конвертер MP3→ABC-ноты. Нужен для импорта треков в пианоллу. Обычные MIDI→ABC не работают. Ставится через Hermes-Agent

Можно выстроить такой пайплайн: MP3 → AI ноты → ABC → пианолла. Вокал и аранжировка ремиксятся под любой стиль

huggingface.co/Mothersuperior/yue2-mothersuperior-realaudio-tokenizer-v4 - энкодер для YuE2, которого не хватало: любой трек → токены YuE2. Обучен без разметки — модель сама научилась на своих сгенерированных примерах

github.com/Starnodes2024/ComfyUI-YuE2-Trainer - еще один трейнер лор спасибо @StanShumsky

#musicediting #music2midi #finetuning

VK | MAX
🔥9👍1
StepAudio 3

Новые модели от Степана

StepAudio 3 Realtime

Полнодуплексная аудио-языковая модель. Говорит и слушает одновременно, размышляет вслух не замолкая

китайский и английский

StepAudio 3 Music

Генерация песен: планирует структуру (куплеты, припев, бридж, аранжировку), создает 48-kHz стерео до 5м 30с

язык задается описанием песни

Помимо этого в семейство вошли говорилка с дизайном голоса Gen, TTS и ASR

китайский, английский, японский, корейский, французский, испанский

Voice Studio - пока только разговорная, музыка анонсирована

#musicediting #dialog #asr #tts #voicedesign
👍7❤2🥴2🤷‍♂1
MuLaCover

Контролируемый генератор каверов и ремиксов от HeartMuLa. Берет референс-музыку, трансформирует под новые слова и стиль - жанр, инструменты, настроение задаются текстовым промптом. Либо работает от MIDI с мелодией и аккордами

• кавер по референсу, тексту и стилю
• генерация с нуля из мелодии и аккордов MIDI
• секции текста с маркерами - Verse, Chorus
• стиль одной строкой: жанр, инструменты, настроение

• 4B параметров
• выход WAV

huggingface.co/HeartMuLa/MuLaCover
github.com/HeartMuLa/MuLaCover
———

DiffSynth-Music от DiffSynth-Studio

Набор моделей контролируемой генерации музыки на базе #ACEStep

Унаследовал #t2m из базы, плюс пять режимов управления через адаптеры Diffusion-Templates

• биты - генерация строго под заданный темп и ритм
• вокал - держит голос, добивает аккомпанемент
• аккомпанемент - держит инструменты, пишет вокал
• просодия - ритм и фразировка каждого слога по входной дорожке
• референс - новый трек в стиле и тембре входного аудио

• 48 кГц на выходе
• длительность до 240 секунд
• низкий VRAM - оффлоад на диск и CPU

huggingface.co/DiffSynth-Studio/DiffSynth-Music
github.com/modelscope/DiffSynth-Studio

#text2music #musicediting #midi2audio

MAX
❤6👍3🔥2
#Yue2 / #minimaxMusic / #acestep15

github.com/jplenio/Plenio-Music-Production-System - Plenio 0.3: описание песни → локальная LLM пишет, YuE2/Minimax Music 3 исполняет, Plenio сводит/мастерит. Все в #ComfyUI, без облака. Редактор партитуры (пианолла, нотация, ABC), стемы с фейдерами и эффектами, графический EQ с матчингом референса, мастеринг до −14 LUFS. Шесть шаблонов, режим ревью. Refine и Stems пока экспериментальные

github.com/Garionhk/GoKuk - Gokuk: портативное Windows-приложение для полных песен на YuE2 без ComfyUI. Чипы стиля, кавер с SheetSage2, редактор партитуры до генерации, библиотека. Windows 10/11, NVIDIA 12GB+, ~25GB диска. Лицензии CC BY-NC — только некоммерческое

github.com/yeufonic/yeufonic - Yeufonic: веб-приложение вокруг ComfyUI/YuE2 без проводов, Docker или Windows-инсталлятор, локальный трейн LoRA

github.com/HerkulesTerminator/comfyui-music-generator/tree/main - ACE-Step 1.0 + YuE2 - эйсстеп хорош креативно, прогоняем его ноты через YuE2 = хороший звук #workflow

#LoRA

huggingface.co/pduncan/YuE2_Deathmetalv1_lora -дэт-металл

Обновления

github.com/pytraveler/YuE2-ComfyUI/releases/tag/v0.12.0 - YuE2-ComfyUI 0.12.0: точнее распознавание слов (поле language — русский больше не переводится на английский; second_hearing: Whisper слушает второй раз, ошибки 9% вместо 15%). RTX 20xx/GTX 16: последняя стадия в FP16 — длинные песни доходят до конца. Фикс падения при отмене в первую секунду

huggingface.co/deAPI-ai/minimax-music3-11b-int8 - MiniMax Music 3 ужат до ~12Gb (int8)

#musicediting
🔥13