Музыкальные нейросетки не отстают от визуальных.
Вот эта
Pop2Piano : Pop Audio-Based Piano Cover Generation
(там можно потыркать небольшое демо)
Генерирует пианинные каверы на песни. На вход берет аудио трек.
На видео показана сначала человеческая ручная аранжировка, потом примеры нейрокаверов.
Можно менять стиль аранжировщика.

Код
Колаб

#audio2audio
#music2music
#audio2music
#AImusic

musicgen-songstarter-v0.2

Тут модель musicgen-stereo-melody-large дообучили делать из вашего мычания музыку.
Помучил, не удалось заставить его следовать мелодии. Может у вас получится?

Код
Демо
Колаб

#voice2music #audio2music

jenmusic.ai

Оказывается, у генератора/редактора музыки JEN-1 уже есть онлайн сервис

На старте дают 300 кредитов, по 3 кредита на генерацию. В генерации два варианта 45-секундного трека. Трек потом можно продлить

Этакий конкурент Suno/Udio на минималках... Хотя почему на минималках. Тут есть убойные фичи:
Сделать трек из вашего аудио. И Превратить ваше аудио в определенный музыкальный инструмент.

Го тестить!

Ссылка на трек из видео

#text2music #online #audio2music #audio2instrument

XMusic: Towards a Generalized and Controllable Symbolic Music Generation Framework

Управляемая генерация midi-музыки от Tencent

- по тексту
- по заданной эмоции
- в заданном жанре
- по изображению
- по видео
- по образцу пения/мычания

На звучание не обращайте внимания, это midi

Кода нет
Галерея

#music #text2midi #midi #iamge2music #video2music #audio2music

audio input

В Suno v4 появилась функция превращающая ваш голос в трек

#voice2music #audio2music

Riffusion FUZZ

Новая модель для генерации музыки на сервисе Riffusion

Интересная фишка - персонализация. По мере накопления ваших генераций сервис запоминает ваши предпочтения и подстраивается под вас

Умеет песни и инструментал
Есть свой генератор текстов Ghostwriter

Умеет делать музыку из вашего образца

Есть функция Remix - переработка чужой или своей генерации

На время бетатестирования все бесплатно

Демо - не знаю зачем, но здесь будет демоспейс

#text2music #music2music #audio2music

Хорошие новости для недомузыкантов вроде меня

Генератор музыки YuE можно установить локально в пару кликов в Pinokio

Для работы достаточно 10Гб VRAM, только Nvidia

Умеет принимать ваше аудио на вход!

#text2music #music #audio2music #music2music

У генератора музыки Riffusion обновки и весьма интересные

- Можно загрузить свой трек для препарирования и переделки

- Swap Sound - заменяем инструментальные партии/жанры, вокал остается

- Swap Vocal - заменяем вокал, оставляя инструменты

- Get Stems - делим композицию на партии и скачиваем

- Trim - обрезаем, оставляя нужный кусок, и работаем от него

- Ghostwriter - пишет тексты

#text2music #music2music #audio2music

Google Magenta RT

модель создания музыки в реальном времени.

Впервые Google представили Magenta еще в 2016 году. С тех пор появился плагин к Ableton кроме всего прочего. И вот новая рилтаймовая модель

Генерирует музыку на ходу по текстовым запросам и/или аудиосэмплам

Модель основана на архитектуре MusicLM и использует блок-авторегрессию для генерации непрерывного потока музыки

Оперирует двухсекундными отрывками, поэтому из сэмпла может забрать только 2 секунды для образца стиля. Задержка 2 секунды - можно уменьшить для большей реактивности.

Собственный контекст - всего 10 секунд, поэтому не рассчитывайте на длинные музыкальные структуры.

Не умеет создавать песни, ибо на лирике не обучался.

Обещают добавить локальный запуск и кастомизацию

Код
HF
Колаб

#text2music #music2music #audio2music #musicediting #realtime #dj

Wondera AI

Генератор музыки, конкурент Suno / Udio

На старте дают 1000 кредитов, за 1 генерацию списывают 20.

Есть функция Search (что он ищет и зачем?)

Есть Deep Compose - аналог ризонинга, модель рассуждает оценивает и улучшает прежде чем выдать финальный результат. Учтите что Deep Compose поглощаем кредиты как не в себя

Ну и можно подать ему на вход мелодию для вдохновения

#music #musicediting #sample2music #audio2music

Mozart AI

Новый сервис для генерации/редактирования музыки.

Создает песни по текстовому промпту, референсу, кусочку трека

В качестве референса можно указывать определенного исполнителя и даже определенную песню! Ждем исков. А может и нет. Референс-то указать можно, но при указании RHCP всегда генерится пустой трек. Указывайте Баха

При генерации по тексту есть выбор провайдера между Elevenlabs и SongGen

Может создавать отдельные партии
Импровизирует на выделенном участке трека

Есть библиотека сэмплов
Есть простецкая DAW с мультитреком и набором фильтров

Экспорт в WAV / MIDI. Экспорт стэмов ждем. 16 бит, 24 бит, 32 бит - где вы еще такое видели?

На старте дают миллион кредитов. После генерации нескольких треков все равно остался миллион. Короче, бесплатново!

Видео напомнило рекламу Songsmith, но сервис норм

В комментариях его тейк на Рика Эстли

Youtube канал с туториалами
Галерея

#text2music #text2audio #music2music #audio2music #sfx #musicediting #midi #text2midi #audio2midi