MMAudio: Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis

Генератор звука по видео или текстовому описанию

Код
Демо
Колаб

#video2audio #video2sound #text2audio

Появились ноды для генератора звука MMAudio
Спасибо @p0lygon

ComfyUI-MMAudio

#ComfyUI

ComfyUI-TangoFlux

Для желающих заморочиться по генерации звуковых эффектов подвезли #ComfyUI ноды TangoFlux

#text2audio #text2sfx #foley

Auffusion: Leveraging the Power of Diffusion and Large Language Models for Text-to-Audio Generation

Генератор звука по тексту, по входному звуку, инпейнтинг звука, примеры по ссылке в заголовке

Умеет:
- контроль акустики
- контроль материала предметов, издающих звук
- контроль высоты тона
- контроль хронологии событий

Демо
Код
Колаб ноутбуки

#text2audio #tta #audio2audio #audioinpainting

Minimax Lifelike Audio

Дизайн голоса - прорыв в области создания голоса:
Любой промпт, любой голос, любая эмоция
Полностью настраиваемый и многоязычный интерфейс

Речь по тексту, клонирование голоса, создание голоса. Музыку тоже может но это неточно

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music

Minimax Voice Design завезли на fal.ai

Если есть кредиты, использовать здесь

#voicecloning #tts #text2speech #voicedesign #text2audio #text2music

Mozart AI

Новый сервис для генерации/редактирования музыки.

Создает песни по текстовому промпту, референсу, кусочку трека

В качестве референса можно указывать определенного исполнителя и даже определенную песню! Ждем исков. А может и нет. Референс-то указать можно, но при указании RHCP всегда генерится пустой трек. Указывайте Баха

При генерации по тексту есть выбор провайдера между Elevenlabs и SongGen

Может создавать отдельные партии
Импровизирует на выделенном участке трека

Есть библиотека сэмплов
Есть простецкая DAW с мультитреком и набором фильтров

Экспорт в WAV / MIDI. Экспорт стэмов ждем. 16 бит, 24 бит, 32 бит - где вы еще такое видели?

На старте дают миллион кредитов. После генерации нескольких треков все равно остался миллион. Короче, бесплатново!

Видео напомнило рекламу Songsmith, но сервис норм

В комментариях его тейк на Рика Эстли

Youtube канал с туториалами
Галерея

#text2music #text2audio #music2music #audio2music #sfx #musicediting #midi #text2midi #audio2midi

MusicGPT

Сервис генерации / редактирования музыки и звука, в том числе речи

Похоже что можно использовать известные голоса и треки просто указывая их в промпте

Не знаю сколько сейчас дают кредитов на старте, я давно зарегался, тогда выдали 500. За одну генерацию забрали 100. Негусто учитывая что бесплатного тарифа нет. Да еще за скачивание берут 50 кредитов (mp3 можно сграбить из браузера бесплатно)

Сами понимаете - не разгуляешься тестить. Мой скоропалительный вердикт: музыку делает плохую (закину в комменты). Мало того что скучную, так еще и с фальшивыми нотами и звучит как секвенсер дешевых сэмплов. Так что сразу указывайте интересный референс.

Тестовый трек закину в комменты. Также можете заценить монолог идущего к реке в исполнении Моргана Фримена и Фредди Меркьюри. Промпт писал на русском

Просто пишешь в промпте "Голос Фредди Меркюри говорит на чистом русском языке ..."
Русские голоса или знает мало или не знает. Отказался говорить голосом Кроша, Всеволода Кузнецова, Сергея Чонишвили по причине что не нашел их в базе.

#musicediting #text2music #tts #text2audio

Music GPT v6 Pro

Прислали письмо с доступом к новой версии генератора музыки

Проверьте, может вам тоже прислали

Заявленные обновления:

* Чистый микс, насыщенный звук, естественный вокал.
* Точная передача эмоций и стиля.
* Лирика, рассказывающая искренние истории

Еще не пробовал

#musicediting #text2music #tts #text2audio

Audio‑Omni

Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком

Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.

Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения

Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке

Качество звука в демовидео не впечатляет, в отличие от возможностей

Гитхаб
HF
Демо

#multimidal #alm #audio2text #text2audio #audioediting

SwanSphere

Потоковая система от Bytedance для генерации пространственного аудио в высоком качестве по панорамным видео или текстовым подсказкам.

Кода пока нет

#text2audio #video2audio #foley

Seed Audio 1.0

Генерация аудио от ByteDance: музыка, речь, звуки

• синтез вокала и инструментов из промпта
• до трех референсов
• выстраивает диалоговую сцену по одному промпту

Fal - $0,075/мин

#text2audio #text2music #dialog #tts #sfx #referencing

Audex

Унифицированная аудио-текстовая MoE-модель от NVIDIA для работы со звуком, речью и рассуждениями без потери текстовой интеллектуальности

• генерация речи и аудио
• распознавание речи, перевод, прочее speech-to-speech
• обработка речи и звуковых событий

30B параметров, 3B активных. Контекст до 1 млн токенов

Есть версия на 2B

#alm #speech2speech #tts #asr #text2audio #translation

MOSS-SoundEffect-v2.0

Модель для генерации звуковых эффектов по текстовому промпту

Версия v2.0 - апгрейд по качеству и стабильности. Акцент на реалистичность бытовых и спецэффектов.

• 48KHz, хронометраж до 30 сек
• обучена на английском и китайском. Полагаю, можно дообучить на русский. Вероятно, уже сделали - модели два месяца

Гитхаб
HF
Квантизации
Демо
ComfyUI

#text2sfx #sfx #text2audio #comfyui