ThinkSound

Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.

Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя

Код
Демо

Спасибо @p0lygon

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx

Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна

Модель облегчили, оптимизировали расход памяти и GPU? упростили установку

Код
Демо

#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio

HunyuanVideo-Foley: Multimodal Diffusion with Representation Alignment for High-Fidelity Foley Audio Generation

Генератор звука к видео с текстовыми подсказками от Hunyuan
По ссылке в заголовке тонна примеров

Офсайт
Код
HF
Демо

#foley #video2audio #video2sound #sfx #video2sfx

ComfyUI HunyuanVideo-Foley

Подвезли ноду озвучивалки видео HunyuanVideo-Foley

#comfyUI #foley #video2audio #video2sound #sfx #video2sfx

Стало мне любопытно на каком языке озвучивает HunyuanVideo-Foley
Мне звучит как смесь китайского и немецкого.

Пихнул озвученный им самый драматичный эпизод русских сериалов в разные нейродубляжки. Мало кто умеет автоматически определять язык исходника. Rask.ai - один из тех кто умеет. Короче все кто умеет, определили эту речь как английскую. Ну и неудивительно, шотландцы например порой разговаривают на таком английском который мало кто из носителей языка в силах понять.

Ну и дубляж на русский с нейросетевого - вашему вниманию.

Хвастайтесь в коментах своими экспериментами

#humor #foley #video2audio #video2sound #sfx #video2sfx

WaveBlender: Practical Sound-Source Animation in Blended Domains

Создает звуковые эффекты на основе входной анимации с "аккустическими шейдерами". И вроде бы даже без нейросетей. Но посмотрите-послушайте что вытворяет.

Использует метод конечных разностей во временной области (FDTD) и ускоряется с помощью GPU.

— синтезирует звуки для различных существующих физических источников звука: воды, модальных источников, тонких оболочек, кинематических деформаторов

— создаёт точечные источники для маленьких твёрдых тел

— работает надёжно при разных разрешениях

— оптимизирована для работы на GPU

— может быть в 1000 раз быстрее, чем предыдущие волновые решатели на CPU

Stanford University / Adobe Research / NVIDIA

Код

#3d2sfx #foley #sfx #animation2sfx

Mozart AI

Новый сервис для генерации/редактирования музыки.

Создает песни по текстовому промпту, референсу, кусочку трека

В качестве референса можно указывать определенного исполнителя и даже определенную песню! Ждем исков. А может и нет. Референс-то указать можно, но при указании RHCP всегда генерится пустой трек. Указывайте Баха

При генерации по тексту есть выбор провайдера между Elevenlabs и SongGen

Может создавать отдельные партии
Импровизирует на выделенном участке трека

Есть библиотека сэмплов
Есть простецкая DAW с мультитреком и набором фильтров

Экспорт в WAV / MIDI. Экспорт стэмов ждем. 16 бит, 24 бит, 32 бит - где вы еще такое видели?

На старте дают миллион кредитов. После генерации нескольких треков все равно остался миллион. Короче, бесплатново!

Видео напомнило рекламу Songsmith, но сервис норм

В комментариях его тейк на Рика Эстли

Youtube канал с туториалами
Галерея

#text2music #text2audio #music2music #audio2music #sfx #musicediting #midi #text2midi #audio2midi

Ovi: Twin Backbone Cross-Modal Fusion for Audio-Video Generation

И еще один видеогенератор на базе #WAN22

Создает видео со звуком, как VEO3. По тексту, по картинке.
Может создавать звуковые эффекты и музыку, соответствующие визуалу

Хронометраж 5 сек, 24 кадра в секунду, разрешением 720×720, с различными соотношениями сторон (9:16, 16:9, 1:1, и т.д.)

Обещают выпустить модель с повышенным разрешением, повысить хронометраж, дистилл для быстрого инференса и скрипты обучения.

Гитхаб
HF

Спасибо @m_franz

#text2video #image2video #AV #text2Av #image2AV #sfx

Image to Video Generator with Ovi

Демоспейс видеогенератора со звуком Ovi

Поскольку он навайбкоженный, работает криво. Там нужна дополнительная авторизация и она может глючить. В этом случае попробуйте другой браузер

#text2video #image2video #AV #text2Av #image2AV #sfx

MOSS-TTS Family

Набор открытых моделей для генерации речи и звуков. Транскрибатор от этой команды мы уже видели, и даже видеогенератор, а теперь целая мультиязычная пачка моделей

— генерируют длинную речь и не теряют качество

— клонирование голоса

— выразительные диалоги с несколькими говорящими

— дизайн голоса по текстовому описанию без примеров речи

— есть рилтаймовая модель

— создает звуковые эффекты по тексту

Гитхаб
HF
Демо - прокрутите страницу вниз
Демо HF
Студия - вход по китайскому номеру, как зарегаться - непонятно

#TTS #voicecloning #voicedesign #russian #text2sfx #foley #sfx #realtime #longspeech

MOSS-TTS-Nano

Версия говорилки на всего 100M параметров

— работает на процессоре без видеокарты

— 20 языков, включая русский

— может обрабатывать длинные тексты, автоматически разбивая их на части для клонирования голоса

— звук в формате 48 кГц, 2 канала

Гитхаб
HF
Демо
Студия - вход по китайскому номеру, как зарегаться - непонятно

#TTS #voicecloning #voicedesign #russian #text2sfx #foley #sfx #realtime #longspeech

Stable Audio 3

У Stability AI видимо все хорошо раз можно месяцами не подавать признаков жизни

Релизнули Stable Audio 3 — семейство диффузионных моделей для генерации и редактирования аудио.

• генерация нескольких минут музыки и звуков за несколько секунд
• редактирование аудио
• поддержка inpainting и LoRA

переменная длина аудио, ультрабыстрый вывод за счёт адверсарной постобработки

В комплекте прилагается SAME (Semantic‑Acoustic Music Autoencoder) — музыкальный автоэнкодер

• сжимает аудио с коэффициентом 4096×
• сохраняет качество стереореконструкции

Уже есть поддержка в ComfyUI

huggingface.co/spaces/owenisas/stable-audio-3-lab

huggingface.co/collections/stabilityai/stable-audio-3-extra

stableaudio.com

#musicediting #sfx #comfyui

AudioX-Turbo

Генератор аудио из разных типов данных (текст, видео, аудио) аз 4 шага. Ускоренная версия AudioX, вышедшего 4 месяца назад

Построен по схеме "учитель‑ученик": учитель - AudioX‑Base с модулем MAF (Multimodal Adaptive Fusion), ученик - AudioX‑Turbo

Работает быстрее многошаговых аналогов при том же или лучшем качестве

Гитхаб
HF

#any2audio #text2music #video2music #foley #sfx #audio2audio

Seed Audio 1.0

Генерация аудио от ByteDance: музыка, речь, звуки

• синтез вокала и инструментов из промпта
• до трех референсов
• выстраивает диалоговую сцену по одному промпту

Fal - $0,075/мин

#text2audio #text2music #dialog #tts #sfx #referencing

MOSS-SoundEffect-v2.0

Модель для генерации звуковых эффектов по текстовому промпту

Версия v2.0 - апгрейд по качеству и стабильности. Акцент на реалистичность бытовых и спецэффектов.

• 48KHz, хронометраж до 30 сек
• обучена на английском и китайском. Полагаю, можно дообучить на русский. Вероятно, уже сделали - модели два месяца

Гитхаб
HF
Квантизации
Демо
ComfyUI

#text2sfx #sfx #text2audio #comfyui