This media is not supported in your browser
VIEW IN TELEGRAM
Edit
В Resemble AI прикрутили редактирование звука речи через редактирование текста. В помощь живым запинающимся дикторам. Да, вот так как нам показывали Adobe 7 лет назад. Или что там, в премьер уже встроили эту фичу?
#speechediting #audioediting #text2speech #speech2speech
В Resemble AI прикрутили редактирование звука речи через редактирование текста. В помощь живым запинающимся дикторам. Да, вот так как нам показывали Adobe 7 лет назад. Или что там, в премьер уже встроили эту фичу?
#speechediting #audioediting #text2speech #speech2speech
👍5🤯4
This media is not supported in your browser
VIEW IN TELEGRAM
Fugatto
Новая базовая аудиомодель от Nvidia на 2.5B параметров.
Может если не все, очень много:
звуковые эффекты по текстовому промпту, речь по тексту, музыка, сделать один музыкальный инструмент из другого, добавить музыкальный инструмент в трек, изолировать источник звука из трека.
Попробовать не дают, кода нет
#music #music2music #audioediting #text2sound #text2speech #musicediting
Новая базовая аудиомодель от Nvidia на 2.5B параметров.
Может если не все, очень много:
звуковые эффекты по текстовому промпту, речь по тексту, музыка, сделать один музыкальный инструмент из другого, добавить музыкальный инструмент в трек, изолировать источник звука из трека.
Попробовать не дают, кода нет
#music #music2music #audioediting #text2sound #text2speech #musicediting
👍8🤡3
Media is too big
VIEW IN TELEGRAM
ThinkSound
Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.
Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя
Код
Демо
Спасибо @p0lygon
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx
Модель от Tongyi Lab (авторов InspireMusic и много чего еще) создаёт реалистичный звук для видео. Архитектура - цепочка рассуждений (#CoT). Необычно для генерилки звука, да? Скоро достижения языковых моделей будут везде, к этому все идет.
Модель сначала генерирует общий звуковой фон, затем улучшает качество звука конкретных объектов на экране и, наконец, редактирует всё это по текстовым указаниям пользователя
Код
Демо
Спасибо @p0lygon
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx
🔥14👍1🤔1
Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна
Модель облегчили, оптимизировали расход памяти и GPU? упростили установку
Код
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
Модель облегчили, оптимизировали расход памяти и GPU? упростили установку
Код
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
👍5
Step-Audio-EditX
Опенсорсная аудиомодель от Степана (Stepfun) на базе LLM на 3B параметров.
Выразительное и итеративное редактирование звука.
Генератор речи по тексту без дообучения
Среди примеров есть очистка аудио от шума, ускорение речи, смена эмоции в речи, перевод обычной речи в шепот, контроль 10 типов паралингвистических особенностей (например, дыхание, смех, вздох, вопросы и т. д.)
Китайский и английский
работает на частоте 41.6Hz. Тут вероятно опечатка и речь о килогерцах
Оптимальный объем VRAM 32 GB, оптимальный хронометрах аудио - до 30 сек
Гитхаб
HF
Демо
#tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech
Опенсорсная аудиомодель от Степана (Stepfun) на базе LLM на 3B параметров.
Выразительное и итеративное редактирование звука.
Генератор речи по тексту без дообучения
Среди примеров есть очистка аудио от шума, ускорение речи, смена эмоции в речи, перевод обычной речи в шепот, контроль 10 типов паралингвистических особенностей (например, дыхание, смех, вздох, вопросы и т. д.)
Китайский и английский
работает на частоте 41.6Hz. Тут вероятно опечатка и речь о килогерцах
Оптимальный объем VRAM 32 GB, оптимальный хронометрах аудио - до 30 сек
Гитхаб
HF
Демо
#tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech
👍9❤1
ComfyUI Step Audio EditX TTS
Кастом ноды аудиомодели Step-Audio-EditX
#comfyui #tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech #voicecloning
Кастом ноды аудиомодели Step-Audio-EditX
#comfyui #tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech #voicecloning
👍9
PrismAudio
Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)
Построен на ThinkSound
Решает проблему переплетения целей в методах генерации
Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный
518 миллионов параметров, при этом быстрее аналогов
#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность
Последнее видео - Veo3 + PrismAudio
Гитхаб
HF
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)
Построен на ThinkSound
Решает проблему переплетения целей в методах генерации
Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный
518 миллионов параметров, при этом быстрее аналогов
#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность
Последнее видео - Veo3 + PrismAudio
Гитхаб
HF
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
🔥7👍1
This media is not supported in your browser
VIEW IN TELEGRAM
Audio‑Omni
Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком
Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.
Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения
Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке
Качество звука в демовидео не впечатляет, в отличие от возможностей
Гитхаб
HF
Демо
#multimidal #alm #audio2text #text2audio #audioediting
Фреймворк для работы с аудио: понимание, генерация и редактирование. Работает с речью, музыкой и общим звуком
Замороженную мультимодальную LLM использует для высокоуровневого рассуждения.
Может делать генерацию с учётом знаний, генерировать в контексте и управлять аудиогенерации на разных языках без обучения
Интересные возможности редактирования. Например замена слов в речи, замена музыкального инструмента в музыке
Качество звука в демовидео не впечатляет, в отличие от возможностей
Гитхаб
HF
Демо
#multimidal #alm #audio2text #text2audio #audioediting
👍7❤1