Для рассуждающего генератора звука ThinkSound опубликован код обучения/файнтюна
Модель облегчили, оптимизировали расход памяти и GPU? упростили установку
Код
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
Модель облегчили, оптимизировали расход памяти и GPU? упростили установку
Код
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
👍5
PrismAudio
Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)
Построен на ThinkSound
Решает проблему переплетения целей в методах генерации
Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный
518 миллионов параметров, при этом быстрее аналогов
#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность
Последнее видео - Veo3 + PrismAudio
Гитхаб
HF
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
Фреймворк для генерации аудио по входному видео с использованием технологии Chain-of-Thought (#CoT)
Построен на ThinkSound
Решает проблему переплетения целей в методах генерации
Разбивает сложное рассуждение на четыре модуля: семантический, временной, эстетический и пространственный
518 миллионов параметров, при этом быстрее аналогов
#SOTA на V2A - на VGGSound и AudioCanvas показал лучшие результаты по четырём параметрам: семантическая согласованность, аудиовизуальная синхронность, эстетическое качество, пространственная точность
Последнее видео - Veo3 + PrismAudio
Гитхаб
HF
Демо
#Video2sfx #foley #sfx #audioediting #video2audio #text2sfx #any2audio
🔥7👍1
AudioX-Turbo
Генератор аудио из разных типов данных (текст, видео, аудио) аз 4 шага. Ускоренная версия AudioX, вышедшего 4 месяца назад
Построен по схеме "учитель‑ученик": учитель - AudioX‑Base с модулем MAF (Multimodal Adaptive Fusion), ученик - AudioX‑Turbo
Работает быстрее многошаговых аналогов при том же или лучшем качестве
Гитхаб
HF
#any2audio #text2music #video2music #foley #sfx #audio2audio
Генератор аудио из разных типов данных (текст, видео, аудио) аз 4 шага. Ускоренная версия AudioX, вышедшего 4 месяца назад
Построен по схеме "учитель‑ученик": учитель - AudioX‑Base с модулем MAF (Multimodal Adaptive Fusion), ученик - AudioX‑Turbo
Работает быстрее многошаговых аналогов при том же или лучшем качестве
Гитхаб
HF
#any2audio #text2music #video2music #foley #sfx #audio2audio
👍5🔥2