Media is too big
VIEW IN TELEGRAM
В яндекс браузер прикрутили дубляж с сохранением голоса и интонаций говорящего. До сих пор все дублировалось одним механическим голосом
Пока еще работает не для всех видео, вот здесь например уже новый дубляж
#dubbing #speech2speech
Пока еще работает не для всех видео, вот здесь например уже новый дубляж
#dubbing #speech2speech
👍18❤3🔥1
Higgs Audio V2: Redefining Expressiveness in Audio Generation
Новая модель генерации речи и клонирования голоса с фокусом на выразительность от Boson AI
Побивает GPT-4o-mini-tts в 75.7% случаев на EmergentTTS-Eval
- генерация диалогов с несколькими голосами, которые звучат натурально;
- создание длинных аудио с одним голосом;
- 24 кГц
- лёгкие версии функционируют на Jetson Orin Nano, а для топовой модели требуется RTX 4090;
- автоматическая подстройка интонаций и эмоций в речи, одновременная генерация речи и фоновой музыки, имитация напевания мелодий
- интерактивный перевод разговора с клонированием голоса.
- Английский, Китайский, Корейский, Немецкий
Код
Веса
Демо
Демо HF
Higgs Audio Tokenizer
#tts #text2speech #voicecloning #dubbing #translation
Новая модель генерации речи и клонирования голоса с фокусом на выразительность от Boson AI
Побивает GPT-4o-mini-tts в 75.7% случаев на EmergentTTS-Eval
- генерация диалогов с несколькими голосами, которые звучат натурально;
- создание длинных аудио с одним голосом;
- 24 кГц
- лёгкие версии функционируют на Jetson Orin Nano, а для топовой модели требуется RTX 4090;
- автоматическая подстройка интонаций и эмоций в речи, одновременная генерация речи и фоновой музыки, имитация напевания мелодий
- интерактивный перевод разговора с клонированием голоса.
- Английский, Китайский, Корейский, Немецкий
Код
Веса
Демо
Демо HF
Higgs Audio Tokenizer
#tts #text2speech #voicecloning #dubbing #translation
👍8
This media is not supported in your browser
VIEW IN TELEGRAM
InfiniteTalk: Audio-driven Video Generation for Sparse-Frame Video Dubbing
Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.
Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.
Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.
Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита
Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk
#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video
Бесконечная болталка на основе Wan2.1. Ну и там еще kokoro под капотом.
Модель для дублирования видео с редкими ключевыми кадрами. Создает новые видео на основе исходного видео и аудиодорожки, синхронизируя не только губы, но и движения головы, позу тела и выражение лица с аудио.
Умеет оживлять картинку по звуку и без входного звука - так написано в гитхабе.
Более точная синхронизация губ и меньше искажений рук и тела по сравнению с MultiTalk.
Ребята поленились сделать сайт проекта с примерами, но похоже проект стоящий. На видео пример с реддита
Гитхаб
HF
Kijai
ComfyUI wrapper nodes for InfiniteTalk
#imageanimation #speech2video #chracteranimation #video2video #lipsync #dubbing #image2video
👍12❤2
Griffith Voice — AI Voice Cloner & Dubber
Проект соло-разработчика для дубляжа видео с клонированием оригинальных голосов на Whisper / GPT / GPT-SoVITS
На вход нужно только видео. Поддерживает Английский, корейский? японский, китайский.
В разработке: русский!, французский, арабский, немецкий
Работает на 4GB VRAM
#dubbing #voicecloning #translation
Проект соло-разработчика для дубляжа видео с клонированием оригинальных голосов на Whisper / GPT / GPT-SoVITS
На вход нужно только видео. Поддерживает Английский, корейский? японский, китайский.
В разработке: русский!, французский, арабский, немецкий
Работает на 4GB VRAM
#dubbing #voicecloning #translation
👍11🔥2
Unlock a world of viewers with multi-language audio
В ближайшие недели YouTube запускает ИИ-дубляж видео на русский (и другие) язык для миллионов блогеров.
Всего будет доступно 30 языков. Переводит и озвучивает Gemini.
Яндекс-браузеру бояться!
#dubbing #news
В ближайшие недели YouTube запускает ИИ-дубляж видео на русский (и другие) язык для миллионов блогеров.
Всего будет доступно 30 языков. Переводит и озвучивает Gemini.
Яндекс-браузеру бояться!
#dubbing #news
blog.youtube
Unlock a world of viewers with multi-language audio
1👍14🔥7❤3
Qwen3‑LiveTranslate-Flash
И еще одна новинка от Qwen
Модель для перевода аудио и видео контента на разные языки в реальном времени
Знает 18 языков, в том числе русский (и текст и аудио)
Использует визуальные подсказки для улучшения качества перевода и справляется с трудными условиями, например, с шумом или неоднозначными словами.
Демо
API
#translation #dubbing #realtime #assistant
И еще одна новинка от Qwen
Модель для перевода аудио и видео контента на разные языки в реальном времени
Знает 18 языков, в том числе русский (и текст и аудио)
Использует визуальные подсказки для улучшения качества перевода и справляется с трудными условиями, например, с шумом или неоднозначными словами.
Демо
API
#translation #dubbing #realtime #assistant
👍12❤1
Youtube сделал автодубляж на русский
и еще 26 языков
На первый взгляд работает похуже чем дубляж яндекс браузера и пока только для избранных каких-то видео, не для всех
#dubbing #news
и еще 26 языков
На первый взгляд работает похуже чем дубляж яндекс браузера и пока только для избранных каких-то видео, не для всех
#dubbing #news
👍8🔥3😱2
JUST-DUB-IT: Video Dubbing via Joint Audio-Visual Diffusion
ИИ-дубляж который
Создает синхронный аудиовидеоряд с липсинком, сохраняя оригинальный голос и манеру речи
Сохраняет смех, фоновый шум и обрабатывает экстремальные ракурсы / перекрытия
В описании все красиво, но с русским у него беда
Гитхаб ждем
#dubbing #lipsync #av
ИИ-дубляж который
действительно понимает сцену
Создает синхронный аудиовидеоряд с липсинком, сохраняя оригинальный голос и манеру речи
Сохраняет смех, фоновый шум и обрабатывает экстремальные ракурсы / перекрытия
В описании все красиво, но с русским у него беда
Гитхаб ждем
#dubbing #lipsync #av
👍7🔥7🥴3❤1😁1
LTX Studio — Dubbing и Captions
И еще одна обновка от LTX
В LTX Studio теперь можно делать дубляж и титры
Дубляж: перевoд и озвучка роликов до 30 минут в 175+ языков с липсинком и сохранением темпа и интонаций.
Титры: генерация и редактирование субтитров для роликов до 3 минут, настройка таймингов, текста и оформления под разные площадки.
Оба инструмента встроены в общий пайплайн: генерация, монтаж, дубляж и субтитры делаются в одном проекте, без экспорта к внешним вендорам.
#ltx #dubbing #subtitles
Нейронавт в MAX 📲
И еще одна обновка от LTX
В LTX Studio теперь можно делать дубляж и титры
Дубляж: перевoд и озвучка роликов до 30 минут в 175+ языков с липсинком и сохранением темпа и интонаций.
Титры: генерация и редактирование субтитров для роликов до 3 минут, настройка таймингов, текста и оформления под разные площадки.
Оба инструмента встроены в общий пайплайн: генерация, монтаж, дубляж и субтитры делаются в одном проекте, без экспорта к внешним вендорам.
#ltx #dubbing #subtitles
Нейронавт в MAX 📲
🔥10👍2🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
X-Dub: From Inpainting to Editing
Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.
Работает с видео дольше минуты без потери качества и «сдвига» изображения
Гитхаб
HF
Спасибо @m_franz
#lipsync #dubbing #video2video #audio2video #characteranimation
Визуальный дубляж видео на базе #wan22.
Меняет движения губ на видео в соответствии с аудиодорожкой, и при этом сохраняет идентичность человека и его позу.
Работает с видео дольше минуты без потери качества и «сдвига» изображения
Гитхаб
HF
Спасибо @m_franz
#lipsync #dubbing #video2video #audio2video #characteranimation
🔥15❤1🥴1
Sync-3
Новая версия говорилки с липсинком от sync.so
Лучше предыдущих версий понимает контекст сцены и делает липсинк почти неотличимым от реального
— учитывает всё: острые углы, крупные планы, эмоции и актёрскую игру
— работает с несколькими говорящими одновременно
— справляется с плохим освещением и резкими изменениями ракурса
— подходит для фильмов, подкастов, игр и анимации
Попробовать - предусмотрен MCP сервер, плагин к Adobe/ Есть бесплатные лимиты, обновляются раз в месяц
API
Спасибо @Endorpheen
#lipsync #tts #text2speech #voicecloning #dubbing
Новая версия говорилки с липсинком от sync.so
Лучше предыдущих версий понимает контекст сцены и делает липсинк почти неотличимым от реального
— учитывает всё: острые углы, крупные планы, эмоции и актёрскую игру
— работает с несколькими говорящими одновременно
— справляется с плохим освещением и резкими изменениями ракурса
— подходит для фильмов, подкастов, игр и анимации
Попробовать - предусмотрен MCP сервер, плагин к Adobe/ Есть бесплатные лимиты, обновляются раз в месяц
API
Спасибо @Endorpheen
#lipsync #tts #text2speech #voicecloning #dubbing
👍7🤝1
OmniVoice Studio
Локальная студия на OmniVoice для дубляжа и генерации голоса.
— транскрибирует речь и переводит на выбранный язык;
— вставляет сгенерированный голос в видео
— изолирует вокал и сохраняет фоновую музыку и звуковые эффекты
— создаёт новые голоса по простым тегам (например, «женский», «пожилой», «британский акцент»)
— клонирует голос по 3-секундному фрагменту
Спасибо @m_franz
#voicecloning #dubbing #tts #desktop
Локальная студия на OmniVoice для дубляжа и генерации голоса.
— транскрибирует речь и переводит на выбранный язык;
— вставляет сгенерированный голос в видео
— изолирует вокал и сохраняет фоновую музыку и звуковые эффекты
— создаёт новые голоса по простым тегам (например, «женский», «пожилой», «британский акцент»)
— клонирует голос по 3-секундному фрагменту
Спасибо @m_franz
#voicecloning #dubbing #tts #desktop
👍16❤1
Google выпустил #SOTA говорилку
Ключевая особенность: точный контроль интонации, стиля, темпа и ударений через теги.
— поддерживает многоголосие с сохранением стиля персонажей для озвучки фильмов
— поддерживает более 70 языков
— позволяет настраивать голоса и экспортировать параметры в Google AI Studio
— добавляет водяной знак SynthID для идентификации AI-аудио
Доступна:
Через Gemini API и Google AI Studio
На Vertex AI
На Workspace через Google Vids
#tts #dubbing #voicecloning #russian
Ключевая особенность: точный контроль интонации, стиля, темпа и ударений через теги.
— поддерживает многоголосие с сохранением стиля персонажей для озвучки фильмов
— поддерживает более 70 языков
— позволяет настраивать голоса и экспортировать параметры в Google AI Studio
— добавляет водяной знак SynthID для идентификации AI-аудио
Доступна:
Через Gemini API и Google AI Studio
На Vertex AI
На Workspace через Google Vids
#tts #dubbing #voicecloning #russian
👍6🤷♂2
🔥9
This media is not supported in your browser
VIEW IN TELEGRAM
Violin
Открытый инструмент для перевода видео.
• 33 языка, есть русский
• добавляет синхронизированные субтитры
• синтезирует озвучку с естественным звучанием
• отвечает на вопросы о содержании видео
• подбирает голос по описанию на естественном языке
• предлагает 6 стилей озвучки (экспериментально)
Базовые модели: Whisper V3 Large (ASR), DeepSeek V4 Pro (LLM), Cartesia’s Sonic 3 (TTS). Лицензия MIT.
Гитхаб
Демо
#dubbing #translation #russian #tts
Открытый инструмент для перевода видео.
• 33 языка, есть русский
• добавляет синхронизированные субтитры
• синтезирует озвучку с естественным звучанием
• отвечает на вопросы о содержании видео
• подбирает голос по описанию на естественном языке
• предлагает 6 стилей озвучки (экспериментально)
Базовые модели: Whisper V3 Large (ASR), DeepSeek V4 Pro (LLM), Cartesia’s Sonic 3 (TTS). Лицензия MIT.
Гитхаб
Демо
#dubbing #translation #russian #tts
👍15💯1
This media is not supported in your browser
VIEW IN TELEGRAM
LipDub IC‑LoRA
Липсинк-лора от Lightricks для LTX-2.3
• синхронизирует движение губ с новой речью
• поддерживает 5 языков (один говорящий)
https://huggingface.co/RuneXX/LTX-2.3-Workflows/tree/main/Video-2-Video
#workflow #lora #lipsync #dubbing #ltx23
Липсинк-лора от Lightricks для LTX-2.3
• синхронизирует движение губ с новой речью
• поддерживает 5 языков (один говорящий)
https://huggingface.co/RuneXX/LTX-2.3-Workflows/tree/main/Video-2-Video
#workflow #lora #lipsync #dubbing #ltx23
👍6❤1
LTX-2.3 22B IC-LoRA LipDub
Лора #ltx23 для дубляжа с липсинком от Lightricks
Just-Dub-It - проект представлен на SIGGRAPH 2026
Хвастаются превосходством над всеми аналогами, но звук все еще сплошной песок LTX'ный - для художки не годится. Для технического дубляжа понять о чем речь - видимо да
Гитхаб
#lipdub #lipsync #dubbing #lora
Лора #ltx23 для дубляжа с липсинком от Lightricks
Just-Dub-It - проект представлен на SIGGRAPH 2026
Хвастаются превосходством над всеми аналогами, но звук все еще сплошной песок LTX'ный - для художки не годится. Для технического дубляжа понять о чем речь - видимо да
Гитхаб
#lipdub #lipsync #dubbing #lora
👍8🤔5❤2
LipDub 2.0
Новая версия коммерческого липсинка
- До 2 минут видео
- 1080p
- В 8 раз быстрее 1.0
- 1 говорящий
- LipDub 1.0 остаётся для длинных видео, где важнее качество, и для нескольких спикеров
- Версия 2.0 - скорость и простота, но не максимальное качество
Первый LipDub гонял каждый ролик через тренировку на голосе и лице спикера. Точность росла, но и время ожидания тоже - для 20-секундного видео это лишние часы
Попробовать (если есть кредиты)
#lipsync #dubbing
VK | MAX
Новая версия коммерческого липсинка
- До 2 минут видео
- 1080p
- В 8 раз быстрее 1.0
- 1 говорящий
- LipDub 1.0 остаётся для длинных видео, где важнее качество, и для нескольких спикеров
- Версия 2.0 - скорость и простота, но не максимальное качество
Первый LipDub гонял каждый ролик через тренировку на голосе и лице спикера. Точность росла, но и время ожидания тоже - для 20-секундного видео это лишние часы
Попробовать (если есть кредиты)
#lipsync #dubbing
VK | MAX
👍5❤1🥴1
This media is not supported in your browser
VIEW IN TELEGRAM
VoiceStudio
Открытая локальная альтернатива ElevenLabs
• Клонирование голоса по чистой записи, дизайн голоса с нуля
• Дубляж видео с таймингом, транскрипция, диктовка через плавающий виджет
• Аудиокниги и истории, 646 языков
• Подключаемые движки: по умолчанию свой (k2-fsa/OmniVoice), можно менять через каталог с бенчмарками
• Локальный API и MCP-сервер — агенты вроде Claude Code или Codex генерируют аудио, опционально удалённые воркеры для тяжелых задач
• Установка в один клик на #macOS / #Linux, гайды для #Windows и Docker, агент-инсталл через промпт (детект железа, загрузка моделей, тест)
• Локально по умолчанию, удалtнные сервисы — опционально, аналитика только с согласия
#voicecloning #voicedesign #tts #mcp #dubbing
MAX
Открытая локальная альтернатива ElevenLabs
• Клонирование голоса по чистой записи, дизайн голоса с нуля
• Дубляж видео с таймингом, транскрипция, диктовка через плавающий виджет
• Аудиокниги и истории, 646 языков
• Подключаемые движки: по умолчанию свой (k2-fsa/OmniVoice), можно менять через каталог с бенчмарками
• Локальный API и MCP-сервер — агенты вроде Claude Code или Codex генерируют аудио, опционально удалённые воркеры для тяжелых задач
• Установка в один клик на #macOS / #Linux, гайды для #Windows и Docker, агент-инсталл через промпт (детект железа, загрузка моделей, тест)
• Локально по умолчанию, удалtнные сервисы — опционально, аналитика только с согласия
#voicecloning #voicedesign #tts #mcp #dubbing
MAX
❤10👍4