Spotify запустил пилотную программу ИИ-дубляжа подкастов. Пока только на испанский, французский и немецкий языки.
Под капотом технологии OpenAI, на выходе сохраняется естественный голос оригинального диктора.
Магия будет доступна пользователям премиум-класса бесплатно по всему миру.

#dubbing #voicecloning #speech2speech #localization #podcast

Dialog 1.0

Новая голосовая диалоговая модель от Play AI (aka PlayHT)
"Ультраэмоциональная"
Рилтайм, задержка 303 мс
30+ языков, русский есть
до 48КГц

Возможности:
- клонирование голоса
- ИИ подкасты из PDF, картинок, текстов
- голосовые агенты
- API
- рилтайм среда - диктор или диалог 2 голоса

Попробовать

#voicecloning #text2speech #tts #agent #podcast

Вы пробовали пользоваться NotebookLM на телефоне? Я пробовал. Все криво-косо

Но они выпустили мобильные приложения, теперь жить стало легче в правильных странах

iOS
Android

#text2podcast #podcast #mobile

Lalein

Делает подкасты из PDF, текста, видео - подобно NotebookLM.

Пока есть только для iOS. Я скачал с российского аппстора без впн и прочих проблем.

Говорит на русском и других языках. Есть выбор нескольких голосов. От 1 до 3 спикеров в подкасте. От 5 до 60 минут.

Есть бесплатный функционал. Ограничение на качество голосов, выбор голосов, нельзя создавать свои. На платном можно. Есть какой-то лимит на количество бесплатных подкастов. Какой - непонятно

Я закинул в него инструкцию по сборке шкафа который собирал позавчера, наслаждайтесь

iOS

#podcast #any2podcast #pdf2podcast

Chatterbox Audiobook Generator

По Chatterbox уже много свистоперделок вышло, вот одна из них. Мультиголосовой генератор аудиокниг / подкастов

Код

#audiobook #tts #text2audiobook #podcast #text2podcast

заработал демоспейс мобильного генератора речи и подкастов vui

По-русски ни бельмес

Демо

#tts #text2speech #voicecloning #conversation #mobile #podcast

VibeVoice: A Frontier Open-Source Text-to-Speech Model

Голосовая модель от Microsoft для выразительных диалогов и подкастов.

Может синтезировать речь продолжительностью до 90 минут.

Поддерживает работу с 4 разными голосами в одной генерации, это на 2-3 голоса больше чем в ведущих моделях.

Есть китайский и английский. Надеемся на дообучение

На примере женский голос норм, мужской эмоционально пустой. Послушайте примеры на сайте для общей картины

Код
HF - модель на 1.5 млрд. параметров + токенизатор Обещают 7B и 0.5B
Демо

#podcast #voicecloning #tts #text2speech #text2podcast

ComfyUI-VibeVoice

Ноды голосовой модели VibeVoice

воркфлоу

#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui

VibeVoice вернулся после 404

Microsoft, как можно было предположить, забеспокоился что юзеры при помощи их инструмента сделают что-нибудь нехорошее и прикрыл репозиторий.

Сейчас репозиторий снова открыт, в нем нет кода и появилось такое сообщение:

2025-09-05: VibeVoice - это исследовательская платформа с открытым исходным кодом, предназначенная для развития сотрудничества в сообществе по синтезу речи. После выпуска мы обнаружили случаи, когда инструмент использовался способами, несовместимыми с заявленными целями. Поскольку ответственное использование искусственного интеллекта является одним из руководящих принципов Microsoft, мы отключили это хранилище до тех пор, пока не будем уверены, что использование за пределами области применения больше невозможно.

А также появился SECURITY.md

Безопасность
Корпорация Майкрософт серьезно относится к безопасности своих программных продуктов и сервисов, включая все хранилища исходного кода в наших организациях на GitHub.

Пожалуйста, не сообщайте об уязвимостях в системе безопасности через общедоступные публикации на GitHub.

Для получения информации о безопасности, местоположениях, контактных данных и политиках, пожалуйста, ознакомьтесь с последними рекомендациями для репозиториев Майкрософт по адресу https://aka.ms/SECURITY.md.

Модели на HF снова доступны вроде.

Но изначально проект был выпущен под лицензией MIT, так что уже поздно запрещать. Пользуемся в ComfyUI

#news #podcast #voicecloning #tts #text2speech #text2podcast

VibeVoice ComfyUI Nodes теперь поддерживает теги пауз в двух вариантах:

[pause] → вставляет паузу продолжительностью в 1 секунду (по умолчанию)

[pause:ms] → вставляет пользовательскую длительность паузы в миллисекундах (например, [pause:2000] для 2 секунд).

Гитхаб

#podcast #voicecloning #tts #text2speech #text2podcast #comfyui

VibeVoice-finetuning

Неофициальный способ файнтюна топовой говорилки VibeVoice
В процессе разработки

Для 1.5B LoRa рекомендовано минимум 16gb VRAM
Для 7B LoRa - минимум 48gb VRAM

#podcast #voicecloning #tts #text2speech #text2podcast #finetuning #lora

А вот и официальный метод файнтюна говорилки VibeVoice

При файнтюне на один голос можно отключить возможность клонирования голоса, тогда результаты для этого голоса будут лучше. Но клонирование уже не будет работать на инференсе

#podcast #voicecloning #tts #text2speech #text2podcast #finetuning #lora

VibeVoice-ComfyUI 1.5.0

Добавлена поддержка лор и контроль скорости речи: можно немного изменять скорость исходного аудио для приближения к желаемому темпу при клонировании голоса. Для лучших результатов рекомендуются образцы звука длиннее 20 секунд.

#podcast #voicecloning #tts #text2speech #text2podcast #comfyui

VibeVoice-Large-Q8

первая полностью рабочая модель VibeVoice с 8-битной квантизацией

✅ Отличный звук, идентичный оригинальной модели
✅ 11,6 ГБ вместо 18,7 ГБ (-38%)
✅ Используется ~12 ГБ видеопамяти вместо 20 ГБ
✅ Работает на GPU с 12 ГБ (RTX 3060, 4070 Ti и т.д.)

VibeVoice ComfyUI Nodes

#podcast #voicecloning #tts #workflow #text2speech #text2podcast #comfyui