FireRedTTS3

Третье поколение говорилки от FireRed Team

Клонирование голоса, управление голосом по инструкциям и редактирование речи в одной модели. 24 языка включая русский

- Zero-shot клонирование голоса, достаточно пары секунд речи
- Дизайн голоса по инструкции: "женский, детский, взволнованный, громкий"
- Редактирование речи: вставка, замена, удаление слов, изменение скорости, высоты и громкости - без перезаписи всего аудио

- Две версии: Base (многоязычный клон) и Instruct (клон+дизайн+редактирование)
- Лучшие показатели на Seed-TTS-Eval и MiniMax-MLS-Test по разборчивости и сходству голоса


Чтобы подхватывала ударения их нужно отметить акутом U+0301. Yужно отметить как в генерируемом тексте, так и в референсе

Гитхаб
HF
Демо

#tts #voicecloning #voicedesign #russian

Audio8 TTS Preview 0.1B ONNX INT8

Компактная многоязычная говорилка с клонированием голоса по одному примеру. Работает на CPU без видеокарты.

• RAM около 0.6 ГБ при загрузке основных сессий
• звук на выходе 44,1 кгц, моно
• скорость около 19 мс на токен медленной части и 8 мс на кадр быстрой

11 языков из коробки: китайский, кантонский, английский, французский, немецкий, итальянский, японский, корейский, польский, испанский, нидерландский

Гитхаб
HF

#tts #voicecloning #compact

VK | MAX

Sopro V2 Turbo

Компактная говорилка на 120M параметров, клонирует голос по короткому образцу и работает полностью на устройстве

• клонирование голоса по 5-20 секундам образца
• первый звук уже через ~300 мс на обычном ноутбучном CPU
• озвучка на английском, европейском португальском, французском и немецком
• запуск локального веб-интерфейса одной командой uvx -from sopro soprotts serve

• генерация в 5 раз быстрее реального времени на CPU

Заточен под слабое железо - не нужен GPU и облако, голос клонируется прямо в браузере или на ноутбуке.

Гитхаб
HF
Демо
Демо HF

#tts #compact #mobile

VK | MAX

ICE-012 Audio (DarkPs)

Многоязычная говорилка с клонированием голоса. 590 языков и диалектов, есть русский.

- Клонирование голоса по 2 секундам
- Управление голосом: пол, возраст, высота, акцент, стиль (шепот), скорость
- Стриминг-генерация без ожидания полного файла
- Активный акустический адаптер: обрабатывает кодек-эмбеддинги до и после основного блока

Подходит для озвучки на редких языках, где коммерческие TTS отсутствуют

#tts #russian #voicecloning

VK | MAX

pocket-tts-ru

Русская дообученная версия pocket-tts - легкий синтезатор речи с клонированием голоса, работает на процессоре

- Клонирование голоса по записи: 10–20 секунд чистой речи
- Компактная - это 6-слойный ученик, дистиллированный из большой 24-слойной модели: быстрее и легче на инференсе

- Вход: текст + референс-аудио голоса
- Выход: WAV-файл речи
- Лицензия CC-BY-NC-4.0 — бесплатно, но только для некоммерческого использования

- Текст нужно готовить: ударения обозначаются знаком «+» перед ударной гласной, числа раскрываются — иначе речь поедет
- Длинные фразы режутся — синтезировать лучше по предложениям
- Качество повторяет промпт: шумная запись голоса даст шумную речь

#tts #russian #compact voicecloning

VK | MAX

Motion-Omni

Одна модель генерирует и речь и движения тела по диалогу. Вместо того чтобы запускать TTS и анимацию по отдельности и потом синхронизировать все делается из одних и тех же латентных состояний

- 5.4x быстрее каскадных решений, не надо ждать пока каждый компонент отработает по очереди
- Синхронизация зашита в архитектуру, а не доклеивается постфактум
- Подходит для диалоговых аватаров, виртуальных персонажей, anything, где персонаж говорит и движется одновременно

На видео сравнение с MambaTalk

Гитхаб

#tts #animation

VK | MAX

AuK (Tencent Hunyuan)

Универсальная модель речи: генерация, редактирование, очистка и разделение

Все через указания естественным языком

- Клонирование голоса: текст + референс голоса
- Instruct TTS: голос по описанию без референса
- Редактирование содержимого: заменил/вставил/удалил слова, переписал слова в песне с сохранением мелодии
- Акустика: питч, скорость, громкость
- Паралингвистика: эмоция, тембр, убирает акцент, дыхание/смех/кашель, обычная речь - шепот
- Очистка и разделение: улучшение речи, разделение говорящих, извлечение вокала из микса, выделение цели по сказанному

- 1.5B, MIT
- AuK-Flash: 4 шага, в 4.5x быстрее

Русский не заявлен, но текстовый энкодер - мультиязыный Qwen2.5-Omni-3B, так что пробуйте

Гитхаб
HF
Демо
ComfyUI Спасибо @m_franz

#tts #voiceclonihng #voicedesign #alm #demix #audioseparation

Qwen-Audio-3.1

Пять моделей, полный аудио-стек: распознавание, генерация, диалог и создание. Сильное снижение цен - #TTS дешевле на 70%, #Realtime на 85%, #ASR до 95%

• ASR - мультиязычное и диалектное распознавание, авточистка текста от мусорных слов
• ASR-Next - мультиспикерная ASR с метками говорящих, таймштами и пониманием эмоций
• TTS - синтез с переносом голоса между языками, управление эмоцией и темпом текстом
• TTS-Next - единый LM+DiT фреймворк: голос, звуковые эффекты и фон в одном проходе
• Realtime - дуплекс с перебиванием, эмпатичное замедление когда чувствует плохое настроение

Для аудиокниг, подкастов, игр, рекламы и живых разговоров. API на qwencloud

qwencloud.com/models/qwen-audio-3.1-asr-flash-filetrans
qwencloud.com/models/qwen-audio-3.1-realtime-plus

MAX

Gemini 3.8 TTS

Две модели синтеза речи. Flash TTS - для творческой режиссуры и дизайна персонажей, Flash-Lite - для больших объемов с упором на цену

• голос генерируется по текстовому описанию - характер, акцент, тембр
• больше 100 языков и диалектов
• 2000+ готовых голосов с региональными вариантами
• клонирование по 30-секундному сэмплу с проверкой согласия и SynthID
• режиссура по строкам - ремарки в сценарии обычным языком
• нативный диалог двух спикеров, смех, вздохи, перебивания
• голос стабилен на часах аудио

Клонирование недоступно в ЕС, Британии, Швейцарии, Индии, Иллинойсе и Техасе. Ремикс голоса - тембр, высота, темп, акцент - обещают вскоре

AI Studio

#tts #voicecloning #voicedesign #dialog

MAX

ElevenLabs v4

Две новых #TTS

Eleven v4 для выразительной подачи и v4 Turbo для риалтайма. Доступны по API и в агентах, включая бесплатный тариф

• управление подачей текстом: (laughs), (angry in French accent) - теги стекаются
• Turbo: первая речь за ~150 мс, аудио стартует до конца фразы
• 90+ языков, включая русский
• клон голоса по 10-секундной записи
• до 10 000 символов на запрос, тембр держится весь скрипт

Первое место на Voice Arena за сентябрь, ~75% предпочтений в слепых тестах. Старую SSML-разметку придется переписать под новый синтаксис. Бесплатно 10 000 кредитов в месяц. Но только для стран первого сорта. У меня анонс даже через квн не открывается

MAX

VoiceStudio

Открытая локальная альтернатива ElevenLabs

• Клонирование голоса по чистой записи, дизайн голоса с нуля
• Дубляж видео с таймингом, транскрипция, диктовка через плавающий виджет
• Аудиокниги и истории, 646 языков
• Подключаемые движки: по умолчанию свой (k2-fsa/OmniVoice), можно менять через каталог с бенчмарками
• Локальный API и MCP-сервер — агенты вроде Claude Code или Codex генерируют аудио, опционально удалённые воркеры для тяжелых задач
• Установка в один клик на #macOS / #Linux, гайды для #Windows и Docker, агент-инсталл через промпт (детект железа, загрузка моделей, тест)
• Локально по умолчанию, удалtнные сервисы — опционально, аналитика только с согласия

#voicecloning #voicedesign #tts #mcp #dubbing

MAX

Fish Audio Drama 3

Новая превью-модель от Fish Audio для речи и озвучки. Вместо жестких аудиотегов интонация, темп и характер персонажа описываются обычным текстом.

• Перегенерация одного слова или фразы в готовой дорожке
• Смена голоса прямо посреди предложения
• Диалоги нескольких героев за один проход
• Работает на русском

Технически
• Голос по id модели или zero-shot клонирование по референсам
• Диалоги через теги <|speaker:0|>, <|speaker:1|>
• Форматы: WAV/MP3/Opus, до 48 kHz

Мульти-спикер-диалоги есть и в S2-семействе, не только в Drama 3

#tts #russian

MAX

#TTS #ASR

huggingface.co/SpragAI/qwen3-tts-emotion-tags - TTS с эмоциями: теги передают чувства в произносимых строках

huggingface.co/oruk/orukeet - Orukeet: режет ошибки произношения слов в 25 языках спец-ядрами

github.com/Ampixa/sanoTTS - sanoTTS: крошечная говорилка, работает на чипе за три доллара

huggingface.co/moondream/parakeet-ultra - ASR от moondream

huggingface.co/coriollon/whisper-large-v3-turbo-russian - Whisper large v3 turbo, файнтюн под #russian

huggingface.co/coriollon/whisper-large-v3-turbo-russian-codeswitch - тот же файнтюн с поддержкой code-switching (смешение языков в речи)

qingyuliu0521.github.io/Cross-Lingual_F5-TTS_2_demo - F5-TTS 2: кросс-язычный синтез — голос на одном языке говорит на другом

MAX

MAI-Transcribe-2-Streaming и MAI-Voice-2.1

Microsoft обновил речевые модели: первый потоковый транскрибатор и два синтезатора речи в Microsoft Foundry.

• Стриминговая транскрибация с черновыми расшифровками чуть больше чем за 100 мс
• Непрерывное автоопределение языка
• Один виртуальный голос на всех языках с родным произношением, без акцента
• Клонирование голоса по нескольким секундам образца
• Диаризация говорящих

• Распознавание: 60 языков
• Синтез: 23 языка, 26 локалей
• Час транскрибации — $0.54 по акции до конца года
• Миллион знаков синтеза: $22 у основной, $15 у Flash

Доступны в Microsoft Foundry, MAI Playground, Azure Voice Live, на OpenRouter и Vercel. На Artificial Analysis потоковый транскрибатор стартовал с первого места.

#asr #tts #streaming #diarize

MAX

Опубликованы веса речевой модели Drama 3

35B / 3B активных
Эксперты в FP8

HF
Кванты
Демо

Спасибо @Dmitriy_Ru6ts0v

#tts #russian

MAX

ComfyUI-Drama3

Кастомные ноды для Fish Audio Drama 3 — 35B TTS-модели в ComfyUI. Клонирование голоса, диалоги и инлайн-подсказки вроде [sighs] или [whispers] работают на картах от 8 ГБ VRAM.

Запускается на 8 ГБ VRAM

HF
воркфлоу

#ComfyUI #tts #russian

MAX