Supertonic

Быстрая локальная мультиязычная говорилка

• синтезирует речь в реальном времени
• поддерживает 31 язык, русский есть
• добавляет нюансы речи через теги (смех, вздох и т. д.) по тегам
• выдаёт аудио 44,1 кГц, 16 бит в формате WAV
• запускается на разных платформах и слабых устройствах (Raspberry Pi, электронные книги)

модель на 99 млн параметров, работает через ONNX Runtime, не требует GPU

Спасибо https://t.me/EvgenyiPerm

#tts #realtime #mobile #russian

Higgs Audio v3 TTS

Диалоговая говорилка на 4 млрд параметров для общения в реальном времени.

• реагирует и держит диалог в риалтайме
• делает паузы, расставляет акценты
• меняет стиль, эмоции и скорость через inline‑теги без выхода из риалтайма
• поддерживает русский язык
• отлично передаёт паралингвистические сигналы: вздохи, смешки, интонации, интонирование вопросов
• работает на 100+ языках (WER/CER)
• показывает лучший результат по WER среди открытых и коммерческих систем

HF
Демо
Плейграунд
API
ComfyUI

#tts #dialog #russian #realtime

Chatterbox Multilingual v3

Многоязычная говорилка от Resemble AI с водяными знаками PerTh

• синтезирует речь на 25 языках (включая 4 диалекта и 6 Language Pack‑моделей)
• встраивает невидимые водяные знаки PerTh - выживают при сжатии (MP3, Opus), конвертации, редактировании, передискретизации
• клонирует голос без предварительного обучения по короткому аудиообразцу
• контроль эмоций и интенсивности голоса (радость, грусть, гнев и т. д.)
• работает с разговорными данными, нарративом и чтением текста
• компактный размер 0,5 B параметров (базовая модель Llama)

Русский есть но все плохо, беда с ударениями

HF
Демо
Попробовать

#tts #voicecloniong #russian

Whisper-Podlodka-Turbo

Файнтюн распознавалки речи Whisper Large V3 Turbo под русскую речь, повышена точность транскрибации и снижены лишние срабатывания на шумы

• распознаёт русский и английский
• ставит пунктуацию и заглавные буквы
• снижает галлюцинации на неречевых сегментах
• устойчив к фоновому шуму

#stt #asr #russian

Qwen3-ForcedAligner-0.6B-hf

Пополнение в семействе Qwen3-ASR

Модель на базе LLM, работающая неавторегрессионным способом. Предсказывает таймкоды на уровне отдельных слов для речи на 11 языках и превосходит сквозные (end‑to‑end) выравниватели по точности. Русский есть.

#asr #russian

xAI Voice Agent Builder

xAI представили платформу, где можно быстро собрать голосовых агентов под разные сценарии

• быстрая сборка голосовых агентов из модулей
• интеграция с внешними API и базами. Поддекржка Gmail, Google Calendar, Outlook, Notion и т д
• тонкая настройка голоса и интонаций
• 25+ языков, включая русский
• 80+ голосов на выбор
• Клонирование голоса
• На аккаунт бесплатно (!) дают номер телефона, с которого агент может звонить

#voicemode #agent #online #voicecloning #russian #voiceagent #alm

Fish Audio S2.1 Pro бесплатно

Бесплатный доступ к топовой говорилке до конца июля

В марте писал про версию S2
Что обновили в S2.1:

- звук стартует быстрее: ~70 мс вместо 100 мс

- нагрузка держится лучше, пропускная способность x2

- 83 языка в одной модели

- для живых диалогов подходит - TTFA ~90 мс

Попробовать
API

#tts #giveaway #voicecloning #realtime #russian

GigaChat3.1-Audio-10B-A1.8B

Аудио LLM для работы с длинными записями (2 часа)

* Распознавание речи (ASR) - переводит аудио в текст
* Перевод - упомянуты русский и английский
* Ответы на вопросы по аудио (QA)
* Распознавание эмоций
* Временная привязка (temporal grounding). находит в какой части аудио происходит то или иное событие. заявлено 48.3 mIoU на задачах для записей до 2 часов

• 10B #MoE декодер, активно 1.8B параметров
• энкодер GigaAM

Демо

#alm #qa #asr #stt #translation #russian

TeraTTSv2

Локальный TTS от TeraSpace на ONNX Runtime

Русский и английский

работает на CPU, ничего в облако не уходит. Готовый движок с диффузионным синтезом и потоковой отдачей аудио.

• Генерация речи на русском и английском с тегами [ru] и [en] в одном запросе
• Автоматическая расстановка ударений в русском через RUAccent, ручные + приоритетнее
• 10 готовых голосов, рекомендованные русские ru_f1 и ru_m5
• Потоковая отдача аудио чанками
• Числа разворачиваются словами на нужном языке

• 44.1 кГц, моно, float32
• Два сэмплера - distilled на 8 шагов или teacher с настраиваемым CFG
• duration_scale меняет темп, режимы ударений full и dictionary

• Голоса от supertonic-3 подходят к TeraTTSv2 - скрипт supertonic_json_to_teratts.py конвертит json в стиль. Их можно подбирать (и клонировать) через через supertonic3-voice-clone

• Supertonic-Voice-Mixer - GUI, крутит латент стиля и миксует голоса
• Английским голосом на русском - пробуйте duration_scale 0.8

Демо
Клонирование
Миксер
Скрипт закину в коменты

#tts #russian #voicecloning

набор голосов Supertonic-3 к TeraTTSv2

#tts #russian #voicecloning

FireRedTTS3

Третье поколение говорилки от FireRed Team

Клонирование голоса, управление голосом по инструкциям и редактирование речи в одной модели. 24 языка включая русский

- Zero-shot клонирование голоса, достаточно пары секунд речи
- Дизайн голоса по инструкции: "женский, детский, взволнованный, громкий"
- Редактирование речи: вставка, замена, удаление слов, изменение скорости, высоты и громкости - без перезаписи всего аудио

- Две версии: Base (многоязычный клон) и Instruct (клон+дизайн+редактирование)
- Лучшие показатели на Seed-TTS-Eval и MiniMax-MLS-Test по разборчивости и сходству голоса


Чтобы подхватывала ударения их нужно отметить акутом U+0301. Yужно отметить как в генерируемом тексте, так и в референсе

Гитхаб
HF
Демо

#tts #voicecloning #voicedesign #russian

ICE-012 Audio (DarkPs)

Многоязычная говорилка с клонированием голоса. 590 языков и диалектов, есть русский.

- Клонирование голоса по 2 секундам
- Управление голосом: пол, возраст, высота, акцент, стиль (шепот), скорость
- Стриминг-генерация без ожидания полного файла
- Активный акустический адаптер: обрабатывает кодек-эмбеддинги до и после основного блока

Подходит для озвучки на редких языках, где коммерческие TTS отсутствуют

#tts #russian #voicecloning

VK | MAX

VibeVoice-Streaming ASR

Потоковая модель от Microsoft транскрибирует речь по мере поступления аудио. Плюс сразу помечает, кто из спикеров что сказал.

Из полезного - поддержка кастомных hotwords, то есть можно заранее задать слова и имена, которые модель должна распознавать точно (имена собственные, термины, названия компаний). Работает с 10 языками включая русский

Гитхаб
Попробовать

#stt #asr #russian #streaming

VK | MAX

pocket-tts-ru

Русская дообученная версия pocket-tts - легкий синтезатор речи с клонированием голоса, работает на процессоре

- Клонирование голоса по записи: 10–20 секунд чистой речи
- Компактная - это 6-слойный ученик, дистиллированный из большой 24-слойной модели: быстрее и легче на инференсе

- Вход: текст + референс-аудио голоса
- Выход: WAV-файл речи
- Лицензия CC-BY-NC-4.0 — бесплатно, но только для некоммерческого использования

- Текст нужно готовить: ударения обозначаются знаком «+» перед ударной гласной, числа раскрываются — иначе речь поедет
- Длинные фразы режутся — синтезировать лучше по предложениям
- Качество повторяет промпт: шумная запись голоса даст шумную речь

#tts #russian #compact voicecloning

VK | MAX

Fish Audio Drama 3

Новая превью-модель от Fish Audio для речи и озвучки. Вместо жестких аудиотегов интонация, темп и характер персонажа описываются обычным текстом.

• Перегенерация одного слова или фразы в готовой дорожке
• Смена голоса прямо посреди предложения
• Диалоги нескольких героев за один проход
• Работает на русском

Технически
• Голос по id модели или zero-shot клонирование по референсам
• Диалоги через теги <|speaker:0|>, <|speaker:1|>
• Форматы: WAV/MP3/Opus, до 48 kHz

Мульти-спикер-диалоги есть и в S2-семействе, не только в Drama 3

#tts #russian

MAX

#TTS #ASR

huggingface.co/SpragAI/qwen3-tts-emotion-tags - TTS с эмоциями: теги передают чувства в произносимых строках

huggingface.co/oruk/orukeet - Orukeet: режет ошибки произношения слов в 25 языках спец-ядрами

github.com/Ampixa/sanoTTS - sanoTTS: крошечная говорилка, работает на чипе за три доллара

huggingface.co/moondream/parakeet-ultra - ASR от moondream

huggingface.co/coriollon/whisper-large-v3-turbo-russian - Whisper large v3 turbo, файнтюн под #russian

huggingface.co/coriollon/whisper-large-v3-turbo-russian-codeswitch - тот же файнтюн с поддержкой code-switching (смешение языков в речи)

qingyuliu0521.github.io/Cross-Lingual_F5-TTS_2_demo - F5-TTS 2: кросс-язычный синтез — голос на одном языке говорит на другом

MAX

Опубликованы веса речевой модели Drama 3

35B / 3B активных
Эксперты в FP8

HF
Кванты
Демо

Спасибо @Dmitriy_Ru6ts0v

#tts #russian

MAX

ComfyUI-Drama3

Кастомные ноды для Fish Audio Drama 3 — 35B TTS-модели в ComfyUI. Клонирование голоса, диалоги и инлайн-подсказки вроде [sighs] или [whispers] работают на картах от 8 ГБ VRAM.

Запускается на 8 ГБ VRAM

HF
воркфлоу

#ComfyUI #tts #russian

MAX