Нейронавт | Нейросети в творчестве
13.2K subscribers
7.14K photos
5.66K videos
51 files
7.23K links
Канал про нейросети в компьютерной графике, в кино и вообще

В папках и запусках не участвую

для связи @Neuronauticus

РКН: https://hf.ru/link8e56d
Download Telegram
Realtime TTS‑2

Очередной рывок вперед от Inworld AI в работе с речью

Диалоговая рилтайм говорилка с пониманием (и имитацией) эмоций и клонированием голоса, №1 на арене

• анализирует тон, темп, высоту голоса и паузы в реальном времени
• подстраивает манеру речи под состояние пользователя и историю диалога
• контроль эмоций текстом ([whispering])
• переключение между 100+ языками в одном сеансе
• клонирует голос
• создает голос по описанию

Задержка 120-200 мс, не хранит данные

Попробовать - Если попросить на английском говорить по-русски, начинает говорить с акцентом. Попросишь говорить без акцента - справляется. Но когда сам начинаешь говорить по-русски, отвечает на испанском

Playground

#tts #dialog #voicecloning #voicedesign #russian
👍4❤1🔥1
Media is too big
VIEW IN TELEGRAM
Scenema Audio

Еще одна говорилка на ltx2.3 с клонированием и дизайном голоса

Создаёт звуковые эффекты и фоновую атмосферу по описанию.

• генерирует звуковые эффекты по текстовому запросу
• создаёт фоновые аудиодорожки (город, лес, офис и т. д.)
• комбинирует звуки в единую композицию

Говорят, нужно 40ГБ VRAM

https://github.com/ScenemaAI/scenema-audio

https://huggingface.co/ScenemaAI/scenema-audio

https://huggingface.co/spaces/multimodalart/scenema-audio

#TTS #voicecloning #voicedesign
👍9😱1
X‑Voice

Говорилка на базе F5‑TTS с кросс‑язычным клонированием голоса.

• клонирует голос по короткому аудио‑примеру
• переносит голос на другой язык (cross‑lingual)
• работает без транскрипта референс‑аудио

Ключевые метрики/детали:
• 30 языков
• 0,4 B параметров
• обучена на 420 k часов речи
• использует IPA для унификации произношения
• код — MIT, модели — CC‑BY‑NC (некоммерческое использование)

github.com/sunnyxrxrx/X-Voice

Спасибо @m_franz

#TTS #voicecloning
👍10❤1
MisoTTS 8B

Open‑source TTS‑модель от Miso Labs для генерации разговорной речи - быстрая, компактная, высокого качества.

• клонирует голос по 10‑секундному аудиосэмплу
• сохраняет идентичность голоса на протяжении всего разговора
• отвечает за 110 мс — работает почти в реальном времени

• базовая модель — Llama‑8B (в стиле Llama 3.2)
• аудиодекодер — Llama‑300M
• поддерживает только английский язык

https://github.com/MisoLabsAI/MisoTTS
https://huggingface.co/MisoLabs/MisoTTS
https://huggingface.co/spaces/multimodalart/MisoTTS

#tts #voicecloning #realtime #dialog
❤5👨‍💻2
ZONOS2

Вторая версия рилтайм говорилки от Zyphra. Первая тут

• генерация речи в реальном времени до 1 минуты
• высокоточное zero‑shot клонирование голоса
• поддержка множества языков (английский, китайский, японский, русский и др.)
• два режима: stable (чистый вывод) и expressive (естественность клонирования)
• регулировка скорости речи (8 уровней)
• генерация аудио 44,1 кГц (через Descript Audio Codec, DAC)

#MoE, 8B параметров
поддержка CUDA

Гитхаб
Плейграунд - у меня не загружается

Спасибо @EvgenyiPerm

#tts #realtime #voicecloning
🔥9👍3🤝1
This media is not supported in your browser
VIEW IN TELEGRAM
xAI Voice Agent Builder

xAI представили платформу, где можно быстро собрать голосовых агентов под разные сценарии

• быстрая сборка голосовых агентов из модулей
• интеграция с внешними API и базами. Поддекржка Gmail, Google Calendar, Outlook, Notion и т д
• тонкая настройка голоса и интонаций
• 25+ языков, включая русский
• 80+ голосов на выбор
• Клонирование голоса
• На аккаунт бесплатно (!) дают номер телефона, с которого агент может звонить

#voicemode #agent #online #voicecloning #russian #voiceagent #alm
🔥6
This media is not supported in your browser
VIEW IN TELEGRAM
Fish Audio S2.1 Pro бесплатно

Бесплатный доступ к топовой говорилке до конца июля

В марте писал про версию S2
Что обновили в S2.1:

- звук стартует быстрее: ~70 мс вместо 100 мс

- нагрузка держится лучше, пропускная способность x2

- 83 языка в одной модели

- для живых диалогов подходит - TTFA ~90 мс

Попробовать
API

#tts #giveaway #voicecloning #realtime #russian
👍9
Seed Audio 1.0

Аудиомодель от ByteDance. Генерирует за один проход целую звуковую сцену по одному промпту. Озвучка, подкасты, дубляж

• Можно жестко задавать тайминг реплик с точностью до 100 мс
• 20+ языков, перенос тембра между ними
• Клонирование голоса по референсам. До трёх аудиоклипов подключаются к промпту как @Audio1, @Audio2, @Audio3. Вместо аудио можно дать картинку с описанием персонажа.

Русский язык почти не тянет, промпт надо на английском. Лимит 2 минуты аудио, промпт до 3000 знаков. Цена ~$0.15–0.19/минута

Попробовать

Спасибо @QuantumFast

#t2a #text2audio #tts #voicecloning #voicedesign #online
🔥4❤2👍1
This media is not supported in your browser
VIEW IN TELEGRAM
ComfyUI-ScenemaAudio

Авторы говорилки Scenema Audio прикрутили ее в ComfyUI

Русского, похоже, нет

• клонирование голоса без обучения
• генерация речи с эмоциями и интонациями по описанию
• поддержка подсказок в квадратных скобках для эффектов

• минимум 8 ГБ VRAM
• скорость до 2x реального времени
• при первом запуске качает ~30 ГБ весов

Standalone Docker/API
HF
ComfyUI

#TTS #voicecloning #voicedesign #comfyui
👍10❤3🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
Pika Music

Pika выпустила семейство аудиомоделей

Pika Soundtrack превращает видео в синхронизированную музыку, речь, атмосферу и звуковые эффекты, реагирующие на движение

Pika Music превращает промты, тексты песен, голоса и референс-треки в полноценные композиции

Pika SFX превращает написанные указания в чистые, соответствующие промту звуковые эффекты. 44.1 kHz stereo

Pika Speech превращает текст в выразительную речь с использованием предустановленных голосов или вашего собственного голосового клона. 48 kHz

API
Playground

#text2music #text2sfx #video2av #tts #voicecloning
👍8❤1
TeraTTSv2

Локальный TTS от TeraSpace на ONNX Runtime

Русский и английский

работает на CPU, ничего в облако не уходит. Готовый движок с диффузионным синтезом и потоковой отдачей аудио.

• Генерация речи на русском и английском с тегами [ru] и [en] в одном запросе
• Автоматическая расстановка ударений в русском через RUAccent, ручные + приоритетнее
• 10 готовых голосов, рекомендованные русские ru_f1 и ru_m5
• Потоковая отдача аудио чанками
• Числа разворачиваются словами на нужном языке

• 44.1 кГц, моно, float32
• Два сэмплера - distilled на 8 шагов или teacher с настраиваемым CFG
• duration_scale меняет темп, режимы ударений full и dictionary

• Голоса от supertonic-3 подходят к TeraTTSv2 - скрипт supertonic_json_to_teratts.py конвертит json в стиль. Их можно подбирать (и клонировать) через через supertonic3-voice-clone

• Supertonic-Voice-Mixer - GUI, крутит латент стиля и миксует голоса
• Английским голосом на русском - пробуйте duration_scale 0.8

Демо
Клонирование
Миксер
Скрипт закину в коменты

#tts #russian #voicecloning
🔥12👍9❤1
This media is not supported in your browser
VIEW IN TELEGRAM
Raon-OpenTTS-1B

Открытая zero-shot TTS-модель. Клонирование голоса без дообучения

- Работает в шуме, с эмоциями, разными акцентами и стилями речи
- Встраивается в F5-TTS пайплайн
- Две версии: 1B и 0.3B
- Аудио: 80-канальный mel-спектр, 16 kHz

Гитхаб
HF
ComfyUI

Спасибо @m_franz @p0lygon

#tts #voicecloning #comfyui

VK | MAX
1👍9👎2😈2👀2🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
FireRedTTS3

Третье поколение говорилки от FireRed Team

Клонирование голоса, управление голосом по инструкциям и редактирование речи в одной модели. 24 языка включая русский

- Zero-shot клонирование голоса, достаточно пары секунд речи
- Дизайн голоса по инструкции: "женский, детский, взволнованный, громкий"
- Редактирование речи: вставка, замена, удаление слов, изменение скорости, высоты и громкости - без перезаписи всего аудио

- Две версии: Base (многоязычный клон) и Instruct (клон+дизайн+редактирование)
- Лучшие показатели на Seed-TTS-Eval и MiniMax-MLS-Test по разборчивости и сходству голоса


Чтобы подхватывала ударения их нужно отметить акутом U+0301. Yужно отметить как в генерируемом тексте, так и в референсе

Гитхаб
HF
Демо

#tts #voicecloning #voicedesign #russian
👍11🔥6❤1
Breeze TTS 2

Рилтайм говорилка

- Клонирование голоса: пара секунд речи + точная расшифровка → сохранение тембра, ритма, эмоций
- Дизайн голоса без референса по промпту
- Voice Direction: "говори медленно, серьезно" - голос остается, подача меняется
- Вокальные события в тексте: (laugh), (cough), (sigh)
- Стриминг с задержкой менее 40 мс до первого аудио, генерация в 3 раза быстрее реального времени

- 3B, ~7.7 GB VRAM, min 12 GB GPU
- английский и китайский

Гитхаб
HF
Попробовать
Демо

Спасибо @m_franz

#TTS #VOICECLONING #VOICEDESIGN

VK | MAX
👍7🤷‍♂5
Audio8 TTS Preview 0.1B ONNX INT8

Компактная многоязычная говорилка с клонированием голоса по одному примеру. Работает на CPU без видеокарты.

• RAM около 0.6 ГБ при загрузке основных сессий
• звук на выходе 44,1 кгц, моно
• скорость около 19 мс на токен медленной части и 8 мс на кадр быстрой

11 языков из коробки: китайский, кантонский, английский, французский, немецкий, итальянский, японский, корейский, польский, испанский, нидерландский

Гитхаб
HF

#tts #voicecloning #compact

VK | MAX
👍6🤷‍♂2❤1👎1
ICE-012 Audio (DarkPs)

Многоязычная говорилка с клонированием голоса. 590 языков и диалектов, есть русский.

- Клонирование голоса по 2 секундам
- Управление голосом: пол, возраст, высота, акцент, стиль (шепот), скорость
- Стриминг-генерация без ожидания полного файла
- Активный акустический адаптер: обрабатывает кодек-эмбеддинги до и после основного блока

Подходит для озвучки на редких языках, где коммерческие TTS отсутствуют

#tts #russian #voicecloning

VK | MAX
👍14👎2
This media is not supported in your browser
VIEW IN TELEGRAM
Gemini 3.8 TTS

Две модели синтеза речи. Flash TTS - для творческой режиссуры и дизайна персонажей, Flash-Lite - для больших объемов с упором на цену

• голос генерируется по текстовому описанию - характер, акцент, тембр
• больше 100 языков и диалектов
• 2000+ готовых голосов с региональными вариантами
• клонирование по 30-секундному сэмплу с проверкой согласия и SynthID
• режиссура по строкам - ремарки в сценарии обычным языком
• нативный диалог двух спикеров, смех, вздохи, перебивания
• голос стабилен на часах аудио

Клонирование недоступно в ЕС, Британии, Швейцарии, Индии, Иллинойсе и Техасе. Ремикс голоса - тембр, высота, темп, акцент - обещают вскоре

AI Studio

#tts #voicecloning #voicedesign #dialog

MAX
🔥5🤔4👍2
This media is not supported in your browser
VIEW IN TELEGRAM
VoiceStudio

Открытая локальная альтернатива ElevenLabs

• Клонирование голоса по чистой записи, дизайн голоса с нуля
• Дубляж видео с таймингом, транскрипция, диктовка через плавающий виджет
• Аудиокниги и истории, 646 языков
• Подключаемые движки: по умолчанию свой (k2-fsa/OmniVoice), можно менять через каталог с бенчмарками
• Локальный API и MCP-сервер — агенты вроде Claude Code или Codex генерируют аудио, опционально удалённые воркеры для тяжелых задач
• Установка в один клик на #macOS / #Linux, гайды для #Windows и Docker, агент-инсталл через промпт (детект железа, загрузка моделей, тест)
• Локально по умолчанию, удалtнные сервисы — опционально, аналитика только с согласия

#voicecloning #voicedesign #tts #mcp #dubbing

MAX
❤10👍4
#TTS #russian

github.com/kost-t-human/ruvoice-tts - RUVoice TTS: #Android-синтезатор на движке Silero, русская озвучка

github.com/kost-t-human/ruvoice-voicekit - дообучение штатных голосов Silero под свой тембр (VoiceKit) #voicecloning

github.com/UnaMentis/pocket-tts-ios - Pocket-TTS под #iOS

apps.apple.com/us/app/tobe-said/id6801981584
apps.apple.com/us/app/tobe-said-pro/id6803422049
Pocket-TTS уже в App Store: бесплатно и Pro (русский заявлен, свою модель загружать вряд ли можно)

github.com/The-unknown-Shadowman/PocketTTS-Android-Engine - Android, загружать свои модели проще

Русские модели

huggingface.co/ArtShtorm/Shtorm_PocketTTS_RU

huggingface.co/ArtShtorm/Shtorm-VoxCPM2-RU

Бенчмарк и #ASR

ncspeech.org/blog/asr-benchmark-oct-2026 - бенчмарк #ASR за октябрь: четыре системы на 15 наборах, 85 часов — русский, казахский, смешанные звонки

github.com/TheStageAI/TheWhisper - TheWhisper: новое дообучение Whisper для ASR
👍7🔥2🤝1