Нейронавт | Нейросети в творчестве

3:12

Media is too big

UniMoE-Audio: Unified Speech and Music Generation via Dynamic-Capacity Mixture of Experts

Единая модель для генерации (и понимания) речи и музыки с использованием динамического совета экспертов. Умеет клонировать голос.

Английский и китайский

Код
HF

#text2musc #text2speech #tts #moe #voicecloning

👍7🤷‍♂1

2.06K viewsedited 06:09

Обновка русской голосовой модели

#tts #text2speech #russian

1.62K views11:14

Step-Audio-EditX

Опенсорсная аудиомодель от Степана (Stepfun) на базе LLM на 3B параметров.
Выразительное и итеративное редактирование звука.
Генератор речи по тексту без дообучения

Среди примеров есть очистка аудио от шума, ускорение речи, смена эмоции в речи, перевод обычной речи в шепот, контроль 10 типов паралингвистических особенностей (например, дыхание, смех, вздох, вопросы и т. д.)

Китайский и английский

работает на частоте 41.6Hz. Тут вероятно опечатка и речь о килогерцах

Оптимальный объем VRAM 32 GB, оптимальный хронометрах аудио - до 30 сек

Гитхаб
HF
Демо

#tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech

👍9❤1

1.97K viewsedited 09:12

ComfyUI Step Audio EditX TTS

Кастом ноды аудиомодели Step-Audio-EditX

#comfyui #tts #text2speech #audioediting #speechcontrol #speechediting #speech2speech #voicecloning

👍9

2.38K views14:17

3:27

Media is too big

FireRedTTS-2: Towards Long Conversational Speech Generation for Podcast and Chatbot

Китайский голосовой движок с поддержкой мультиспикер диалога и клонированием голоса.
Проверил в демо - по-русски говорит. Но Демо быстро выжрало лимит а сохранить я ничего не успел.

— генерирует стабильную и естественную речь

— надёжно переключает говорящих

— учитывает контекст при формировании просодии

— использует новый токенизатор речи с частотой 12,5 Гц, который ускоряет обучение и вывод, увеличивает максимальную длину диалога и улучшает моделирование текста

Вот кстати про частоту - у потоковых голосовых моделей есть параметр частота токенизатора, это не частота дискретизации аудиосигнала.

Можно пилить подкасты в комфи

HF
Демо
ComfyUI-FireRedTTS

#voicecloning #tts #text2speech #russian #comfyUI

🔥6❤1👍1

2.4K views11:11

0:09

Dia2

Потоковый рилтаймовый генератор речи от Nari-labs, новая версия
Про первую версию тут

Всего 1B и 2B параметров.

Создает аудио до 2 минут на английском, ну этого должно хватать для диалогов. А для чего еще потоковая речь? Что с другими языками непонятно.

проект вдохновлён KyutaiTTS и Sesame

Гитхаб
HF
Демо

#tts #voicecloning #realtime #text2speech

👍6❤1

2.37K views13:36

4:36

VibeVoice-Realtime-0.5B

Потоковая рилтаймовая версия говорилки VibeVoice

— начинает говорить через 0.3 секунды, ещё до генерации полного ответа

— поддерживает ввод текста в потоковом режиме

— генерирует длинную речь

— использует эффективный акустический токенизатор с ультранизкой частотой кадров (7,5 Гц)

— не использует семантический токенизатор

— поддерживает только одного диктора

— ориентирована на английский язык, использование других языков может дать непредсказуемые результаты

Колаб

Спасибо @m_franz

#voicecloning #tts #text2speech #realtime #streaming

👍11❤1

1.79K viewsedited 07:41

Qwen3-TTS (version 2025-11-27)

Новая версия флагманской говорилки от Qwen

Добавили 49 голосов, поддержку 10 языков, в том числе русский

Улучшили способность адаптировать скорость речи и просодию в зависимости от текстового ввода, что делает речь более естественной и близкой к человеческой.

Демо HF
Демо MS
Qwen Chat - в ответе нажмите три точки, "Читать вслух"
Realtime API
Offline API

#tts #text2speech #voicecloning #realtime

🔥12❤4😱2👍1

2.55K views09:12

3:21

Media is too big

Qwen3-TTS: VoiceDesign и VoiceClone

Qwen представил обновку говорилок Qwen3-TTS

VoiceDesign создает уникальные голоса с нуля - не помню такой фичи вообще ни у кого!

VoiceClone быстро и качественно клонирует любой голос.

VoiceDesign-VD-Flash

Создает голос по текстовым инструкциям. Управляет тоном, ритмом, эмоциями и персоной. Создает уникальную вокальную идентичность. Превосходит GPT-4o-mini-tts и Gemini-2.5-pro в role-play.

VoiceClone-VC-Flash

Клонирует голос по 3 секундам аудио. Генерирует речь на 10 языках. Имеет на 15% более низкий WER, чем ElevenLabs и GPT-4o-Audio. Использует контекстно-зависимую интонацию и ритм для естественного звучания.

Qwen Chat

VoiceDesign HF Демо
VoiceDesign MS Демо

VoiceClone HF Демо
VoiceClone MS Демо

API VoiceDesign
API VoiceClone

#tts #text2speech #voicecloning #voicedesign #text2voice

🔥15👍5

2.74K views09:12

0:24

Inworld TTS-1.5

Коммерческая рилтаймовая говорилка, лидер TTS на Artificial Analisys arena

— работает быстрее предшествующих версий и многих аналогов — задержка до первого звука меньше 250 мс для версии Max и меньше 130 мс для Mini

— поддерживает 15 языков, включая русский - на плейграунде есть 4 русских голоса

— примерно в 25 раз дешевле аналогов

— доступна для развёртывания в облаке и на собственной инфраструктуре клиента

Есть две версии модели:

— Max — для большинства приложений, обеспечивает баланс качества и задержки

— Mini — для приложений, где критически важна минимальная задержка

Плейграунд

#tts #text2speech #realtime #russian

❤8👍2

2.15K views13:17

Qwen3-TTS в опенсорсе

Продолжаем день машинного голоса на Нейронавте

Qwen полностью выложил в опенсорс семейство голосовых моделей Qwen3-TTS: Voice Design, Clone и генератор

- 5 моделей - 0.6B и 1.7B
- 10 языков
- 12Hz tokenizer - сильная компрессия аудио без сильной потери качества

Гитхаб
Демо
HF
API

#tts #text2speech #voicecloning #voicedesign #text2voice

🔥10👍4❤1

2.82K views14:17

0:33

0:22

Maya-1 TTS

День машинного голоса на Нейронавте.

Эмоциональная рилтаймовая говорилка на 3B параметров с созданием голоса по промпту.

Эмоции задаются прямо в тексте тэгами эмоций:

<laugh>
<laugh_harder>
<sigh>

Поддерживает более 20 встроенных тегов эмоций

24КГц
Заводится на 16GB+ VRAM

HF
Демо
Плейграунд - у меня показывает 404

#tts #text2speech #realtime #voicedesign

👍11😭3

2.58K views15:37

ComfyUI-Qwen-TTS

Ноды клонирования голоса, генерации речи и дизайна голоса Qwen3-TTS

туториал (youtube)

#tts #text2speech #voicecloning #voicedesign #text2voice #comfyui #tutorial

👍19🤝1

2.9K views06:09

ComfyUI-QwenTTS

Еще один пак нод Qwen3-TTS

Клонированные голоса можно сохранять в библиотеку и снова использовать
———————————

ComfyUI-QwenASR

Ноды распознавания QwenASR

воркфлоу собранный на обоих этих штуках

#tts #text2speech #voicecloning #voicedesign #text2voice #comfyui #asr #stt

❤8👍3😎1

2.37K views12:16

ComfyUI-QwenTTS Еще один пак нод Qwen3-TTS Клонированные голоса можно сохранять в библиотеку и снова использовать ——————————— ComfyUI-QwenASR Ноды распознавания QwenASR воркфлоу собранный на обоих этих штуках #tts #text2speech #voicecloning #voicedesign…

TTS-Audio-Suite

Еще один пак кастом нод с Qwen3-TTS

Но тут и многое другое - собраны популярные голосовые модели

Видеообзор 20 минут (Youtube)

#tts #text2speech #voicecloning #voicedesign #text2voice #comfyui #asr #stt

1👍12❤1

2.17K views15:18

GLM-5: From Vibe Coding to Agentic Engineering А вот и официальный релиз GLM-5 744B параметров (активных — 40B) Контекстное окно на 200 тыс. токенов Использует технологию DeepSeek Sparse Attention (DSA), которая снижает затраты на развёртывание, но при…

0:55

Вместе с GLM-5 и Z code оказывается выпустили еще пару сервисов.

https://audio.z.ai/ - клонирование голоса и генерация речи.

Знает английский и китайский. Для клонирования достаточно 3- 10 секунд

На многое не рассчитывайте - максимум 200 символов на озвучку

Я попробовал голос русского Винни-Пуха. Голос воспроизводит но из-за того что он русский, он никаких языков не знает.

А вот кульминационная речь Джулса из Криминального чтива голосом Рика Эстли (образец был поющий). И потом та же речь каким-то стандартным голосом
——————

https://image.z.ai/ - вероятно под капотом январский GLM-Image

Попробовал сделать своего Человекорыба. Не справился с первой попытки. Впрочем, как и Seedream 5

Но картинка вполне. 2К, между прочим

Короче, идем тестить
——————

https://ocr.z.ai/

Распознавалка документов

Закинул рандомную картинку - все распознал правильно. Русский понимает. Принимает картинки и PDF
——————

В общем, Z.ai живет в закладках наравне с Qwen

#OCR #VLM #text2image #voicecloning #tts #text2speech

🔥7👍5❤4

2.13K views16:59

1:26

VoxCPM2

Новая версия говорилки без использования токенизатора на базе MiniCPM-4 с клонированием и созданием голоса. 2B параметров

- поддерживает более 30 языков

- позволяет создавать разнообразные голоса — от шёпота до кинематографического звучания

- студийное качество звука (48 кГц)

- использует технологию диффузионно-авторегрессионого клонирования, которая сохраняет акустические и эмоциональные детали лучше, чем токенизированные модели

- сама понимает, как надо интонационно читать текст, без дополнительных подсказок

- работает в режиме стриминга с низким временем отклика

Гитхаб
HF
MS
Демо

#tts #text2speech #realtime #voicecloning #streaming #voicedesighn

👍5🔥3

1.98K views06:38

0:23

0:19