NotebookLlama: PDF в подкаст с помощью нейросетей

Представлен интересный инструментарий для трансформации PDF-документов в аудиоподкасты с использованием различных языковых моделей.
Процесс включает очистку текста, генерацию сценария и создание аудио с применением TTS-моделей parler-tts и bark/suno.
Система поддерживает разные версии Llama (70B, 8B, 1B) в зависимости от доступных вычислительных ресурсов.
Гибкая архитектура позволяет экспериментировать с системными промптами и настраивать различные голоса для разных спикеров.

Теперь можно слушать научные статьи в машине, как подкасты. Обсуждение в студии от нейросетевых экспертов! 🎧📚

#NotebookLlama #TTS #podcast
-------
@tsingular

Kokoro - интересная TTS модель, для генерации голоса из текста.

Демо

Бесплатная, открытая, очень качественная и быстрая, но русского не знает.

Но есть лайфхак :)

Написать ей запрос транслитом

сама модель

#Kokoro #TTS
———
@tsingular

Hailuo Audio HD: новый генератор голоса на 17 языках с клонированием

MiniMax представил модель T2A-01-HD - передовую технологию синтеза естественной речи с впечатляющими возможностями.

Система позволяет создавать реалистичные голоса из 10-секундного сэмпла или выбрать из 300+ готовых вариантов.

Встроенный эмоциональный движок автоматически определяет и воспроизводит тональность речи.

Поддерживается 17 языков включая русский, с региональными акцентами и диалектами.

Профессиональные звуковые эффекты добавляют реалистичности: акустика помещений, телефонные фильтры.

Доступна тонкая настройка высоты тона, скорости и эмоциональной окраски каждой фразы.

В открытом виде для локального запуска пока нет, но можно использовать через API.

#Hailuo #MiniMax #TTS #Китай
------
@tsingular

Zonos: мультиязычный TTS с клонированием голоса

Новый open source проект Zonos представляет революционную систему преобразования текста в речь.
База в 200 000 часов аудио обеспечивает поддержку 5 языков: английский, японский, китайский, французский и немецкий.
Система позволяет клонировать голос по короткому образцу с возможностью настройки скорости, тона и эмоциональной окраски.
Архитектура построена на eSpeak и DAC-трансформере с выводом звука в качестве 44кГц.
Интерфейс реализован через Gradio с возможностью многократного сэмплирования и Docker-установкой.

Жаль пока без русского

#Zonos #TTS #VoiceCloning
-------
@tsingular

🔊Unsloth опубликовал готовый код для файнтюна TTS моделей

Unsloth выпустил набор блокнотов для файнтюнинга моделей Text-to-Speech (TTS), предлагая разработчикам мощный инструментарий кастомизации.

Технические возможности:
- Оптимизированная производительность: в 1.5 раза быстрее и на 50% меньше потребление памяти благодаря Flash Attention 2
-Поддержка популярных моделей: Sesame CSM (1B), Orpheus (3B), CrisperWhisper, Spark и другие модели из экосистемы transformers
- Двусторонний подход: поддержка как TTS (текст-в-речь), так и STT (речь-в-текст) моделей, включая OpenAI Whisper

Блокноты для файнтюна:
- Sesame-CSM (1B)
- Orpheus-TTS (3B)
- Whisper Large V3 (STT)
- Spark-TTS (0.5B)
- Llasa-TTS (3B)
- Oute-TTS (1B)

Практическое применение:
- Клонирование голосов: создание кастомных голосовых моделей
- Настройка стиля и тона: адаптация эмоциональной окраски (поддержка тегов типа <laugh>, <sigh>)
- Поддержка новых языков: расширение языковых возможностей базовых моделей
- Экспорт в различные форматы: поддержка llama.cpp для совместимости

Рабочий процесс:
1. Загрузка модели через FastModel с опциями для 16-бит LoRA или полного файнтюнинга
2. Подготовка датасета- поддерживаются как готовые наборы с Hugging Face, так и собственные датасеты
3. Настройка параметров обучения с оптимизированными настройками для голосовых моделей
4. Запуск файнтюнинга с мониторингом прогресса
5. Сохранение и экспорт результатов в различные форматы

Unsloth существенно упрощает файнтюн, делая технологии персонализации голоса более доступными для разработчиков.

Самое вкусное во всей этой истории, - готовые коллаб-блокноты.
Можно пользовать из облака или скопировать себе и запускать локально.

#Unsloth #TextToSpeech #TTS #finetuning
———
@tsingular

🔥 OpenAudio S1: наконец-то годный открытый TTS с русским языком

Fish Audio выпустили OpenAudio S1 — интересную открытую модель с точным контролем эмоций и поддержкой 13ти языков.

Технические характеристики:

2 версии:
• S1 (4B): Полноразмерная модель с максимальным качеством генерации и точностю в деталях - доступна пока только в онлайне тут: https://fish.audio/ .
• S1-mini (0.5B): Качественный дистиллят на основе 1й модели, доступен бесплатно на HF: https://huggingface.co/fishaudio/openaudio-s1-mini . Лицензия CC-BY-NC-SA-4.0 (можно делиться, адаптировать и развивать исходник, но вы должны указать автора, использовать в некоммерческих целях и делиться любыми модификациями на тех же условиях.)

Обучена на 2+ млн часов аудио
WER: 0.008, CER: 0.004 — лучшие показатели точности

#1 в Human Subjective Evaluation на HuggingFace TTS-Arena-V2

Что особенного в модели:
- Единая модель для семантики + акустики (без потери информации)
- Продвинутые эмоциональные маркеры: (angry), (excited), (whispering)
- Специальные эффекты: (laughing), (sobbing), (crowd laughing)

Поддержка 13 языков, включая русский

Доступная цена:
$15/1млн знаков текста (~$0.8/час) — на порядок дешевле конкурентов.

Архитектура основана на Qwen3 с нативной мультимодальностью.

Го тестить! :)

#TTS #OpenAudio #русский
———
@tsingular

ElevenLabs выкатили v3 генератор

Всё реалистичнее и реалистичнее.

Пробуем тут:
https://elevenlabs.io/app/speech-synthesis/text-to-speech

Инструкция

#ElevenLabs #TTS
———
@tsingular

Speech Note,- оффлайн комбайн для Linux с поддержкой русского

Полноценный набор инструментов для работы с речью без интернета.

Speech Note умеет распознавать речь в текст, читать текст вслух и переводить между языками.

Ключевые фишки:
- Полностью офлайн работа - никуда не передает данные
- Поддержка русского языка для всех функций
- CLI интерфейс для автоматизации
- Доступен через Flatpak на Flathub

Использует движки Whisper, Coqui TTS, Piper и многие другие.
Модели скачиваются прямо из приложения.

Отличный комбайн, который можно развернуть на сервере и вызывать через CLI тем же n8n.

#STT #TTS #SpeechNote
------
@tsingular

Eleven v3 (alpha) стала доступна через API

ElevenLabs открыла доступ к новой версии своей голосовой модели через API.

Основные улучшения - более эмоциональная выразительность и реалистичный синтез речи.

В модель встроена система водяных знаков VoiceShield - теперь можно отслеживать сгенерированный ИИ контент.

ИИ голос будет ещё сложнее отличить от настоящего человека.

#ElevenLabs #TTS #API
------
@tsingular

OpenAudio ex Fish Speech TTS обновился.

https://fish.audio/app/

Новая модель S1
в 6 раз дешевле ElevenLabs,
Эмоциональная достоверность генераций.
есть клонирование голоса и поддержка русского языка (качество русского заметно хуже, чем английского) .

Дают бесплатные 8К кредитов ежемесячно
за $11/m 250К кредитов в месяц

Есть Opensource S1-mini

#TTS #Fish
———
@tsingular

ResembleAI выкатили Chatterbox Turbo

Resemble выпустили Chatterbox Turbo,- речевую модель на 1.2B параметров, которая генерит аудио со скоростью 180 токенов/сек на одной H100.

Работает на диффузной архитектуре практически в реальном времени даже на средних серверах.

Поддерживает клонирование голоса, управление интонацией и эмоциями через текстовые промпты.

Поддержка языков:
Arabic (ar) • Danish (da) • German (de) • Greek (el) • English (en) • Spanish (es) • Finnish (fi) • French (fr) • Hebrew (he) • Hindi (hi) • Italian (it) • Japanese (ja) • Korean (ko) • Malay (ms) • Dutch (nl) • Norwegian (no) • Polish (pl) • Portuguese (pt) • Russian (ru) • Swedish (sv) • Swahili (sw) • Turkish (tr) • Chinese (zh)

Turbo только английский поддерживает, к сожалению. Для других языков там multilingual, который только по api (русский он ужасно генерирует)

Лицензия MIT — качай, крути на своём железе, интегрируй куда хочешь.

HuggingFace

GitHub

Отменяем подписку на ElevenLabs :)
Добавляем в коллекцию opensource.

#ResembleAI #TTS #Chatterbox
———
@tsingular

🗣 Новая линейка Qwen3-TTS: VoiceDesign и VoiceClone

Qwen представили новое поколение TTS-моделей, которые выводят управление голосом и voice cloning на новый уровень. Быстрее, выразительнее и гибче, чем раньше.

VoiceDesign-VD-Flash
Модель для полного конструирования голоса с нуля.

Что умеет:
- полный контроль речи через обычные текстовые инструкции
- управление тоном, ритмом, эмоциями и персоной
- никаких готовых голосов - ты создаешь уникальную вокальную идентичность
- превосходит GPT-4o-mini-tts и Gemini-2.5-pro в role-play бенчмарках

Подходит для:
- игровых персонажей
- виртуальных ассистентов
- сторителлинга и диалогов
- AI-персонажей с характером

VoiceClone-VC-Flash
Фокус на быстрое и качественное клонирование голоса.

Ключевые возможности:
- клонирование любого голоса всего по 3 секундам аудио
- генерация речи на 10 языках (китайский, английский, японский, испанский и другие)
- на 15% ниже WER по сравнению с ElevenLabs и GPT-4o-Audio в мультиязычных тестах
- контекстно-зависимая интонация и ритм для более естественного звучания
https://x.com/Alibaba_Qwen/status/2003445076257656880
Попробовать:
• Qwen Chat: http://chat.qwen.ai
• Блог: https://qwen.ai/blog?id=qwen3-tts-vc-voicedesign
• VoiceDesign:
http://hf.co/spaces/Qwen/Qwen3-TTS-Voice-Design
http://modelscope.cn/studios/Qwen/Qwen3-TTS-Voice-Design
• VoiceClone:
http://hf.co/spaces/Qwen/Qwen-TTS-Clone-Demo
http://modelscope.cn/studios/Qwen/Qwen-TTS-Clone-Demo

@ai_machinelearning_big_data


#AI #TTS #voicecloning

Qwen3-TTS: синтез речи с клонированием голоса

Alibaba выкатила Qwen3-TTS — семейство моделей для синтеза речи с поддержкой русского.

В коллекции шесть вариантов:
- Base модели (0.6B и 1.7B) — базовый синтез
- CustomVoice — клонирование голоса по образцу
- VoiceDesign — генерация голоса по текстовому описанию

Все модели работают на 12Hz частоте акустических токенов — это ~83мс на токен, примерно один фонем.
Такая низкая частота экономит вычисления, но может терять детали в сибилянтах и палатализованных согласных (важно для русского).

Китайцы методично закрывают все модальности.

#Qwen #TTS #Китай
------
@tsingular

И к российским новостям:

Депутаты Госдумы готовят законопроект, предусматривающий запрет на использование технологий синтеза человеческого голоса при телефонных обзвонах. Современные нейросети способны воспроизводить речь, неотличимую от речи живого человека, из-за чего становится практически невозможно определить, кто находится на другом конце линии — алгоритм или реальный собеседник. Этой уязвимостью всё чаще пользуются мошенники.
@banksta

Помянем TTS

#Россия #законы #TTS
------
@tsingular

Молти: Буря мглою небо кроет

Команда:

я хочу чтобы ты изучил официальную документацию elevenlabs по API и обновил свой skill сделав его более совершенным и удобным.

для TTS, кстати, обрати внимание, что у них есть разметка для выразительной речи. её тоже изучи и опиши у себя в skill чтобы ты знал как её максимально эффективно использовать

Молти:

Готово! Обновлённый skill ElevenLabs создан и протестирован.

Что сделал:
ElevenLabs Skill — обновлён и работает
Добавлено в SKILL.md:
SSML — Expressive Speech

———CUT———

⚡️ Пушкин в твоём голосе!

Это «Зимний вечер» Александра Пушкина — 1 MB чистой выразительности в твоём клонированном голосе.

Использовано Audio Tags:

• [whispers] — тайный шёпот начала
• [sad] — тоска «вечтой лачужки»
• [laughs softly] — ирония «выпьем, добрая подружка»
• [happily] — радость предложения выпить
• [dramatic tone] — бури как зверя
• [tired] — усталость путника
• [calm] — тишина за морем
• [pause] — переживания между строками
Размер: 1005 KB — полное стихотворение в одном файле.

Теперь можешь озвучивать любые тексты своим голосом с эмоциями. Просто пришли стих, прозу, статью — всё сделаем!

#Molty #Elevenlabs #TTS
———
@tsingular

ElevenLabs релизнули v3: умный TTS теперь понимает контекст

ElevenLabs выкатили из альфы свою самую мощную модель — v3. Теперь она официально доступна всем. Главный фокус релиза интеллект теперь интерпретирует текст перед генерацией.

Модель научили понимать, что именно она читает. Это решает старую проблему TTS, когда ИИ читал номер телефона как «девять миллиардов...» вместо последовательности цифр.

🛡 Снижение ошибок на 68%: Общий уровень ошибок в чтении сложных данных упал с 15.3% до 4.9%. Это касается всего: от валют и координат до химических формул.

🧠 Контекстное чтение: Система, например, теперь корректно различает счет в матче (102-98 читается как «сто два — девяносто восемь»), в обозначении времени или масштаба.
Раньше ИИ мог просто сказать «минус» вместо счета.

⚡️ Стабильность: Внутренние тесты показали, что пользователи в 72% случаев предпочитают v3 предыдущим версиям. Модель стала вести себя предсказуемее на длинных дистанциях и сложных технических текстах.

Зачем это бизнесу: Для автоматизации медиа, создания аудиокниг и ИИ-ассистентов v3 становится стандартом. Проблема «роботизированного» чтения цифр и символов уходит. Контент теперь можно генерировать пачками, не боясь, что ИИ споткнется на первой же финансовой сводке или формуле.

#ElevenLabs #Audio #TTS
———
@tsingular

🎧 Fish Audio S2 Pro - мощная open-source модель для синтеза речи.

Это 4B + 400M параметровая TTS-модель с необычной архитектурой Dual-AR, обученная на 10+ миллионах часов аудио и поддерживающая 80+ языков.

Что делает её интересной.

🏗 Dual-AR архитектура

Модель разделена на две части:

• 4B Slow AR отвечает за семантику и структуру речи
• 400M Fast AR генерирует 9 residual codebooks для акустики

Такой подход позволяет сохранить высокое качество звука без сильной нагрузки на инференс.

🎭 Свободное управление эмоциями и интонацией

Можно прямо в тексте задавать стиль речи:

[whisper]
[laughing]
[professional broadcast tone]

Поддерживается 15 000+ тегов, которые работают на уровне отдельных слов.

🌐 80+ языков

Основные языки высокого качества:

• английский
• китайский
• японский

⚡ Оптимизация для LLM-инфраструктуры

Модель нативно работает со стеком SGLang, поэтому поддерживает:

• continuous batching
• paged KV cache
• RadixAttention prefix caching

📊 Производительность

• RTF: 0.195 на Nvidia H200
• ~100 мс до первого аудио
• более 3000 акустических токенов/сек

Также разработчики выложили:

• веса модели
• код для fine-tuning
• движок для streaming inference

Модель: https://modelscope.ai/models/fishaudio/s2-pro

GitHub: https://github.com/fishaudio/fish-speech

#ai #tts #opensourсe

🎯Полезные Мл-ресурсы 🚀 Max

@data_analysis_ml

Supertonic v3: синтез речи на процессоре, 31 язык, 99 млн параметров

Supertone (корейская дочка HYBE, компании за BTS) выпустила Supertonic v3: 99M параметров, 31 язык, весь синтез на CPU через ONNX Runtime.

Как результат, - Raspberry Pi озвучивает текст в реальном времени. Е-ридер Onyx Boox синтезирует речь с RTF 0.3× в авиарежиме.
Без интернета, GPU и облака.

🤖 Архитектура: 99M параметров против 0.7B-2B у конкурентов. Весь синтез через ONNX Runtime, GPU не нужен. Работает на Raspberry Pi, в браузере (WebGPU/WASM), на iOS/Android. 11 SDK: Python, Swift, Rust, Go, C++, Flutter и другие.

🔊 Что нового в v3: Охват языков вырос с 5 до 31 (включая русский). Меньше пропусков и повторов при чтении. Выразительные теги: смех, вдох, вздох. Совместима по ONNX-интерфейсу с v2.

📊 Естественный текст: Корректно читает финансовые цифры, телефоны с добавочными номерами, технические единицы без препроцессинга.
По тестам от разработчика ElevenLabs, OpenAI, Gemini, Microsoft этот тест проваливают. (MarkTechPost)

💼 Зачем бизнесу: Голос без облака: встроенные устройства, мобильные приложения, браузер, - все теперь сможет генерить голос локально.
Лицензия OpenRAIL-M на веса, MIT на код.

Веса: 🤗 Hugging Face · Демо: 🤗 Space

🔗 Аналоги:
• Kokoro - 82M параметров, Apache 2.0, 8 языков
• Piper - на устройстве, C++/ONNX, много языков
• Sherpa-ONNX - фреймворк локального вывода речи

#TTS #ONNX #синтезречи #edgeai #supertonic
------
@tsingular

ElevenLabs Dubbing v2: AI-дубляж, который переносит не текст, а исполнение

ElevenLabs выпустила Dubbing v2 — первую AI-модель дубляжа, которая работает не с транскриптом, а напрямую с исходным аудио.
Интонация, тембр, паузы и эмоции оригинального спикера переносятся в перевод без потерь.

📋 Что внутри: Audio-to-audio модель, без транскрипта в промежуточном слое. Автоматическое клонирование голоса спикера — не нужна настройка, pitch и тембр сохраняются. Sync-aware translation: перевод адаптируется под длину фраз оригинала, начало и конец реплик совпадают автоматически. 90+ языков и акцентов. Вход: аудио, видео или текст. Выход: синхронизированный дубляж.

🔧 Чем отличается от v1: Предыдущая версия тянула смысл из транскрипта и накладывала его на синтезированный голос. Эмоции и ритм терялись. Dubbing v2 кондиционируется на голосовом сигнале: модель анализирует тон, темп, эмоциональный регистр и воспроизводит их в переводе. Индустрия движется к мультимодальной обработке сигнала, а не к тексту как универсальному промежуточному представлению.

💼 Доступ:
ElevenCreative для создателей и маркетинга: загрузил контент, выбрал язык, получил дубляж.
ElevenProductions для студий с вещательным качеством. API для enterprise пока через sales.
Первые 7 дней — бесплатный доступ на всех тарифах: минута на Free, 15 минут на Starter, 30 минут на Creator.

Профессиональный дубляж стоил сотни долларов за минуту, Dubbing v2 даёт близкое качество за копейки.

#ElevenLabs #AI #дубляж #TTS
------
@tsingular