MOSS-Transcribe-Diarize-0.9B
Компактная модель (0.9B) для транскрибации и диаризации в одном проходе (обычно для этого нужны 2 разные модели)
• структурированный вывод с таймкодами и спикерами
• обработка длинных записей
• поддержка hotwords и акустических событий
Гитхаб
HF
Демо
#transcribe #stt #diarize
Компактная модель (0.9B) для транскрибации и диаризации в одном проходе (обычно для этого нужны 2 разные модели)
• структурированный вывод с таймкодами и спикерами
• обработка длинных записей
• поддержка hotwords и акустических событий
Гитхаб
HF
Демо
#transcribe #stt #diarize
👍11
Muse Voice Transcribe
Meta (запрещено в РФ) Superintelligence Labs выкатила первую модель распознавания речи в реальном времени. Разбирает голос, диаризацию и определение конца фразы на лету без задержек
Возможности:
• потоковое распознавание речи
• диаризация 20+ говорящих одновременно
• определение конца реплики в потоке
• переключение между языками внутри одной фразы
• настройка на конкретные имена и термины
Поддержка 25+ языков. Русский не указан. В демонстрации модель разбирает восемь человек, говорящих одновременно, и правильно понимает кто что сказал.
Отдельно точность подтягивается контекстом: если упомянуть конкретное имя или место, модель его узнает и не путает с похожими словами
#stt #diarize #realtime
VK | MAX
Meta (запрещено в РФ) Superintelligence Labs выкатила первую модель распознавания речи в реальном времени. Разбирает голос, диаризацию и определение конца фразы на лету без задержек
Возможности:
• потоковое распознавание речи
• диаризация 20+ говорящих одновременно
• определение конца реплики в потоке
• переключение между языками внутри одной фразы
• настройка на конкретные имена и термины
Поддержка 25+ языков. Русский не указан. В демонстрации модель разбирает восемь человек, говорящих одновременно, и правильно понимает кто что сказал.
Отдельно точность подтягивается контекстом: если упомянуть конкретное имя или место, модель его узнает и не путает с похожими словами
#stt #diarize #realtime
VK | MAX
👍4🤷♂1
Nemotron 3 Diarization preview
NVIDIA выложила превью модели для диаризации речи - определения, кто и когда говорит в аудиозаписи. Работает на архитектуре streaming-sortformer, то есть умеет размечать спикеров в потоке, а не только по готовой записи.
Диаризация — это процесс определения, КТО говорит в аудиозаписи. Система анализирует звук и разбирает его по голосам: выделяет разные говорящих, отмечает моменты, где они начинают и заканчивают говорить
Доступ по запросу, лицензия nvidia-software-and-model-evaluation-license: использовать можно только для внутреннего тестирования, не в продакшене
Доступны блокноты для Google Colab и Kaggle, интеграция с библиотекой NeMo.
#diarize
VK | MAX
NVIDIA выложила превью модели для диаризации речи - определения, кто и когда говорит в аудиозаписи. Работает на архитектуре streaming-sortformer, то есть умеет размечать спикеров в потоке, а не только по готовой записи.
Диаризация — это процесс определения, КТО говорит в аудиозаписи. Система анализирует звук и разбирает его по голосам: выделяет разные говорящих, отмечает моменты, где они начинают и заканчивают говорить
Доступ по запросу, лицензия nvidia-software-and-model-evaluation-license: использовать можно только для внутреннего тестирования, не в продакшене
Доступны блокноты для Google Colab и Kaggle, интеграция с библиотекой NeMo.
#diarize
VK | MAX
👍4❤1🔥1🤔1
Nemotron 3 Diarization от NVIDIA
Финальная версия диаризации на 100 млн параметров - размечает речевые отрезки каждого участника на записи и в потоке
• до восьми собеседников - вдвое больше предыдущей Sortformer
• одновременная речь не мешает - модель выдает вероятности для каждого участника
• длина записи не ограничена - звук режется фрагментами
• метки анонимные: speaker_X с такой-то по такую-то секунду, без определения личности
• имена и роли привязываются логикой сценария в приложении
• моно-вход 16 кГц
• кадры по 80 мс, предсказание каждые 10 мс
• кэш голосов в потоковом режиме - собеседники запоминаются между фрагментами
HF
Демо
Спасибо @m_franz
#diarize
MAX
Финальная версия диаризации на 100 млн параметров - размечает речевые отрезки каждого участника на записи и в потоке
• до восьми собеседников - вдвое больше предыдущей Sortformer
• одновременная речь не мешает - модель выдает вероятности для каждого участника
• длина записи не ограничена - звук режется фрагментами
• метки анонимные: speaker_X с такой-то по такую-то секунду, без определения личности
• имена и роли привязываются логикой сценария в приложении
• моно-вход 16 кГц
• кадры по 80 мс, предсказание каждые 10 мс
• кэш голосов в потоковом режиме - собеседники запоминаются между фрагментами
HF
Демо
Спасибо @m_franz
#diarize
MAX
🔥9❤1👍1
MAI-Transcribe-2-Streaming и MAI-Voice-2.1
Microsoft обновил речевые модели: первый потоковый транскрибатор и два синтезатора речи в Microsoft Foundry.
• Стриминговая транскрибация с черновыми расшифровками чуть больше чем за 100 мс
• Непрерывное автоопределение языка
• Один виртуальный голос на всех языках с родным произношением, без акцента
• Клонирование голоса по нескольким секундам образца
• Диаризация говорящих
• Распознавание: 60 языков
• Синтез: 23 языка, 26 локалей
• Час транскрибации — $0.54 по акции до конца года
• Миллион знаков синтеза: $22 у основной, $15 у Flash
Доступны в Microsoft Foundry, MAI Playground, Azure Voice Live, на OpenRouter и Vercel. На Artificial Analysis потоковый транскрибатор стартовал с первого места.
#asr #tts #streaming #diarize
MAX
Microsoft обновил речевые модели: первый потоковый транскрибатор и два синтезатора речи в Microsoft Foundry.
• Стриминговая транскрибация с черновыми расшифровками чуть больше чем за 100 мс
• Непрерывное автоопределение языка
• Один виртуальный голос на всех языках с родным произношением, без акцента
• Клонирование голоса по нескольким секундам образца
• Диаризация говорящих
• Распознавание: 60 языков
• Синтез: 23 языка, 26 локалей
• Час транскрибации — $0.54 по акции до конца года
• Миллион знаков синтеза: $22 у основной, $15 у Flash
Доступны в Microsoft Foundry, MAI Playground, Azure Voice Live, на OpenRouter и Vercel. На Artificial Analysis потоковый транскрибатор стартовал с первого места.
#asr #tts #streaming #diarize
MAX
👍2