Data Science by ODS.ai 🦜

Contrastive Semi-supervised Learning for ASR

Nowadays, pseudo-labeling is the most common method for pre-training automatic speech recognition (ASR) models, but in the case of low-resource setups and domain transfer, it suffers from a supervised teacher model’s degrading quality. The authors of this paper suggest using contrastive learning to overcome this problem.

CSL approach (Contrastive Semi-supervised Learning) uses teacher-generated predictions to select positive and negative examples instead of using pseudo-labels directly.

Experiments show that CSL has lower WER not only in comparison with standard CE-PL (Cross-Entropy pseudo-labeling) but also under low-resource and out-of-domain conditions.

To demonstrate its resilience to pseudo-labeling noise, the authors apply CSL pre-training in a low-resource setup with only 10hr of labeled data, where it reduces WER by 8% compared to the standard cross-entropy pseudo-labeling (CE-PL). This WER reduction increase to 19% with a teacher trained only on 1hr of labels and 17% for out-of-domain conditions.

Paper: https://arxiv.org/abs/2103.05149

#deeplearning #asr #contrastivelearning #semisupervised

17.5K views08:37

🎤 18 👀 26

Открыть комментарии

Data Science by ODS.ai 🦜

Forwarded from Machinelearning

🎙️

NVIDIA выпустили Canary-1B v2 — открытую модель для распознавания и перевода речи, которая работает с 25 европейскими языками.

Что она умеет:
- 📝 Точное ASR (распознавание речи) и AST (перевод речи) между английским и 24 другими языками.
- Автоматическая пунктуация, капитализация и точные таймстампы до слова.
- Поддержка русского, французского, немецкого, испанского и многих других языков.

Чем интересна
- До 10× быстрее инференс, чем у моделей в 3 раза больше.
- Уже показывает state-of-the-art точность среди открытых моделей на Hugging Face.
- Лицензия CC-BY-4.0 — можно свободно использовать в проектах.

Под капотом:
- Архитектура: FastConformer-энкодер + Transformer-декодер (~978M параметров).
- Форматы: .wav и .flac, моно 16 кГц.
- Легко интегрируется через NVIDIA NeMo или прямо с Hugging Face.

Где пригодится:
🟢 голосовые ассистенты
🟢 субтитры и перевод видео
🟢 чат-боты с речевым вводом
🟢 real-time анализ речи

Всего ~978M параметров → легче, быстрее и дешевле в использовании, чем большие модели конкурентов.

🟠

Попробовать можно здесь: https://huggingface.co/nvidia/canary-1b-v2

🟠

SET: https://huggingface.co/datasets/nvidia/Granary

🟠

PARAKEET: https://huggingface.co/nvidia/parakeet-tdt-0.6b-v3

@ai_machinelearning_big_data

#AI #NVIDIA #SpeechRecognition #ASR #AST #Multilingual #MachineLearning #DeepLearning

Please open Telegram to view this post

VIEW IN TELEGRAM

Please open Telegram to view this post

VIEW IN TELEGRAM

❤5👍4🔥4

2K views11:30

Data Science by ODS.ai 🦜

Forwarded from Сибирские Нейросети: AI-агенты и малые безопасные языковые модели для бизнеса

🚀 Встречайте asr_eval: наш новый открытый инструментарий для оценки и сравнения ASR-моделей!

Мы в SibNN постоянно работаем над тем, чтобы наше распознавание речи было самым точным и быстрым. Но как объективно сравнить новую модель с предыдущей версией или с SOTA-решениями от Sber, NVIDIA, OpenAI и другими open-source проектами? Раньше это была боль: разные метрики, форматы, тайминги, куча скриптов под каждый эксперимент.

Чтобы упростить себе жизнь и дать сообществу удобный стандарт, мы разработали asr_eval — open-source Python-библиотеку, которая меняет подход к тестированию систем распознавания речи. Репозиторий только что открыт, и мы ищем первых пользователей и контрибьюторов!

❓ Зачем это нужно?
До сих пор сравнение ASR-моделей часто было головной болью. asr_eval решает эти проблемы «из коробки», предлагая единый, гибкий и мощный фреймворк.

✨ Что умеет библиотека?

🧪 Глубокая оценка (Evaluation)
Поддерживает расширенный синтаксис аннотаций с множественными референсами и блоками. Это позволяет тестировать модели на сложных кейсах (например, с разными вариантами расшифровки или шумами).

⚙️ Масштабный бенчмаркинг (Benchmarking)
Позволяет запускать сравнительные тесты моделей в автоматическом режиме. С его помощью мы регулярно сравниваем наши модели с популярными решениями (Whisper, Wav2Vec2, Nemo и др.) на единых датасетах. А встроенный веб-дашборд делает анализ результатов наглядным и удобным. Идеально для выбора лучшей модели под вашу задачу!

➰ Поддержка стриминга (Streaming)
Уникальная фича! Библиотека содержит базовые классы и буферы для оценки моделей в реальном времени. Вы можете строить диаграммы задержек и качества прямо в процессе потокового распознавания — критично для голосовых ассистентов.

📦 Для кого это?
Разработчиков голосовых помощников, исследователей speech technologies, дата-сайентистов, которым нужен прозрачный и воспроизводимый процесс валидации ASR.

Мы выложили код на GitHub и активно развиваем проект. Приглашаем вас попробовать, форкнуть, предложить идеи или просто оценить.

👉 GitHub: https://github.com/SibNN/asr_eval
📚 Документация: sibnn.github.io/asr_eval/
📄 Препринт статьи с подробным описанием методологии и экспериментов: https://arxiv.org/abs/2601.20992

Сделаем ASR-оценку прозрачной и удобной вместе! 🔥

#asr_eval #sibnn #ASR #SpeechRecognition #OpenSource #Python #MachineLearning

GitHub

GitHub - SibNN/asr_eval: Evaluation tools for Automatic Speech Recognition (ASR), model and dataset collection

Evaluation tools for Automatic Speech Recognition (ASR), model and dataset collection - SibNN/asr_eval

👍6❤1🤯1

1.76K views09:11

About

Blog

Apps

Platform