​​MMS: Scaling Speech Technology to 1000+ languages

Get ready for a breakthrough in speech technology that is set to revolutionize the world of communication! The field, which has so far been restricted to around a hundred languages, barely scratches the surface of the more than 7,000 languages spoken globally. The Massively Multilingual Speech (MMS) project is taking a monumental leap to bridge this gap, increasing the number of supported languages by an astounding 10 to 40 times, depending on the task. This unprecedented expansion will be a game-changer, significantly improving global access to information and creating a more inclusive digital landscape.

This incredible feat is achieved through the creation of a new dataset drawn from publicly available religious texts and the strategic implementation of self-supervised learning. The MMS project's achievements are staggering, including the development of pre-trained wav2vec 2.0 models for 1,406 languages, a single multilingual automatic speech recognition model for 1,107 languages, speech synthesis models for as many languages, and a language identification model for a whopping 4,017 languages. Even more impressive is the significant improvement in accuracy - our multilingual speech recognition model more than halves the word error rate of Whisper on 54 languages of the FLEURS benchmark, despite being trained on a significantly smaller dataset.

Paper link: https://research.facebook.com/publications/scaling-speech-technology-to-1000-languages/
Blogpost link: https://ai.facebook.com/blog/multilingual-model-speech-recognition/
Code link: https://github.com/facebookresearch/fairseq/tree/main/examples/mms

A detailed unofficial overview of the paper: https://andlukyane.com/blog/paper-review-mms
#deeplearning #speechrecognition #tts #audio

🎧 MiniMax продолжают жечь и выпускают генератор речи

🧁 Voice Design — продвинутая кастомизация генерации голоса:
• Позволяет задавать текст, голос, тон, эмоции, можно клонировать голос.
• Продвинутая кастомизация и мультиязычная поддержка

Попробовать можно здесь →https://minimax.io/audio

@ai_machinelearning_big_data


#audio #ai #ml #MiniMax

Hugging Face запустил курс по аудио-трансформерам

Hugging Face выпустил бесплатный курс по применению трансформеров для обработки аудио.

Курс покрывает распознавание речи, классификацию звука и генерацию речи из текста. Включает теорию, квизы и практические задания с предобученными моделями.

Предназначен для разработчиков с базовыми знаниями по ML и трансформерам. Опыт работы с аудио не требуется.

Доступна сертификация после выполнения упражнений. Материалы выходят блоками в течение нескольких недель.

#HuggingFace #курсы #audio #обучение
———
@tsingular

ElevenLabs релизнули v3: умный TTS теперь понимает контекст

ElevenLabs выкатили из альфы свою самую мощную модель — v3. Теперь она официально доступна всем. Главный фокус релиза интеллект теперь интерпретирует текст перед генерацией.

Модель научили понимать, что именно она читает. Это решает старую проблему TTS, когда ИИ читал номер телефона как «девять миллиардов...» вместо последовательности цифр.

🛡 Снижение ошибок на 68%: Общий уровень ошибок в чтении сложных данных упал с 15.3% до 4.9%. Это касается всего: от валют и координат до химических формул.

🧠 Контекстное чтение: Система, например, теперь корректно различает счет в матче (102-98 читается как «сто два — девяносто восемь»), в обозначении времени или масштаба.
Раньше ИИ мог просто сказать «минус» вместо счета.

⚡️ Стабильность: Внутренние тесты показали, что пользователи в 72% случаев предпочитают v3 предыдущим версиям. Модель стала вести себя предсказуемее на длинных дистанциях и сложных технических текстах.

Зачем это бизнесу: Для автоматизации медиа, создания аудиокниг и ИИ-ассистентов v3 становится стандартом. Проблема «роботизированного» чтения цифр и символов уходит. Контент теперь можно генерировать пачками, не боясь, что ИИ споткнется на первой же финансовой сводке или формуле.

#ElevenLabs #Audio #TTS
———
@tsingular