🗣 وقتی LM ضعیف، کلمات نادر رو قربانی می‌کنه

طبق گزارش جدید کانال فناوری گفتار، ترکیب مدل‌های CTC با یک LM ساده (n‑gram) خطای بازشناسی کلمات نادر را به‌شدت افزایش می‌دهد.

همیشه فکر می‌کردیم که ترکیب CTC + LM برای تطبیق سریع با دامنه‌ی جدید، معماری خوبی است. حتی تست‌های WER هم مزیتش رو نشون می‌داد. ولی آزمایش‌های جدید روی کلمات نادر، نشون داده که این ترکیب به اون خوبی که فکر می‌کردیم عمل نمی‌کنه.

بیشتر سیستم‌هایی که از n-gram shallow fusion استفاده می‌کنند، WER کلمات نادرشون به‌مراتب بدتر از WER کلمات نادر در مدل‌های RNNT و حتی خود CTC بدون LM هست.

داستان از این قراره که دقت مدل Conformer به‌تنهایی اونقدر بالاست که یه LM اضافه‌ی ضعیف با perplexity ۱۰۰–۲۰۰ نه‌تنها کمکی نمی‌کنه، بلکه اوضاع رو بدتر می‌کنه و مدل رو گیج می‌کنه. از طرفی، ساختن یه n-gram LM قوی‌تر هم کار آسونی نیست. برای کاهش perplexity به معماری پیشرفته‌تری نیازه که بتونه زمینه‌ی طولانی‌تری رو ببینه، و این فقط با ترنسفورمرها ممکنه.

واقعاً قضیه جالبی شده. یه LLM قوی مطمئناً اینجا کمک می‌کنه، ولی سؤال اصلی اینه که چطور می‌تونیم سریع با دامنه‌ی جدید تطبیق پیدا کنیم.

🔍 چهار یافته‌ی مهم از یک مقایسه:

🔹مورد اول GigaAM3 CTC به‌تنهایی:
WER کلی ۱۶.۷۲٪ – WER کلمات نادر ۲۱.۷۶٪

🔹مورد دوم GigaAM3 CTC + LM:
خطای WER کلی ۱۵.۲۳٪ – WER کلمات نادر ۲۹.۵۹٪
یعنی اضافه کردن مدل زبانی، WER کلی را کمی بهتر کرده، اما کلمات نادر را ۳۶٪ بدتر تشخیص داده!

🔹مورد سوم T-one CTC + LM از همه بدتر:
خطای WER کلی ۱۶.۸٪ – WER کلمات نادر ۳۷.۸۳٪
یعنی از هر سه کلمه‌ی نادر، بیش از یک کلمه اشتباه تشخیص داده می‌شه.

🔹مورد چهارم اما GigaAM3 RNNT بدون LM:
خطای WER کلی ۱۵.۶۵٪ – WER کلمات نادر ۲۰.۵۸٪
تعادل رو به‌خوبی حفظ کرده.

🔹 بهترین نتیجه؟ فاین‌تیون GigaAM3 RNNT:
خطای WER کلی ۱۴.۶۴٪ – WER کلمات نادر ۲۱.۲۲٪

🎯 چرا این اتفاق می‌افته؟

مدل‌های آکوستیک مدرن (مثل Conformer) آنقدر قوی شدن که اطلاعات زبانی زیادی رو یاد گرفتن. وقتی یه LM ضعیف (با پرپلکسیتی ۱۰۰ تا ۲۰۰) رو بهش وصل می‌کنیم، به‌جای کمک، مدل رو گیج می‌کنه. مخصوصاً برای کلمات نادر، پیشنهادهای اشتباه LM، تشخیص رو بدتر می‌کنه.

💡 پس راهکار چیه؟

به‌جای ترکیب سطحی (Shallow Fusion):

✅ از مدل‌های Transducer (RNNT) بدون LM خارجی استفاده کنید.
✅ مدل رو روی داده‌های همون حوزه فاین‌تیون کنید.
✅ از بازبینی دومرحله‌ای (Second‑pass Rescoring) با یه LLM سبک استفاده کنید.
✅ از سوگیری زمینه‌ای (Contextual Biasing) برای تقویت کلمات کلیدی استفاده کنید.

🔗 منابع برای مطالعه بیشتر:
- Improving Rare Word Recognition with LM-aware MWER Training
- Mask The Bias: Improving Domain-Adaptive Generalization of CTC-based ASR
- CTC-Assisted LLM-Based Contextual ASR

#ASR #SpeechRecognition #NLP #CTC #LM

🆔 @asrgooyeshpardaz