🎙 مشکل واقعی دستیارهای صوتی: نفر بغلی که وسط حرف شما می‌پرد
یک شرکت به نام Krisp که در زمینه حذف نویز فعالیت می‌کند، یک آزمون جدید ساخته تا بفهمد چرا سیستم‌های تشخیص گفتار در دنیای واقعی این‌قدر بد عمل می‌کنند.
🔍 چیزی که کشف کردند، ساده اما مهم است
خیلی‌ها فکر می‌کنند مشکل اصلی نویز است؛ صدای کولر، ترافیک، کیبورد. اما این‌ها تقریباً حل شده‌اند. مشکل واقعی جای دیگری است: وقتی یک نفر دیگر در همان اتاق شروع به حرف زدن می‌کند.
در آن لحظه، سیستم نمی‌داند کدام صدا را باید بنویسد و کدام را نباید. نتیجه این است که یا حرف‌های نفر دوم را هم می‌نویسد، یا حرف‌های نفر اصلی را قاطی می‌کند، یا هر دو را به هم می‌ریزد.
📂 چطور این موضوع را آزمایش کردند؟
آن‌ها ۲۶۵ ضبط واقعی جمع کردند:
· از دفترهای کار واقعی
· از چهار طبقه شلوغ مرکز تماس، در ساعات اوج
· از مکالمه‌های تلفنی داخل ماشین‌های در حال حرکت
هیچ صدایی را در آزمایشگاه نساختند. همه‌چیز واقعی بود.
🔹 هر ضبط یک الگوی چهارمرحله‌ای دارد:
مرحله اول: فقط گوینده اصلی حرف می‌زند
مرحله دوم: هر دو نفر با هم حرف می‌زنند
مرحله سوم: فقط گوینده دوم حرف می‌زند
مرحله چهارم: دوباره فقط گوینده اصلی
چرا مرحله سوم مهم‌ترین بخش است؟ چون در این مرحله، خروجی درست باید هیچ چیز باشد. اگر سیستم در این مرحله چیزی بنویسد، یعنی حرف‌های کسی را نوشته که نباید بنویسد.
📊 نتیجه آزمایش‌ها چه بود؟
۱۱ حالت مختلف از ۹ موتور تشخیص گفتار را آزمایش کردند. هر کدام را دو بار: یک بار روی صدای خام، یک بار بعد از جداسازی صدا.
عدد اصلی: نرخ خطا از ۲۳.۲۹ درصد به ۶.۲۶ درصد رسید. یعنی خطا تقریباً یک‌چهارم شد.
اما دو نکته مهم‌تر هم بود:
نکته اول: هر ۱۱ حالت بهبود نشان دادند. هیچ استثنایی نبود.
نکته دوم: فاصله بین بهترین و بدترین موتور از ۱۷ تا ۳۷ درصد به ۴ تا ۸ درصد رسید. یعنی جداسازی صدا، ضعف موتورهای ضعیف‌تر را هم پوشاند. انگار یک لایه محافظ روی همه موتورها کشیده شد.
⚠️ یک استثنا که خودشان گزارش کردند
روی صدای تلفنی تمیز، نتیجه کمی بدتر شد: از ۳.۴۸ به ۳.۹۱ درصد.
چرا؟ چون در صدای تمیز چیزی برای حذف کردن وجود ندارد. جداسازی در این حالت فقط بخشی از خودِ صدای اصلی را هم از بین می‌برد. تیم Krisp این نتیجه را پنهان نکرد و صادقانه گزارش داد.
⚙️ یک نکته فنی که کمتر به آن توجه می‌شود
نرخ خطای کلمه (WER) به‌تنهایی گمراه‌کننده است. چرا؟
فرض کنید دو مدل داریم که هر دو WER یکسانی می‌گیرند:
· مدل اول در بخش «فقط گوینده دوم» درست سکوت می‌کند.
· مدل دوم در همان بخش سکوت نمی‌کند، اما در عوض چند کلمه از گوینده اصلی را هم حذف می‌کند.
هر دو عدد نهایی مشابهی می‌گیرند، اما رفتارشان زمین تا آسمان فرق دارد. برچسب‌های دستی روی هر بخش، این امکان را می‌دهند که این دو حالت را از هم تشخیص دهید.
🎯 چرا این موضوع برای دستیارهای صوتی حیاتی است؟
تصور کنید یک دستیار صوتی دارید که در جلسه کار می‌کند. دو اتفاق می‌افتد:
اتفاق اول: حرف‌های نفر دوم وارد رونویسی می‌شود. دستیار بر اساس چیزهایی استدلال می‌کند که شما هرگز نگفته‌اید. مثلاً می‌گوید: «شما گفتید قرارداد را لغو کنیم» — در حالی که این حرف همکارتان بود، نه شما.
اتفاق دوم: سیستم نوبت را اشتباه واگذار می‌کند. فکر می‌کند شما دارید حرف می‌زنید، در حالی که نفر دوم صحبت می‌کند. نتیجه: دستیار وسط حرف شما می‌پرد و به سؤالی جواب می‌دهد که کسی نپرسیده.
هر دوی این‌ها از یک ریشه می‌آیند: سیستم نمی‌فهمد کدام صدا مال کیست.
🔗 لینک‌ها:
· مجموعه‌داده: Hugging Face Datasets
· خروجی مدل‌ها و ارزیابی: Hugging Face Spaces
#AI #SpeechRecognition #VoiceIsolation #Benchmark #Krisp
🆔 @asrgooyeshpardaz
یک شرکت به نام Krisp که در زمینه حذف نویز فعالیت می‌کند، یک آزمون جدید ساخته تا بفهمد چرا سیستم‌های تشخیص گفتار در دنیای واقعی این‌قدر بد عمل می‌کنند.
🔍 چیزی که کشف کردند، ساده اما مهم است
خیلی‌ها فکر می‌کنند مشکل اصلی نویز است؛ صدای کولر، ترافیک، کیبورد. اما این‌ها تقریباً حل شده‌اند. مشکل واقعی جای دیگری است: وقتی یک نفر دیگر در همان اتاق شروع به حرف زدن می‌کند.
در آن لحظه، سیستم نمی‌داند کدام صدا را باید بنویسد و کدام را نباید. نتیجه این است که یا حرف‌های نفر دوم را هم می‌نویسد، یا حرف‌های نفر اصلی را قاطی می‌کند، یا هر دو را به هم می‌ریزد.
📂 چطور این موضوع را آزمایش کردند؟
آن‌ها ۲۶۵ ضبط واقعی جمع کردند:
· از دفترهای کار واقعی
· از چهار طبقه شلوغ مرکز تماس، در ساعات اوج
· از مکالمه‌های تلفنی داخل ماشین‌های در حال حرکت
هیچ صدایی را در آزمایشگاه نساختند. همه‌چیز واقعی بود.
🔹 هر ضبط یک الگوی چهارمرحله‌ای دارد:
مرحله اول: فقط گوینده اصلی حرف می‌زند
مرحله دوم: هر دو نفر با هم حرف می‌زنند
مرحله سوم: فقط گوینده دوم حرف می‌زند
مرحله چهارم: دوباره فقط گوینده اصلی
چرا مرحله سوم مهم‌ترین بخش است؟ چون در این مرحله، خروجی درست باید هیچ چیز باشد. اگر سیستم در این مرحله چیزی بنویسد، یعنی حرف‌های کسی را نوشته که نباید بنویسد.
📊 نتیجه آزمایش‌ها چه بود؟
۱۱ حالت مختلف از ۹ موتور تشخیص گفتار را آزمایش کردند. هر کدام را دو بار: یک بار روی صدای خام، یک بار بعد از جداسازی صدا.
عدد اصلی: نرخ خطا از ۲۳.۲۹ درصد به ۶.۲۶ درصد رسید. یعنی خطا تقریباً یک‌چهارم شد.
اما دو نکته مهم‌تر هم بود:
نکته اول: هر ۱۱ حالت بهبود نشان دادند. هیچ استثنایی نبود.
نکته دوم: فاصله بین بهترین و بدترین موتور از ۱۷ تا ۳۷ درصد به ۴ تا ۸ درصد رسید. یعنی جداسازی صدا، ضعف موتورهای ضعیف‌تر را هم پوشاند. انگار یک لایه محافظ روی همه موتورها کشیده شد.
⚠️ یک استثنا که خودشان گزارش کردند
روی صدای تلفنی تمیز، نتیجه کمی بدتر شد: از ۳.۴۸ به ۳.۹۱ درصد.
چرا؟ چون در صدای تمیز چیزی برای حذف کردن وجود ندارد. جداسازی در این حالت فقط بخشی از خودِ صدای اصلی را هم از بین می‌برد. تیم Krisp این نتیجه را پنهان نکرد و صادقانه گزارش داد.
⚙️ یک نکته فنی که کمتر به آن توجه می‌شود
نرخ خطای کلمه (WER) به‌تنهایی گمراه‌کننده است. چرا؟
فرض کنید دو مدل داریم که هر دو WER یکسانی می‌گیرند:
· مدل اول در بخش «فقط گوینده دوم» درست سکوت می‌کند.
· مدل دوم در همان بخش سکوت نمی‌کند، اما در عوض چند کلمه از گوینده اصلی را هم حذف می‌کند.
هر دو عدد نهایی مشابهی می‌گیرند، اما رفتارشان زمین تا آسمان فرق دارد. برچسب‌های دستی روی هر بخش، این امکان را می‌دهند که این دو حالت را از هم تشخیص دهید.
🎯 چرا این موضوع برای دستیارهای صوتی حیاتی است؟
تصور کنید یک دستیار صوتی دارید که در جلسه کار می‌کند. دو اتفاق می‌افتد:
اتفاق اول: حرف‌های نفر دوم وارد رونویسی می‌شود. دستیار بر اساس چیزهایی استدلال می‌کند که شما هرگز نگفته‌اید. مثلاً می‌گوید: «شما گفتید قرارداد را لغو کنیم» — در حالی که این حرف همکارتان بود، نه شما.
اتفاق دوم: سیستم نوبت را اشتباه واگذار می‌کند. فکر می‌کند شما دارید حرف می‌زنید، در حالی که نفر دوم صحبت می‌کند. نتیجه: دستیار وسط حرف شما می‌پرد و به سؤالی جواب می‌دهد که کسی نپرسیده.
هر دوی این‌ها از یک ریشه می‌آیند: سیستم نمی‌فهمد کدام صدا مال کیست.
🔗 لینک‌ها:
· مجموعه‌داده: Hugging Face Datasets
· خروجی مدل‌ها و ارزیابی: Hugging Face Spaces
#AI #SpeechRecognition #VoiceIsolation #Benchmark #Krisp
🆔 @asrgooyeshpardaz
huggingface.co
VoiceIsolation Benchmark - a Hugging Face Space by Krisp-AI
This web page lets you see benchmark results for Krisp’s Voice Isolation on speech‑to‑text systems. You can view tables, charts, and listen to audio clips before and after the isolation is applied,...
❤4👍2