🎤 مدل Canto از Wispr Flow: مدل دیکته‌ای که از اصلاحات کاربران یاد می‌گیرد
استارتاپ Wispr Flow از مدل گفتاری جدید خود به نام Canto رونمایی کرده است. این مدل مخصوص دیکته در شرایط واقعی طراحی شده و نکته جالب آن، استفاده از الگوریتم GRPO برای یادگیری از اصلاحات کاربران است.
🔹 مدل Canto چیست؟
مدل Canto یک مدل تشخیص گفتار (ASR) بلادرنگ است که برای شرایط دشوار دنیای واقعی ساخته شده: نویز پس‌زمینه، صدای کم، مکث‌های کوتاه و جمله‌های ناقص. برخلاف مدل‌هایی که روی گفتار تمیز و استودیویی آموزش می‌بینند، Canto با داده‌های واقعی از کاربران عادی آموزش دیده است.
🔹 آموزش دو مرحله‌ای
مدل Canto ابتدا روی میلیون‌ها ساعت گفتار و متن پیش‌آموزش دیده، سپس دو مرحله پس‌آموزش روی آن انجام شده:
۱. تنظیم دقیق با نظارت (SFT): برای رونویسی پایه.
۲. یادگیری تقویتی با GRPO: اینجا نکته فنی مهم ماجراست.
🔹 روش GRPO چطور کار می‌کند؟
روش GRPO (Group Relative Policy Optimization) یک روش یادگیری تقویتی است که نسخه ساده‌شده PPO محسوب می‌شود. در PPO به یک مدل «منتقد» جداگانه نیاز است، اما GRPO آن را حذف کرده و به‌جایش از میانگین پاداش‌ها برای تخمین مزیت استفاده می‌کند.
در عمل، برای هر قطعه صدا، چند رونویسی مختلف (rollout) نمونه‌گیری می‌شود. سپس این رونویسی‌ها با هم مقایسه و به سمت خروجی‌هایی که پاداش بالاتری گرفته‌اند به‌روزرسانی می‌شوند. این یعنی مدل یاد می‌گیرد کدام نوع رونویسی «بهتر» است.
🔹 تکنیک «پیوند» (Grafting): از اصلاحات کاربران، سیگنال آموزشی بساز
چالش بزرگ اینجاست: وقتی کاربران متن دیکته‌شده را اصلاح می‌کنند، بخشی از این اصلاحات خطای واقعی مدل است و بخشی سلیقه شخصی (مثلاً تغییر سبک نگارش). Wispr تکنیکی ساخته به نام Grafting که این دو را از هم جدا می‌کند:
با استفاده از اطمینان هم‌ترازی اجباری (forced-alignment confidence) و شکل ویرایش (edit shape)، سیستم تشخیص می‌دهد کدام اصلاح واقعاً به خطای تشخیص مربوط است و کدام صرفاً بازنویسی سلیقه‌ای. فقط اصلاحات نوع اول به‌عنوان سیگنال آموزشی معتبر وارد فرآیند یادگیری تقویتی می‌شوند.
🔹 مقاومت در برابر «آلودگی واژگانی»
یک چالش دیگر: مدل‌های ASR گاهی بیش از حد به واژه‌های پیشنهادی از دیکشنری شخصی کاربر اعتماد می‌کنند و حتی وقتی صدا چیز دیگری می‌گوید، آن واژه را جایگزین می‌کنند. Wispr برای حل این مشکل، مدل را با ترکیبی از زمینه درست و نادرست آموزش داده تا یاد بگیرد چه زمانی به صدا اعتماد کند و چه زمانی به دیکشنری.
🔹 عملکرد
· در تست واقعی روی ۱۰ ساعت دیکته از بیش از ۲۳۰۰ کاربر، Canto کمترین نرخ خطای کلمه (WER) را در مقایسه با مدل‌های گوگل، OpenAI، AssemblyAI و Deepgram به دست آورد.
· در شرایط سخت (نویز، باد، موسیقی، لهجه سنگین)، نرخ خطا از بیش از ۳۰٪ به ۵ تا ۱۰٪ کاهش یافت.
· در استفاده روزمره، انتظار می‌رود تعداد دیکته‌هایی که کاربر باید ویرایش کند ۳۰ تا ۳۵٪ کم شود.
🔗 لینک: Canto | Wispr Flow
#AI #SpeechRecognition #WisprFlow #Canto #GRPO
🆔 @asrgooyeshpardaz
استارتاپ Wispr Flow از مدل گفتاری جدید خود به نام Canto رونمایی کرده است. این مدل مخصوص دیکته در شرایط واقعی طراحی شده و نکته جالب آن، استفاده از الگوریتم GRPO برای یادگیری از اصلاحات کاربران است.
🔹 مدل Canto چیست؟
مدل Canto یک مدل تشخیص گفتار (ASR) بلادرنگ است که برای شرایط دشوار دنیای واقعی ساخته شده: نویز پس‌زمینه، صدای کم، مکث‌های کوتاه و جمله‌های ناقص. برخلاف مدل‌هایی که روی گفتار تمیز و استودیویی آموزش می‌بینند، Canto با داده‌های واقعی از کاربران عادی آموزش دیده است.
🔹 آموزش دو مرحله‌ای
مدل Canto ابتدا روی میلیون‌ها ساعت گفتار و متن پیش‌آموزش دیده، سپس دو مرحله پس‌آموزش روی آن انجام شده:
۱. تنظیم دقیق با نظارت (SFT): برای رونویسی پایه.
۲. یادگیری تقویتی با GRPO: اینجا نکته فنی مهم ماجراست.
🔹 روش GRPO چطور کار می‌کند؟
روش GRPO (Group Relative Policy Optimization) یک روش یادگیری تقویتی است که نسخه ساده‌شده PPO محسوب می‌شود. در PPO به یک مدل «منتقد» جداگانه نیاز است، اما GRPO آن را حذف کرده و به‌جایش از میانگین پاداش‌ها برای تخمین مزیت استفاده می‌کند.
در عمل، برای هر قطعه صدا، چند رونویسی مختلف (rollout) نمونه‌گیری می‌شود. سپس این رونویسی‌ها با هم مقایسه و به سمت خروجی‌هایی که پاداش بالاتری گرفته‌اند به‌روزرسانی می‌شوند. این یعنی مدل یاد می‌گیرد کدام نوع رونویسی «بهتر» است.
🔹 تکنیک «پیوند» (Grafting): از اصلاحات کاربران، سیگنال آموزشی بساز
چالش بزرگ اینجاست: وقتی کاربران متن دیکته‌شده را اصلاح می‌کنند، بخشی از این اصلاحات خطای واقعی مدل است و بخشی سلیقه شخصی (مثلاً تغییر سبک نگارش). Wispr تکنیکی ساخته به نام Grafting که این دو را از هم جدا می‌کند:
با استفاده از اطمینان هم‌ترازی اجباری (forced-alignment confidence) و شکل ویرایش (edit shape)، سیستم تشخیص می‌دهد کدام اصلاح واقعاً به خطای تشخیص مربوط است و کدام صرفاً بازنویسی سلیقه‌ای. فقط اصلاحات نوع اول به‌عنوان سیگنال آموزشی معتبر وارد فرآیند یادگیری تقویتی می‌شوند.
🔹 مقاومت در برابر «آلودگی واژگانی»
یک چالش دیگر: مدل‌های ASR گاهی بیش از حد به واژه‌های پیشنهادی از دیکشنری شخصی کاربر اعتماد می‌کنند و حتی وقتی صدا چیز دیگری می‌گوید، آن واژه را جایگزین می‌کنند. Wispr برای حل این مشکل، مدل را با ترکیبی از زمینه درست و نادرست آموزش داده تا یاد بگیرد چه زمانی به صدا اعتماد کند و چه زمانی به دیکشنری.
🔹 عملکرد
· در تست واقعی روی ۱۰ ساعت دیکته از بیش از ۲۳۰۰ کاربر، Canto کمترین نرخ خطای کلمه (WER) را در مقایسه با مدل‌های گوگل، OpenAI، AssemblyAI و Deepgram به دست آورد.
· در شرایط سخت (نویز، باد، موسیقی، لهجه سنگین)، نرخ خطا از بیش از ۳۰٪ به ۵ تا ۱۰٪ کاهش یافت.
· در استفاده روزمره، انتظار می‌رود تعداد دیکته‌هایی که کاربر باید ویرایش کند ۳۰ تا ۳۵٪ کم شود.
🔗 لینک: Canto | Wispr Flow
#AI #SpeechRecognition #WisprFlow #Canto #GRPO
🆔 @asrgooyeshpardaz
wisprflow.ai
Canto: a speech model built for the real world | Wispr Flow
Today, the Wispr Advanced Interfaces Lab is introducing Canto, our latest speech model for real-time dictation. On an evaluation of real-world dictations, Canto achieved the lowest word error rate among all the models we tested.
❤5👍1