🔊 مدل STITCH: تفکر همزمان با صحبت در مدلهای زبانی گفتاری
🧠🗣️ پژوهش جدیدی از دانشگاه ملی تایوان و مایکروسافت روش نوینی به نام STITCH معرفی میکند که به مدلهای زبانی گفتاری (SLM) توانایی تفکر در حین صحبت کردن را میدهد. در حالی که انسانها هنگام صحبت ابتدا فکر میکنند، SLMهای فعلی پاسخها را بدون پردازش ذهنی ارائه میدهند.
🔍 در روشهای قبلی، افزودن زنجیرهای از تفکر (chain-of-thought) باعث افزایش دقت میشد، اما باعث تأخیر زیاد در پاسخ صوتی میگردید. STITCH این مشکل را با بخشبندی همزمان تفکر و پاسخ صوتی حل میکند: مدل در حالی که بخشی از پاسخ را به صورت صوتی پخش میکند، بخش بعدی تفکر را در پشت صحنه تولید مینماید.
📊 نتایج:
مدل STITCH تا ۱۵٪ عملکرد بهتری در حل مسائل ریاضی نسبت به مدلهای بدون تفکر درونی نشان میدهد.
نسخه STITCH-S حتی بدون هیچ تأخیری، عملکردی نزدیک به بهترین مدلها دارد.
کیفیت گفتار و روانی متن نیز تحت تأثیرات منفی قرار نگرفته است.
🔗 دموی پروژه: STITCH
https://d223302.github.io/STITCH
📃مقاله:
http://arxiv.org/abs/2507.15375
#هوش_مصنوعی #مدل_زبان_گفتاری #STITCH #SpeechAI #LLM #ChainOfThought #AIResearch
@asrgooyeshpardaz
🧠🗣️ پژوهش جدیدی از دانشگاه ملی تایوان و مایکروسافت روش نوینی به نام STITCH معرفی میکند که به مدلهای زبانی گفتاری (SLM) توانایی تفکر در حین صحبت کردن را میدهد. در حالی که انسانها هنگام صحبت ابتدا فکر میکنند، SLMهای فعلی پاسخها را بدون پردازش ذهنی ارائه میدهند.
🔍 در روشهای قبلی، افزودن زنجیرهای از تفکر (chain-of-thought) باعث افزایش دقت میشد، اما باعث تأخیر زیاد در پاسخ صوتی میگردید. STITCH این مشکل را با بخشبندی همزمان تفکر و پاسخ صوتی حل میکند: مدل در حالی که بخشی از پاسخ را به صورت صوتی پخش میکند، بخش بعدی تفکر را در پشت صحنه تولید مینماید.
📊 نتایج:
مدل STITCH تا ۱۵٪ عملکرد بهتری در حل مسائل ریاضی نسبت به مدلهای بدون تفکر درونی نشان میدهد.
نسخه STITCH-S حتی بدون هیچ تأخیری، عملکردی نزدیک به بهترین مدلها دارد.
کیفیت گفتار و روانی متن نیز تحت تأثیرات منفی قرار نگرفته است.
🔗 دموی پروژه: STITCH
https://d223302.github.io/STITCH
📃مقاله:
http://arxiv.org/abs/2507.15375
#هوش_مصنوعی #مدل_زبان_گفتاری #STITCH #SpeechAI #LLM #ChainOfThought #AIResearch
@asrgooyeshpardaz
❤4👌2
🚀 انقلاب سامسونگ در معماری مدلها: Tiny Recursive Model (TRM)
مدلی با فقط ۷ میلیون پارامتر توانسته در تستهای استدلالی ARG-AGI 1 و ARC-AGI 2، از غولهایی مثل DeepSeek-R1، Gemini 2.5 Pro و o3-mini جلو بزند! 😳
📘 این شاهکار جدید سامسونگ، به نام Tiny Recursive Model (TRM)، نشان میدهد که «معماری هوشمندتر، از مدل بزرگتر مهمتر است.»
🧩 مدل TRM چطور کار میکند؟
برخلاف مدلهای زبانی معمول که واژهبهواژه پاسخ میسازند، TRM مثل یک متفکر واقعی عمل میکند:
1️⃣ پیشنویس اولیه مینویسد — یک پاسخ کامل اما خام.
2️⃣ دفترچه تفکر درونی (scratchpad) میسازد تا استدلالش را بررسی کند.
3️⃣ خودانتقادی عمیق: شش بار پیاپی پاسخ خود را با مسئله مقایسه میکند و منطقش را تصحیح میکند.
4️⃣ بازنویسی پاسخ نهایی بر اساس منطق بهبودیافته.
5️⃣ این چرخهی پیشنویس 👈 تفکر 👈 بازنویسی تا ۱۶ بار تکرار میشود، تا زمانی که مدل به پاسخ منطقی و مطمئن برسد.
💡 چرا این مدل مهم است؟
🔹 برای پژوهشگران: تأییدی بزرگ بر ایدههای نوروسمبلیک و استدلال بازگشتی؛ یعنی تفکر پیش از تولید.
🔹 برای مهندسان: دیگر برای رسیدن به SOTA نیازی به خوشههای GPU میلیارددلاری نیست!
🔹 برای مدیران: این یعنی برتری الگوریتمی — کارایی بالا با هزینهی بسیار پایینتر از رقبا.
📊 نتایج خیرهکننده:
فقط ۷ میلیون پارامتر
آموزش با ۱۰۰۰ نمونه
۴۵٪ دقت در ARC-AGI-1
۸٪ دقت در ARC-AGI-2
📉 در حالیکه مدلهای بزرگتر با بیش از ۱۰٬۰۰۰ برابر پارامتر بیشتر چنین عملکردی نداشتند!
🧠 عنوان مقاله:
Less is More: Recursive Reasoning with Tiny Networks
📅 انتشار: ۶ اکتبر ۲۰۲۵
🔗 arXiv:2510.04871v1
💬 این پژوهش نشان میدهد آیندهی AGI لزوماً در بزرگکردن مدلها نیست — بلکه در یاد دادن تفکر بازگشتی و خودانتقادی درونی است.
#AgenticAI #SamsungAI #TinyRecursiveModel #Reasoning #NeuroSymbolicAI #AGI #DeepSeek #Gemini #AIResearch
@asrgooyeshpardaz
مدلی با فقط ۷ میلیون پارامتر توانسته در تستهای استدلالی ARG-AGI 1 و ARC-AGI 2، از غولهایی مثل DeepSeek-R1، Gemini 2.5 Pro و o3-mini جلو بزند! 😳
📘 این شاهکار جدید سامسونگ، به نام Tiny Recursive Model (TRM)، نشان میدهد که «معماری هوشمندتر، از مدل بزرگتر مهمتر است.»
🧩 مدل TRM چطور کار میکند؟
برخلاف مدلهای زبانی معمول که واژهبهواژه پاسخ میسازند، TRM مثل یک متفکر واقعی عمل میکند:
1️⃣ پیشنویس اولیه مینویسد — یک پاسخ کامل اما خام.
2️⃣ دفترچه تفکر درونی (scratchpad) میسازد تا استدلالش را بررسی کند.
3️⃣ خودانتقادی عمیق: شش بار پیاپی پاسخ خود را با مسئله مقایسه میکند و منطقش را تصحیح میکند.
4️⃣ بازنویسی پاسخ نهایی بر اساس منطق بهبودیافته.
5️⃣ این چرخهی پیشنویس 👈 تفکر 👈 بازنویسی تا ۱۶ بار تکرار میشود، تا زمانی که مدل به پاسخ منطقی و مطمئن برسد.
💡 چرا این مدل مهم است؟
🔹 برای پژوهشگران: تأییدی بزرگ بر ایدههای نوروسمبلیک و استدلال بازگشتی؛ یعنی تفکر پیش از تولید.
🔹 برای مهندسان: دیگر برای رسیدن به SOTA نیازی به خوشههای GPU میلیارددلاری نیست!
🔹 برای مدیران: این یعنی برتری الگوریتمی — کارایی بالا با هزینهی بسیار پایینتر از رقبا.
📊 نتایج خیرهکننده:
فقط ۷ میلیون پارامتر
آموزش با ۱۰۰۰ نمونه
۴۵٪ دقت در ARC-AGI-1
۸٪ دقت در ARC-AGI-2
📉 در حالیکه مدلهای بزرگتر با بیش از ۱۰٬۰۰۰ برابر پارامتر بیشتر چنین عملکردی نداشتند!
🧠 عنوان مقاله:
Less is More: Recursive Reasoning with Tiny Networks
📅 انتشار: ۶ اکتبر ۲۰۲۵
🔗 arXiv:2510.04871v1
💬 این پژوهش نشان میدهد آیندهی AGI لزوماً در بزرگکردن مدلها نیست — بلکه در یاد دادن تفکر بازگشتی و خودانتقادی درونی است.
#AgenticAI #SamsungAI #TinyRecursiveModel #Reasoning #NeuroSymbolicAI #AGI #DeepSeek #Gemini #AIResearch
@asrgooyeshpardaz
arXiv.org
Less is More: Recursive Reasoning with Tiny Networks
Hierarchical Reasoning Model (HRM) is a novel approach using two small neural networks recursing at different frequencies. This biologically inspired method beats Large Language models (LLMs) on...
👍5🔥3❤2🤝1
🤖 مدل GEN-θ از شرکت Generalist AI
طبقهٔ جدیدی از مدلهای پایهٔ تجسدی برای یادگیری مهارتهای فیزیکی از دادههای واقعی
شرکت Generalist AI از نسل تازهای از مدلهای هوش مصنوعی با نام GEN-θ رونمایی کرده است؛ مدلی که بهجای تکیه بر شبیهسازی یا ویدئوهای اینترنتی، مستقیماً از دادههای واقعی تعامل فیزیکی رباتها با محیط آموزش میبیند. این گام، مشابه نقشی است که مدلهای زبانی بزرگ در تعیین «قوانین مقیاسپذیری در زبان» ایفا کردند، اما این بار در حوزهٔ هوش تجسدی و رباتیک واقعی.
🧩 هدف اصلی
پاسخ به پرسشی بنیادی در هوش رباتیکی:
چگونه میتوان مدلی واحد ساخت که مهارتهای فیزیکی را از دادههای آشوبناک و غیرقابل پیشبینی دنیای واقعی بیاموزد، بدون نیاز به شبیهسازیهای مصنوعی؟
🧠 ویژگیهای کلیدی GEN-θ
1. یادگیری مستقیم از تعاملات فیزیکی واقعی
این مدل با دادههایی از حسگرهای متنوع (دوربین، نیرو، فشار، موقعیت مفاصل و ...) آموزش میبیند؛ دادههایی که از رباتهای واقعی در خانهها، انبارها و محیطهای کاری جمعآوری شدهاند.
این روش، مدل را با دنیای فیزیکی «زمینهمند» میکند و آن را از محدودیت دادههای مجازی رها میسازد.
2. استدلال هارمونیک (Harmonic Reasoning)
نوآورانهترین بخش GEN-θ همین مفهوم است.
در این رویکرد، مدل همزمان میاندیشد و عمل میکند — نه بهصورت جداگانه.
در حالیکه مدلهای زبانی میتوانند پیش از پاسخ دادن کمی «فکر کنند»، رباتها باید در جهانی که همواره در حال تغییر است عمل کنند.
بنابراین در GEN-θ دو جریان داده — حسکردن و عملکردن — بهصورت هارمونیک (هماهنگ) با یکدیگر آموزش میبینند تا مدل بتواند با جریان مداوم فیزیک جهان واقعی سازگار شود.
3. معماری و الهام از مدلهای زبانی و بینایی
مدل GEN-θ بر پایهٔ معماریهای چندوجهی (vision-language) بنا شده و آن را برای دادههای پیوستهٔ زمانی گسترش میدهد.
بهجای تقسیم مدل به سامانههای جداگانهٔ «System 1 / System 2» (یعنی واکنشی و تحلیلی)، این مدل یک چرخهٔ استدلال-عمل یکپارچه دارد که به شکل طبیعی رشد میکند.
4. قوانین مقیاسپذیری برای رباتیک
همانگونه که در زبان، با افزایش اندازهٔ مدل و دادهها دقت بالا میرود، اکنون GEN-θ قصد دارد قوانین مشابهی برای مهارتهای فیزیکی کشف کند.
به این معنا که رابطهٔ بین «حجم دادههای واقعی تعاملی» و «توانایی فیزیکی ربات» بهصورت تجربی و ریاضی سنجیده شود.
⚙️ اجزای فنی (بهصورت خلاصه)
🔹نوع داده: چندرباته، چندمحیطی، چندحسی (vision + touch + motion).
🔹بازنمایی: رمزگذاری مشترک حسها و حرکات در قالب توکنهای پیوستهٔ زمانی.
🔹یادگیری: ترکیب روشهای کنتراستیوی (contrastive) و پیشبینانه برای همترازسازی حس و عمل.
🔹زیرساخت: شبکهای از رباتهای واقعی برای جمعآوری دادههای سنسوری با دقت بالا.
⚖️ مقایسه با مدلهای پیشین
مدل GEN-θ در مقایسه با مدلهای پیشین مانند Gato از DeepMind و PaLM-E از Google گامی بنیادین بهسوی هوش تجسدی واقعی برداشته است. در حالیکه Gato بر یادگیری چندوظیفهای در محیطهای شبیهسازیشده و PaLM-E بر استدلال زبانی بر پایهٔ دادههای دیداری و متنی تمرکز داشتند، GEN-θ مستقیماً از جریانهای واقعی حس و عمل رباتها در جهان فیزیکی آموزش میبیند. این مدل با رویکرد «استدلال هارمونیک» توانسته است اندیشیدن و کنش را همزمان در یک چرخهٔ پیوسته ترکیب کند؛ بنابراین بهجای درک نمادین یا زبانی از جهان، نوعی درک حسی و فیزیکی بهدست میآورد که آن را به نخستین مدل پایهٔ واقعاً «تجسدی» در هوش مصنوعی نزدیک میکند.
🌍 اهمیت و چشمانداز
🔹گامی بزرگ بهسوی قوانین مقیاسپذیری تجسدی (Embodied Scaling Laws).
🔹امکان انتقال صفر-نمونهای (zero-shot) بین رباتهای گوناگون (مثلاً از ربات خانگی به صنعتی).
🔹تغییر معیار سنجش هوش مصنوعی از «توانایی زبانی» به شایستگی فیزیکی و حسی.
🔹نقطهٔ آغاز نسل تازهای از مدلهای پایه که میفهمند، میاندیشند و همزمان عمل میکنند.
🔗 منبع:
https://generalistai.com/blog/nov-04-2025-GEN-0
#EmbodiedAI #GeneralistAI #GENθ #Robotics #AIResearch
@asrgooyeshpardaz
طبقهٔ جدیدی از مدلهای پایهٔ تجسدی برای یادگیری مهارتهای فیزیکی از دادههای واقعی
شرکت Generalist AI از نسل تازهای از مدلهای هوش مصنوعی با نام GEN-θ رونمایی کرده است؛ مدلی که بهجای تکیه بر شبیهسازی یا ویدئوهای اینترنتی، مستقیماً از دادههای واقعی تعامل فیزیکی رباتها با محیط آموزش میبیند. این گام، مشابه نقشی است که مدلهای زبانی بزرگ در تعیین «قوانین مقیاسپذیری در زبان» ایفا کردند، اما این بار در حوزهٔ هوش تجسدی و رباتیک واقعی.
🧩 هدف اصلی
پاسخ به پرسشی بنیادی در هوش رباتیکی:
چگونه میتوان مدلی واحد ساخت که مهارتهای فیزیکی را از دادههای آشوبناک و غیرقابل پیشبینی دنیای واقعی بیاموزد، بدون نیاز به شبیهسازیهای مصنوعی؟
🧠 ویژگیهای کلیدی GEN-θ
1. یادگیری مستقیم از تعاملات فیزیکی واقعی
این مدل با دادههایی از حسگرهای متنوع (دوربین، نیرو، فشار، موقعیت مفاصل و ...) آموزش میبیند؛ دادههایی که از رباتهای واقعی در خانهها، انبارها و محیطهای کاری جمعآوری شدهاند.
این روش، مدل را با دنیای فیزیکی «زمینهمند» میکند و آن را از محدودیت دادههای مجازی رها میسازد.
2. استدلال هارمونیک (Harmonic Reasoning)
نوآورانهترین بخش GEN-θ همین مفهوم است.
در این رویکرد، مدل همزمان میاندیشد و عمل میکند — نه بهصورت جداگانه.
در حالیکه مدلهای زبانی میتوانند پیش از پاسخ دادن کمی «فکر کنند»، رباتها باید در جهانی که همواره در حال تغییر است عمل کنند.
بنابراین در GEN-θ دو جریان داده — حسکردن و عملکردن — بهصورت هارمونیک (هماهنگ) با یکدیگر آموزش میبینند تا مدل بتواند با جریان مداوم فیزیک جهان واقعی سازگار شود.
3. معماری و الهام از مدلهای زبانی و بینایی
مدل GEN-θ بر پایهٔ معماریهای چندوجهی (vision-language) بنا شده و آن را برای دادههای پیوستهٔ زمانی گسترش میدهد.
بهجای تقسیم مدل به سامانههای جداگانهٔ «System 1 / System 2» (یعنی واکنشی و تحلیلی)، این مدل یک چرخهٔ استدلال-عمل یکپارچه دارد که به شکل طبیعی رشد میکند.
4. قوانین مقیاسپذیری برای رباتیک
همانگونه که در زبان، با افزایش اندازهٔ مدل و دادهها دقت بالا میرود، اکنون GEN-θ قصد دارد قوانین مشابهی برای مهارتهای فیزیکی کشف کند.
به این معنا که رابطهٔ بین «حجم دادههای واقعی تعاملی» و «توانایی فیزیکی ربات» بهصورت تجربی و ریاضی سنجیده شود.
⚙️ اجزای فنی (بهصورت خلاصه)
🔹نوع داده: چندرباته، چندمحیطی، چندحسی (vision + touch + motion).
🔹بازنمایی: رمزگذاری مشترک حسها و حرکات در قالب توکنهای پیوستهٔ زمانی.
🔹یادگیری: ترکیب روشهای کنتراستیوی (contrastive) و پیشبینانه برای همترازسازی حس و عمل.
🔹زیرساخت: شبکهای از رباتهای واقعی برای جمعآوری دادههای سنسوری با دقت بالا.
⚖️ مقایسه با مدلهای پیشین
مدل GEN-θ در مقایسه با مدلهای پیشین مانند Gato از DeepMind و PaLM-E از Google گامی بنیادین بهسوی هوش تجسدی واقعی برداشته است. در حالیکه Gato بر یادگیری چندوظیفهای در محیطهای شبیهسازیشده و PaLM-E بر استدلال زبانی بر پایهٔ دادههای دیداری و متنی تمرکز داشتند، GEN-θ مستقیماً از جریانهای واقعی حس و عمل رباتها در جهان فیزیکی آموزش میبیند. این مدل با رویکرد «استدلال هارمونیک» توانسته است اندیشیدن و کنش را همزمان در یک چرخهٔ پیوسته ترکیب کند؛ بنابراین بهجای درک نمادین یا زبانی از جهان، نوعی درک حسی و فیزیکی بهدست میآورد که آن را به نخستین مدل پایهٔ واقعاً «تجسدی» در هوش مصنوعی نزدیک میکند.
🌍 اهمیت و چشمانداز
🔹گامی بزرگ بهسوی قوانین مقیاسپذیری تجسدی (Embodied Scaling Laws).
🔹امکان انتقال صفر-نمونهای (zero-shot) بین رباتهای گوناگون (مثلاً از ربات خانگی به صنعتی).
🔹تغییر معیار سنجش هوش مصنوعی از «توانایی زبانی» به شایستگی فیزیکی و حسی.
🔹نقطهٔ آغاز نسل تازهای از مدلهای پایه که میفهمند، میاندیشند و همزمان عمل میکنند.
🔗 منبع:
https://generalistai.com/blog/nov-04-2025-GEN-0
#EmbodiedAI #GeneralistAI #GENθ #Robotics #AIResearch
@asrgooyeshpardaz
❤1🔥1👌1
🔰 گوگل یک سند ۵۰ صفحهای جدید منتشر کرده که توضیح میدهد چگونه میتوان AI Agentهایی ساخت که در کاربردهای واقعی عملکرد قابل اتکا و عملی داشته باشند.
این راهنما یک مقدمه روشن، ساختارمند و قابل فهم درباره اصول و مبانی سامانههای عاملمحور است. در این سند به موضوعات زیر پرداخته میشود:
🔸معماری عامل و اجزای اصلی آن
🔸نقش مدلهای زبانی بزرگ (LLM) به عنوان «مغز» عامل
🔸شیوه اتصال و استفاده از ابزارها
🔸نحوه هماهنگی و ارکستراسیون چند عامل
رویکردهای استقرار (Deploy) و ادغام در محیط واقعی
🔸معیارها و روشهای ارزیابی عملکرد
🔸چگونگی طراحی عاملهای خودآموز و تکاملی
🔸معرفی نمونهای از معماری AlphaEvolve
📌 لینک راهنما:
https://drive.google.com/file/d/1C-HvqgxM7dj4G2kCQLnuMXi1fTpXRdpx/view
#AI #Agents #Google #LLM #MachineLearning #AIResearch
@asrgooyeshpardaz
این راهنما یک مقدمه روشن، ساختارمند و قابل فهم درباره اصول و مبانی سامانههای عاملمحور است. در این سند به موضوعات زیر پرداخته میشود:
🔸معماری عامل و اجزای اصلی آن
🔸نقش مدلهای زبانی بزرگ (LLM) به عنوان «مغز» عامل
🔸شیوه اتصال و استفاده از ابزارها
🔸نحوه هماهنگی و ارکستراسیون چند عامل
رویکردهای استقرار (Deploy) و ادغام در محیط واقعی
🔸معیارها و روشهای ارزیابی عملکرد
🔸چگونگی طراحی عاملهای خودآموز و تکاملی
🔸معرفی نمونهای از معماری AlphaEvolve
📌 لینک راهنما:
https://drive.google.com/file/d/1C-HvqgxM7dj4G2kCQLnuMXi1fTpXRdpx/view
#AI #Agents #Google #LLM #MachineLearning #AIResearch
@asrgooyeshpardaz
🔥2👨💻1
🎧🌍 آیا SpeechLLMها واقعاً ترجمه گفتار را متحول کردهاند؟
📄 مقالهای جدید با عنوان Hearing to Translate بهطور نظاممند بررسی میکند که آیا ادغام «گفتار بهعنوان مدالیته بومی» در LLMها (یعنی SpeechLLMها) میتواند عملکرد ترجمه گفتار را نسبت به معماریهای کلاسیک زنجیرهای (Cascaded) بهبود دهد یا نه.
🔬 روش مطالعه:
این کار اولین بنچمارک جامع در این حوزه است که:
🧠 تعداد ۵ SpeechLLM پیشرفته
🔗 ۱۶ سیستم قوی مستقیم و زنجیرهای (ترکیب مدلهای پایه گفتار + LLMهای چندزبانه)
را با هم مقایسه میکند.
📊 ارزیابی در مقیاسی گسترده انجام شده است:
۱۶ بنچمارک معتبر
۱۳ جفتزبانی
۹ سناریوی چالشبرانگیز (گفتار نویزی، ناپیوسته، طولانی و …)
🔎 یافتههای کلیدی:
✅ سیستمهای Cascaded همچنان قابلاعتمادترین گزینه در مجموع هستند.
⚠️ مدلهای SpeechLLMهای فعلی فقط در برخی شرایط خاص میتوانند به عملکرد سیستمهای زنجیرهای برسند، اما برتری کلی ندارند.
📉 مدلهای پایه گفتار (SFMها) بهتنهایی از هر دو رویکرد عقبترند.
🧩 نتیجه مهم: حضور LLM—چه درون مدل و چه بهصورت پایپلاین—برای دستیابی به ترجمه گفتار باکیفیت ضروری است.
🧠 جمعبندی تحلیلی:
با وجود جذابیت ایده «ترجمه مستقیم گفتار با LLM»، معماریهای کلاسیک زنجیرهای (ASR → LLM → MT) هنوز از نظر پایداری و کیفیت، دست بالا را دارند. به نظر میرسد مسیر آینده نه حذف پایپلاینها، بلکه ادغام هوشمند LLMها در آنها باشد.
🔗 لینک مقاله (arXiv):
https://arxiv.org/abs/2512.16378
#SpeechLLM #SpeechTranslation #CascadedSystems #LLM #ASR #AIResearch
@asrgooyeshpardaz
📄 مقالهای جدید با عنوان Hearing to Translate بهطور نظاممند بررسی میکند که آیا ادغام «گفتار بهعنوان مدالیته بومی» در LLMها (یعنی SpeechLLMها) میتواند عملکرد ترجمه گفتار را نسبت به معماریهای کلاسیک زنجیرهای (Cascaded) بهبود دهد یا نه.
🔬 روش مطالعه:
این کار اولین بنچمارک جامع در این حوزه است که:
🧠 تعداد ۵ SpeechLLM پیشرفته
🔗 ۱۶ سیستم قوی مستقیم و زنجیرهای (ترکیب مدلهای پایه گفتار + LLMهای چندزبانه)
را با هم مقایسه میکند.
📊 ارزیابی در مقیاسی گسترده انجام شده است:
۱۶ بنچمارک معتبر
۱۳ جفتزبانی
۹ سناریوی چالشبرانگیز (گفتار نویزی، ناپیوسته، طولانی و …)
🔎 یافتههای کلیدی:
✅ سیستمهای Cascaded همچنان قابلاعتمادترین گزینه در مجموع هستند.
⚠️ مدلهای SpeechLLMهای فعلی فقط در برخی شرایط خاص میتوانند به عملکرد سیستمهای زنجیرهای برسند، اما برتری کلی ندارند.
📉 مدلهای پایه گفتار (SFMها) بهتنهایی از هر دو رویکرد عقبترند.
🧩 نتیجه مهم: حضور LLM—چه درون مدل و چه بهصورت پایپلاین—برای دستیابی به ترجمه گفتار باکیفیت ضروری است.
🧠 جمعبندی تحلیلی:
با وجود جذابیت ایده «ترجمه مستقیم گفتار با LLM»، معماریهای کلاسیک زنجیرهای (ASR → LLM → MT) هنوز از نظر پایداری و کیفیت، دست بالا را دارند. به نظر میرسد مسیر آینده نه حذف پایپلاینها، بلکه ادغام هوشمند LLMها در آنها باشد.
🔗 لینک مقاله (arXiv):
https://arxiv.org/abs/2512.16378
#SpeechLLM #SpeechTranslation #CascadedSystems #LLM #ASR #AIResearch
@asrgooyeshpardaz
arXiv.org
Hearing to Translate: The Effectiveness of Speech Modality...
As Large Language Models (LLMs) expand beyond text, integrating speech as a native modality has given rise to SpeechLLMs, which directly process spoken language and enable speech-to-text...
❤6👍1🍾1