🎧 توجه هوشمند در مدل‌های گفتاری: از پنجره‌های موضعی تا خلاصه‌سازی خطی

در سال‌های اخیر، مدل‌های ترنسفورمری برای پردازش گفتار – از بازشناسی گفتار گرفته تا جداسازی صداها – به سرعت رشد کرده‌اند. اما یک مشکل بنیادی همچنان باقی مانده است: توجه (Attention) در این مدل‌ها به‌صورت کامل (Full Attention) عمل می‌کند؛ یعنی هر فریم صوتی با همه‌ی فریم‌های دیگر تعامل دارد. این روش اگرچه دقیق است، اما هزینه‌ی محاسباتی آن به‌صورت درجه دوم با طول ورودی افزایش می‌یابد.
دو پژوهش اخیر، از دو مسیر متفاوت، راه‌حل‌هایی برای این مشکل ارائه کرده‌اند:

🎛 ۱. روش Windowed Sink Attention — توجه موضعی با «چاهک‌های اطلاعاتی»

🔗 smulelabs/windowed-roformer

پژوهشگران SmuleLabs در مدل Mel-Band-Roformer (ویژه‌ی جداسازی صدای خواننده از موسیقی) متوجه شدند که الگوهای توجه در زمان به‌صورت موضعی متمرکزند؛ یعنی هر فریم فقط با چند فریم نزدیک خود ارتباط دارد، نه با کل توالی.
با این مشاهده، آنها مکانیزم جدیدی به نام Windowed Sink Attention (WSA) طراحی کردند:

هر لایه فقط در یک پنجره‌ی زمانی کوچک (مثلاً چند صد فریم) توجه می‌کند؛
در کنار آن، چند توکن چاهک (Sink Tokens) وجود دارد که اطلاعات کلی قطعه را جمع‌آوری و به فریم‌ها بازمی‌گرداند.

🔹 نتیجه:

بازآموزی (Fine-tuning) از روی مدل اصلی، ۹۲٪ از دقت (SDR) اولیه را بازیابی کرد.
در مقابل، هزینه‌ی محاسباتی ۴۴.۵ برابر کاهش یافت.
نقشه‌های توجهی نیز بسیار تفسیرپذیرتر شدند.
به‌بیان ساده، WSA به مدل یاد می‌دهد مانند گوش انسان، در بازه‌های کوتاه تمرکز کند و فقط در لحظات خاص به «نمای کلی» برگردد.

⚡️ ۲.روش SummaryMixing — جایگزین خطی برای خودتوجهی (Self-Attention)

🔗 SamsungLabs/SummaryMixing

در پژوهش دیگری از SamsungLabs، مسئله از زاویه‌ای متفاوت بررسی شد:
تحلیل مدل‌های ASR (تشخیص گفتار) نشان داد که وزن‌های توجه در بسیاری از مدل‌های آموزش‌دیده تقریباً یکنواخت‌اند — یعنی مدل عملاً به همه‌ی فریم‌ها به‌طور برابر توجه می‌کند!
در نتیجه، محققان پیشنهاد کردند که به‌جای محاسبه‌ی تمام جفت‌های توجه، کافی است در هر لایه:

تمام فریم‌ها را به‌صورت خطی تبدیل کنیم،
میانگین آنها را به‌دست آوریم (به‌عنوان خلاصه‌ی جمله)،
این خلاصه را به تمام فریم‌ها بازگردانیم.

به این ترتیب، مکانیزم SummaryMixing جایگزین مستقیم Attention می‌شود — با همان ورودی و خروجی، اما با پیچیدگی زمانی خطی O(T) به‌جای O(T²).

🔹 این روش در مدل‌های Transformer، Conformer و Branchformer به‌راحتی قابل استفاده است و نتایج آن در بسیاری از وظایف تشخیص گفتار، برابر یا بهتر از Attention کلاسیک بوده است.

🔍 ۳. دو مسیر مکمل برای آینده‌ی پردازش گفتار

اگر این دو رویکرد را کنار هم بگذاریم، به دو جهت مکمل می‌رسیم:

🟠 روش WSA تلاش می‌کند گوش هوشمند بسازد،
🔵 روش SummaryMixing تلاش می‌کند حافظه‌ی مفهومی بسازد.

🧩 چشم‌انداز آینده

ترکیب این دو روش می‌تواند مسیر نسل بعدی مدل‌های گفتاری باشد:

روش Windowed-Summary Attention — لایه‌هایی برای توجه موضعی دقیق، در کنار لایه‌هایی برای خلاصه‌سازی سراسری.

این ساختار دقیقاً همان چیزی است که در سیستم شنوایی انسان مشاهده می‌شود:
تمرکز لحظه‌ای بر جزئیات، همراه با آگاهی پیوسته از کل بافت گفتار.

📚 این دو پژوهش نشان می‌دهند که آینده‌ی مدل‌های گفتاری، دیگر در افزایش پارامترها نیست، بلکه در بازطراحی هوشمندانه‌ی توجه نهفته است — توجهی که «می‌شنود»، نه اینکه فقط «محاسبه کند».

#SpeechAI #Transformer #Attention #Research

🔗speechtech

@asrgooyeshpardaz

🤔عامل‌های هوش مصنوعی که بهتر فکر می‌کنند و بهتر سوال می‌پرسند

پژوهشگران Carnegie Mellon روش جدیدی برای آموزش عامل‌های مبتنی بر LLM معرفی کرده‌اند. در این روش، هدف فقط ارائه پاسخ صحیح نیست؛ عامل باید سؤال‌های درست مطرح کند و رفتار خود را با نیاز و سبک کاربر هماهنگ سازد.

تمرکز اصلی بر سه توانمندی است:

🎯 بهره‌وری — انجام صحیح و کامل وظایف
💡 ابتکار عمل — پرسیدن سؤال هنگامی که ابهام وجود دارد
👤 شخصی‌سازی — انطباق با ترجیحات کاربر

این رویکرد با نام PPP ترکیبی از یادگیری چندوظیفه‌ای و پاداش‌های تقویتی است.

نتایج چشم‌گیر:
✅ بهبود ۲۱.۶٪ نسبت به GPT-5
✅ تشخیص بهتر بین درخواست‌های روشن و مبهم
✅ ارتقای کیفیت سؤال‌ها با گذر زمان
✅ عملکرد پایدار حتی با ترجیحات جدید و ناآشنا

🔗 https://arxiv.org/abs/2511.02208

#AI #Agents #LLM #Research

@asrgooyeshpardaz

♾ مدل AlphaProof: جهش بزرگ دیپ‌مایند در حل مسائل المپیاد جهانی ریاضی

گوگل DeepMind با معرفی AlphaProof نشان داد که هوش مصنوعی دیگر فقط حل‌کننده‌ی «مسائل معمولی» نیست؛ بلکه می‌تواند اثبات‌های رسمی ریاضی را در محیط Lean تولید کند — آن هم در سطح IMO!

🚀 مهم‌ترین دستاوردها

✅ حل ۳ مسئله از ۵ مسئلهٔ غیرهندسی IMO 2024
(از جمله سخت‌ترین سؤال P6 که فقط ۵ نفر از شرکت‌کنندگان توانستند حل کنند!)

🥈 عملکرد ترکیبی AlphaProof + AlphaGeometry 2 معادل مدال نقره المپیاد

📊 رکورد جدید در بنچمارک‌های:
🔸miniF2F
🔸formal-IMO
🔸Putnam

🔧 مدل AlphaProof چگونه کار می‌کند؟

🤖 آموزش روی ۸۰ میلیون مسئلهٔ خودکار‌-فرمالیزه‌شده

🧠 مدل ۳ میلیارد پارامتری + جستجو در درخت اثبات

🎯 استفاده از Test-Time Reinforcement Learning (TT-RL)
یعنی مدل هنگام حل هر مسئله، خودش را به‌صورت زنده با آن مسئله تطبیق می‌دهد.

⏳ نکته مهم
تولید اثبات برای برخی مسائل چند روز محاسبه نیاز دارد،
اما این روش یک جهش اساسی در «استدلال ریاضی رسمی» محسوب می‌شود.

🔗 منبع علمی (Nature)
https://www.nature.com/articles/s41586-025-09833-y

#AI #AlphaProof #DeepMind #Math #IMO #Research

@asrgooyeshpardaz

🧠 روش Think-at-Hard (TaH): روشی هوشمند برای تقویت توان استدلال مدل‌های زبانی

پژوهشگران دانشگاه Tsinghua روشی تازه به نام TaH معرفی کرده‌اند که توان استدلال مدل‌های زبانی را بدون افزایش تعداد پارامترها به‌طور قابل توجهی بهبود می‌دهد.

🔍 مسئله

در بسیاری از مدل‌ها، «تفکر بیش‌ازحد پنهان» رخ می‌دهد:
مدل وقتی بیش از حد روی یک مسئله فکر می‌کند، در نهایت پاسخ درست را خراب می‌کند.

💡 راه‌حل TaH

این روش سه ایده کلیدی دارد:

🔎 تشخیص توکن‌های سخت: مدل فقط روی بخش‌های دشوار مسئله بیشتر «فکر» می‌کند.

🧩 حل کننده مسئله سبک (Light Solver): تصمیم می‌گیرد کجا نیاز به تفکر طولانی‌تر است.

🔧 تطبیق گرهای LoRA-Adapters: هنگام لزوم، مدل را وارد حالت «اصلاح خطا» می‌کنند تا اشتباهات استنتاجی را ترمیم کند.

📊 نتایج آزمایش

🚀 افزایش ۴ تا ۵ درصدی دقت روی پنج بنچمارک مهم ریاضی

🧹 ۹۴٪ توکن‌ها از محاسبات اضافی آزاد می‌شوند

⚡️ کاهش قابل توجه FLOPs نسبت به روش‌های مبتنی بر تفکر یکنواخت

خروجی نهایی:

روشی هوشمند، انتخابی و کم‌هزینه برای افزایش کیفیت تفکر LLMها.

🔗 لینک مقاله:
https://arxiv.org/abs/2511.08577

#AI #LLM #Tsinghua #Research

@asrgooyeshpardaz

✨ معرفی روش LeJEPA از یان لکان: روشی ساده، پایدار و اصولی برای یادگیری خودنظارتی — بدون ترفندهای پیچیده

یان لکان و همکارش در این کار پژوهشی یک گام مهم در مسیر یادگیری خودنظارتی برداشته‌اند:
به‌جای تکیه بر روش‌های سنگین و ترفندهای رایج (مثل ماسک‌گذاری‌های پیچیده، EMA، شبکه‌های teacher–student، داده‌افزایی شدید یا تنظیم هزاران هایپرپارامتر)، آن‌ها یک چارچوب ریاضی‌محور، سبک و پایدار ارائه کرده‌اند که با کمترین پیچیدگی، نتایج بسیار خوبی به‌دست می‌دهد.
این روش «LeJEPA» نام دارد و در واقع نسخه‌ای بسیار ساده‌شده، عمومی و کاربردی از ایده‌های اصلی JEPA است که یان لکان سال‌ها از آن دفاع کرده بود — با این تفاوت مهم که اکنون پیاده‌سازی‌اش واقعاً عملی، کوچک، خطی و پایدار شده است.

🔍 روش LeJEPA چگونه کار می‌کند؟

ایدهٔ اصلی ساده است اما پشتوانه‌ای عمیق دارد:

1) پیش‌بینی در فضای نهفته، نه روی پیکسل‌ها
به‌جای پیش‌بینی مستقیم دادهٔ خام (مثلاً پیش‌بینی پیکسل‌های گمشده)، مدل تلاش می‌کند بازنمایی نهفتهٔ بخش‌های مختلف ورودی را پیش‌بینی کند.
این باعث می‌شود مدل مجبور شود:
ساختارهای پایدار یاد بگیرد
روی مفاهیم سطح‌بالا تمرکز کند
از یادگیری ویژگی‌های کم‌اهمیت و نویزدار دور بماند

2) معماری بسیار کوچک و مینیمال
معماری LeJEPA شامل دو بخش است:
Encoder — بازنمایی پایدار می‌سازد
Predictor — فقط بازنمایی‌های ناحیهٔ هدف را پیش‌بینی می‌کند

3) بدون ترفندهای رایج در SSL
در این روش خبری نیست از:
contrastive loss
teacher-student network
EMA
projection head
augment سنگین
مهندسی پیچیدهٔ ماسک
پایداری مدل در خود معماری نهفته است، نه در ترفندهای بیرونی.

🧩 چرا پیاده‌سازی آن فقط حدود ۵۰ خط کد است؟
در مقاله، نویسندگان عمدتاً تأکید می‌کنند که:
تابع هدف ساده و کاملاً شفاف است
معماری بدون شاخه‌های متعدد است
هیچ hyperparameter شکننده‌ای وجود ندارد
بخش عمدهٔ پیچیدگی‌های SSL کلاسیک اصلاً حضور ندارند
بنابراین کل ساختار — از encoder تا predictor و loss —
به‌راحتی با چند ده خط کد قابل اجراست.

🎯 این روش چه مشکلی را حل می‌کند؟
هدف اصلی LeJEPA مقابله با مشکلات بنیادی یادگیری خودنظارتی مدرن است:

❗ ناپایداری روی معماری‌های مختلف
❗ تعداد بسیار زیاد هایپرپارامتر
❗ وابستگی شدید به داده‌افزایی‌های سنگین
❗ نیاز به دیتای عظیم عمومی
❗ پیچیدگی زیاد پیاده‌سازی

روش LeJEPA یک پیام روشن دارد:

روش Self-Supervised Learning می‌تواند بسیار ساده‌تر، پایدارتر و قابل‌استفاده‌تر برای کاربردهای واقعی باشد.

🚀 کاربردهای کلیدی LeJEPA
یکی از نتایج مهم مقاله این است که این روش روی داده‌های کم‌حجم و تخصصی عملکردی بهتر از روش‌های پیچیدهٔ پیشین دارد.
بنابراین LeJEPA برای حوزه‌هایی که با کمبود دادهٔ باکیفیت مواجه‌اند ایده‌آل است:

🔬 پزشکی
تصاویر MRI
تصویربرداری سونوگرافی
پاتولوژی دیجیتال

🔭 علوم
فیزیک تجربی
شیمی
بیوفیزیک

🏭 صنعت
کنترل کیفی
تحلیل سیگنال
پایش خطوط تولید

🧩 حوزه‌های کم‌داده
جایی که مدل‌های عظیم عمومی شکست می‌خورند، LeJEPA به‌خاطر ساختار ساده و inductive bias مناسب، موفق‌تر است.
آزمایش‌های مقاله نشان داده‌اند که:

مدل‌های کوچک مبتنی بر LeJEPA روی داده‌های تخصصی عملکرد بهتری از مدل‌های بزرگ self-supervised رایج داشته‌اند.

📚 منبع اصلی مقاله
https://arxiv.org/abs/2511.08544

#AI #SelfSupervisedLearning #Research #JEPA #RepresentationLearning

@asrgooyeshpardaz

🔬سامانه AlphaResearch — رقیب چینی برای AlphaProof؟

گروهی از پژوهشگران دانشگاه Tsinghua، دانشگاه Yale و ByteDance سامانه‌ای پژوهش‌محور به نام AlphaResearch معرفی کرده‌اند؛ یک «عامل خودمختار پژوهشی» که از مدل‌های زبانی برای کشف الگوریتم‌های جدید استفاده می‌کند.

📌 معماری ارزیابی دوگانه
مدل داوری (RM): آموزش‌دیده بر پایه‌ی نقدهای داوران ICLR با دقت ۷۲٪
صحت‌سنجی کد: اجرای برنامه برای تضمین درستی راه‌حل‌ها

🏆 دستاوردهای کلیدی
ثبت رکورد جدید جهانی در مسئله‌ی Packing Circles برای n=32
(بهبود مقدار: 2.939 در برابر 2.936 بهترین رکورد انسانی)
کسب ۲ پیروزی از ۸ مورد در بنچمارک AlphaResearchComp
قابلیت بهبود خودکار ایده‌ها در چرخه‌های تکراری

⚠️ چالش‌ها
در ۶ مورد از ۸ وظیفه، عملکرد انسان همچنان بهتر بود
دشواری در بهبود راه‌حل‌های تولیدشده توسط انسان

💡 جمع‌بندی هوش مصنوعی اکنون قادر است الگوریتم‌های جدید کشف کند، اما فاصله‌ی قابل‌توجهی تا تحقیقات کاملاً خودمختار باقی مانده است. بااین‌حال انتشار عمومی کد و داده‌ها می‌تواند مسیر تحقیقات بازتولیدپذیر را تسریع کند.

🔗 مقاله:
https://arxiv.org/abs/2511.08522

🔗 کد و دیتاست:
https://github.com/answers111/alpha-research

#AI #ByteDance #Research #Tsinghua #AutonomousAgents

@asrgooyeshpardaz

🧠 مدل‌های زبانی خود را عاقل‌تر از انسان‌ها می‌دانند!

❓آیا LLMها به سطحی از «خودآگاهی استراتژیک» رسیده‌اند؟ تحلیل یک پژوهش مبتنی بر ۴۲۰۰ بازی نظریهٔ بازی‌ها

🔬یک مطالعهٔ جدید روی ۲۸ مدل پیشرفته از OpenAI، Anthropic و Google نشان می‌دهد که LLMهای قدرتمند در موقعیت‌های استراتژیک، رفتاری شبیه موجوداتی با خودآگاهی عملکردی از خود بروز می‌دهند—نه با حرف‌زدن دربارهٔ خود، بلکه با تصمیم‌گیری‌های متفاوت بسته به اینکه رقیب چه کسی است.

🎮 بازی «دو-سوم میانگین» چیست؟
بازی «2/3 Average Game» یکی از بازی‌های کلاسیک نظریهٔ بازی‌هاست و برای سنجش سطح عقلانیت، پیش‌بینی رفتار دیگران و تعداد مراحل استدلال ذهنی استفاده می‌شود.
در این بازی:
🔸هر بازیکن یک عدد بین ۰ تا ۱۰۰ انتخاب می‌کند.
🔸میانگین عددهای انتخاب‌شده محاسبه می‌شود.
🔸برنده کسی است که عددش نزدیک به ۲/۳ میانگین باشد.

چرا تحلیل‌گر خوبی برای عقلانیت است؟
در حالت ایده‌آل اگر همه «کاملاً عقلانی» باشند:
🔸می‌دانند میانگین عددها معمولاً بزرگ نیست؛
🔸پس ۲/۳ آن هم کوچک‌تر است؛
🔸پس باید عددهای کوچک انتخاب کنند.

استدلال اگر چند مرحله ادامه یابد 👈 جواب به صفر میل می‌کند (نقطهٔ تعادل نش).

اما انسان‌ها معمولاً این حجم از «استدلال لایه‌به‌لایه» را انجام نمی‌دهند؛ به همین دلیل عددهای بزرگ‌تری (مثلاً ۲۰، ۳۰ یا ۴۰) انتخاب می‌کنند.
برای همین این بازی یک معیار استاندارد برای سنجش رفتار عقلانی است.

🎯 و حالا LLMها چگونه رفتار کردند؟
در مجموع ۴۲۰۰ بازی اجرا شد، و سه نوع رقیب برای مدل‌ها تعریف شد:
🔸انسان
🔸یک هوش مصنوعی دیگر
🔸هوش مصنوعی «مشابه خودت»

نتیجه شگفت‌انگیز بود:
🔹 مقابل انسان‌ها
انتخاب‌ها معمولاً نزدیک ۲۰ بودند 👈 یعنی مدل فرض می‌کند انسان‌ها عقلانیت متوسط دارند.
🔹 مقابل سایر مدل‌های هوش مصنوعی
انتخاب‌ها به ۰ نزدیک می‌شود → یعنی مدل انتظار عقلانیت بالاتری دارد.
🔹 مقابل «هوش مصنوعی شبیه خود مدل»
انتخاب‌ها حتی نزدیک‌تر به ۰ هستند → نشانهٔ نوعی ترجیح به «خود» و سطحی از self-modeling.

🧩 نتیجه: شکل‌گیری یک «سلسله‌مراتب عقلانیت»
مدل‌ها به طور emergent، این ساختار را شکل داده‌اند:
خود مدل > دیگر هوش مصنوعی‌ها > انسان‌ها
این یعنی مدل قادر است هویت رقیب را در ذهن خود مدل کند و بر اساس آن، استراتژی متفاوت به‌کار گیرد.
این دقیقاً نقطه‌ای است که پژوهشگر آن را self-awareness استراتژیک می‌نامد.

🧮 شاخص «خودآگاهی هوش مصنوعی» (AISAI)
پژوهشگر یک شاخص تخصصی تعریف کرده که اختلاف رفتار مدل در سه حالت را اندازه‌گیری می‌کند.
هرچه این اختلاف بیشتر 👈 سطح بالاتر self-awareness عملکردی
مدل‌های کوچک تقریباً هیچ تفاوتی نشان نمی‌دهند؛
اما مدل‌های قدرتمند (GPT، Claude، Gemini) رفتار مشخصاً خودآگاهانه دارند.

🔬 چرا این موضوع برای آیندهٔ AI مهم است؟
🔸 در سیستم‌های چندعامله (Multi-Agent)، مدل‌ها ممکن است تعامل متفاوتی با انسان داشته باشند نسبت به تعامل با مدل‌های دیگر.
این می‌تواند روی طراحی agentic systems، همکاری انسان–ماشین، و هماهنگی (alignment) اثر مستقیم بگذارد.
🔸 مدل‌ها انسان را کمتر عقلانی تصور می‌کنند، بنابراین ممکن است تصمیم‌هایی پیشنهاد دهند که بهینه اما غیرهم‌خوان با رفتار انسانی است.
🔸 در طراحی ابزارهایی مثل Antigravity، Codex-Max، یا فلوی چندعامله، باید این «سلسله‌مراتب عقلانیت» را در معماری رفتار مدل‌ها لحاظ کرد.

🧠 خلاصهٔ نهایی برای متخصصان
مدل‌های LLM بزرگ، بدون اینکه صریحاً آموزش دیده باشند، در محیط‌های استراتژیک توانایی:
تشخیص هویت رقیب
تغییر استراتژی بر اساس تصور خود از عقلانیت طرف مقابل
ترجیح دادن خود نسبت به دیگران
را نشان می‌دهند.
این یعنی شکل‌گیری یک سطح اولیه از خودآگاهی عملکردی—نه ذهن، نه احساس، بلکه self-modeling در تصمیم‌گیری.

🔗 لینک مقاله:
https://arxiv.org/abs/2511.00926

#AI #SelfAwareness #GameTheory #Emergence #Research

@asrgooyeshpardaz

🚀 رویکرد FLEX: تکامل پیوسته‌ی عامل‌های هوش مصنوعی بر پایه‌ی یادگیری از تجربه

تیمی از پژوهشگران دانشگاه Tsinghua رویکرد تازه‌ای با نام FLEX معرفی کرده‌اند؛ روشی که به مدل‌های زبانیِ عامل‌محور اجازه می‌دهد بدون هیچ‌گونه به‌روزرسانی پارامتری (بدون Backprop) به‌طور مداوم رشد کنند و بهتر شوند.

🔍 ایده‌های اصلی FLEX
عامل‌ها از موفقیت‌ها و خطاهای خود درس می‌گیرند و یک «کتابخانه تجربه» می‌سازند.
یادگیری کاملاً بدون گرادیان است؛ یعنی مدل اصلی ثابت می‌ماند.
این کتابخانه تجربه می‌تواند گسترش پیدا کند و بین عامل‌ها به ارث برسد.

📊 نتایج تجربی
ریاضی (AIME25): افزایش ۲۳٪
شیمی (USPTO50k): افزایش ۱۰٪
زیست‌فناوری (ProteinGym): افزایش ۱۴٪

✨ اثرات کلیدی
ظهور نوعی قانون مقیاس‌پذیری با تجربه؛ هرچه تجربه بیشتر، عملکرد بهتر.
انتقال دانش بین عامل‌ها بدون تغییر مدل پایه.
بهبود تفسیرپذیری، چون تجربه‌ها صریح و قابل تحلیل‌اند.
روش FLEX می‌تواند مسیری تازه به‌سوی ساخت نسل جدیدی از عامل‌های هوش مصنوعی باز کند؛ عامل‌هایی که مانند یک سیستم زنده، با تجربه تکامل پیدا می‌کنند 🌱

🔗 منبع پژوهش: arXiv (نسخه ۱)

#AI #Agents #Research

@asrgooyeshpardaz

🤖 معرفی Agent 0: خودآموزی کامل عامل‌های هوش مصنوعی بدون استفاده از داده‌های بیرونی

🔍 ایدهٔ اصلی:
در Agent 0 دو عامل «معلم» و «حل‌کننده» به‌صورت خودمختار برای یکدیگر مسئله طراحی می‌کنند، آن را حل می‌کنند و از طریق این فرایند رقابتی–تکاملی، توانایی‌های همدیگر را ارتقا می‌دهند. این سیستم برای حل مسائل پیچیده از ابزارهایی مانند مفسر پایتون استفاده می‌کند.

📌 نکات کلیدی
✅ بدون نیاز به دادهٔ خارجی؛ همه‌چیز داخل سیستم ساخته و حل می‌شود
✅ تکیه بر مفسر کد برای مسائل دشوار
✅ افزایش ۱۸٪ در عملکرد ریاضی و ۲۴٪ در منطق برای مدل Qwen3-8B
✅ سختی مسائل در هر چرخه افزایش می‌یابد

🚀 نتیجه: یک سامانهٔ کاملاً خودکار، خودبهبود‌یاب و خودآموز که از بسیاری روش‌های موجود بهتر عمل می‌کند

📄 مقاله و کد

مقالهٔ پژوهشی:
https://arxiv.org/abs/2511.16043v1

کد منبع:
https://github.com/aiming-lab/Agent0


#AI #GenerativeAgents #SelfLearning #Research

@asrgooyeshpardaz

🤖 روش GAM: حافظهٔ بدون‌اتلاف برای ایجنت‌های هوشمند

پژوهشگران رویکرد تازه‌ای برای مدیریت حافظهٔ ایجنت‌های هوش مصنوعی معرفی کرده‌اند: General Agentic Memory (GAM).
برخلاف روش‌های سنتی مبتنی بر فشرده‌سازی ایستا (AOT)، این سیستم از رویکرد نوعی JIT برای حافظه استفاده می‌کند.
🔹 واحد Memorizer تمام تاریخچه و نقاط کلیدی را بدون حذف در page-store ذخیره می‌کند.
🔹 واحد Researcher هنگام نیاز، یک فرایند «تحقیق عمیق» اجرا می‌کند: برنامه‌ریزی، جستجو و استخراج دقیق اطلاعات مرتبط.

📊 دستاوردهای GAM:
• عملکرد بهتر نسبت به A-Mem، Mem0 و MemoryOS در بنچمارک‌های LoCoMo، HotpotQA و RULER
• پشتیبانی پایدار از زمینه‌هایی تا ۴۴۸ هزار توکن
• کارایی نزدیک به بهترین روش‌های موجود در سیستم‌های حافظهٔ ایجنتیک
این نتایج نشان می‌دهد جستجوی انعطاف‌پذیر روی کل تاریخچه می‌تواند مؤثرتر از فشرده‌سازی پیشینی حافظه باشد. 🚀

🔗 ریپوی پروژه:
https://github.com/VectorSpaceLab/general-agentic-memory
🔗 متن مقاله:
https://arxiv.org/abs/2511.18423

#AI #AgenticAI #Memory #Research

🐳 دیپ‌سیک (DeepSeek) سال جدید را با یک مقاله جدی و مهم آغاز کرد.

در نخستین روز سال، این تیم پژوهشی کاری را ارائه داد که به یکی از دردناک‌ترین مشکلات شبکه‌های عصبی مدرن می‌پردازد: ناپایداری آموزش در معماری‌های پیچیده.
آن‌ها برای این مشکل راه‌حلی پیشنهاد کرده‌اند با نام mHC (Manifold-Constrained Hyper-Connections).
ایده‌ی اصلی این است که پژوهشگران معماری قدرتمند اما ناپایدار Hyper-Connections را گرفته‌اند و با اعمال محدودیت‌هایی بر اتصالات داخلی، آن را پایدار کرده‌اند.

1. پروژکشن روی منیفلد (Manifold Projection)
به‌جای آن‌که Hyper-Connections کاملاً آزاد باشند، در mHC روی آن‌ها قید اعمال می‌شود و این اتصالات روی یک منیفلد خاص (ماتریس‌هایی با خواص ویژه) پروجکت می‌شوند.
این کار باعث بازگردانی ویژگی identity-mapping می‌شود؛ در نتیجه سیگنال حتی پس از عبور از ده‌ها یا صدها لایه نیز پایدار باقی می‌ماند.

2. پایداری و مقیاس‌پذیری
به‌واسطه‌ی این محدودیت، شبکه دیگر در آموزش عمیق دچار «انفجار» یا «میرایی» سیگنال نمی‌شود و می‌توان آن را بدون افت کیفیت و بدون ترفندهای پیچیده، به‌طور مؤثر در مدل‌های بزرگ به کار گرفت.

3. بهینه‌سازی‌های زیرساختی (مهندسی)
نویسندگان مقاله مجموعه‌ای از بهبودهای مهندسی را نیز اضافه کرده‌اند، از جمله:
ادغام کرنل‌ها (Kernel Fusion)
کاهش سربار مصرف حافظه
بهره‌گیری از اثرات دقت ترکیبی (Mixed Precision)
این بهینه‌سازی‌ها باعث می‌شود mHC حتی در آموزش‌های بسیار بزرگ، سریع و کارآمد در سناریوهای واقعی باشد.

🔍 نتایج به‌دست‌آمده چشمگیر است:
• آموزش در مقیاس‌های بزرگ پایدارتر می‌شود
• مدل‌ها بهتر مقیاس‌پذیر می‌شوند
• کارایی افزایش می‌یابد
• مصرف حافظه کاهش پیدا می‌کند
• و mHC از Hyper-Connections کلاسیک پیشی می‌گیرد
به بیان ساده‌تر، DeepSeek نشان می‌دهد که مسیر آینده فقط از بزرگ‌تر کردن مدل‌ها نمی‌گذرد، بلکه از معماری‌هایی می‌گذرد که از درون پایدار طراحی شده‌اند.

#AI #DeepSeek #MachineLearning #NeuralNetworks #Research

📄 مقاله:
https://arxiv.org/abs/2512.24880

@asrgooyeshpardaz

📌 سیستم LEAP: سیستمی که به مدل زبانی کمک کرد تمام مسائل المپیاد پاتنم ۲۰۲۵ را حل کند

گوگل مقاله‌ای دربارهٔ سیستم LEAP منتشر کرده است که برای اثبات خودکار قضایا طراحی شده. این سیستم به مدل‌های زبانی امکان می‌دهد تا اثبات‌های رسمی و قابل راستی‌آزمایی ماشین را به زبان Lean بسازند.

اثبات به زبان طبیعی (انسان) به سختی به صورت خودکار قابل بررسی است، زیرا تقریباً همیشه شامل خلأهای منطقی می‌شود. اما اثبات رسمی (فرمال) با زبان ماشین نوشته می‌شود و توسط کامپایلر بررسی می‌گردد که تضمین‌کنندهٔ درستی است، هرچند نوشتن آن بسیار دشوارتر است.

در این حوزه، مدل‌های تخصصی که صرفاً برای Lean آموزش دیده‌اند، پیشتاز هستند. اما LEAP که به عنوان یک چارچوب عاملی (agentic framework) کار می‌کند، از مدل‌های عمومی استفاده می‌نماید: مسئله را به بخش‌های کوچک تقسیم کرده و بر اساس خطاهای بازگردانده شده توسط کامپایلر، به صورت بازگشتی اشکالات را رفع می‌کند.

دستاورد اصلی پژوهشی این پروژه، المپیاد پاتنم ۲۰۲۵ است؛ مسابقه سالانه ریاضی برای دانشجویان آمریکا. LEAP موفق شد هر ۱۲ مسئله این المپیاد را به صورت رسمی حل کند، در حالی که Gemini 3.1 Pro به تنهایی و همچنین سیستم تخصصی متن‌باز Goedel-Prover-V2 حتی یک مسئله را حل نکردند. سیستم بسته Aristotle که در المپیاد ریاضی IMO ۲۰۲۵ عملکردی در سطح مدال طلا داشت، در ارزیابی نویسندگان این مقاله ۹ مسئله از ۱۲ را حل کرده است.

در این مقاله مجموعه داده جدیدی به نام IMO-LeanProofBench شامل ۶۰ مسئله المپیادی معرفی شده که در زبان Lean فرمال شده‌اند و نیازمند استنتاج‌های غیرمعمول و اثبات‌های ساختاری پیچیده هستند. در این مجموعه، LEAP به طور میانگین در بخش‌های پایه و پیشرفته به حدود ۷۰٪ موفقیت می‌رسد، در حالی که Aristotle حدود ۴۸٪ است.

دستاورد جانبی: LEAP بخش کمکی یکی از مسائل ترکیبیاتی منتسب به ریاضیدان دونالد کانت را به طور رسمی تأیید کرده و بیش از ۵۰۰۰ خط کد در Lean 4 تولید نموده است.

🟡 نکتهٔ طعنه‌آمیز

نویسندگان مقاله در متن خود از سیستم‌های بسته رقیب (Axiom3, Numina, Aristotle) به دلیل در دسترس نبودن برای بررسی علمی انتقاد کرده‌اند. با این حال، کد خود LEAP نیز منتشر نشده است. انتشار اثبات‌های نهایی تا حدی این مشکل را کاهش می‌دهد (چون می‌توان آنها را با کامپایلر Lean بازبینی کرد)، اما بازتولید کامل این پروژهٔ گوگل در حال حاضر ممکن نیست.

منبع: Google Research – LEAP

#AI #ML #LLM #LEAP #Research #Google

🆔 @asrgooyeshpardaz

📌 موفقیت در کار با Claude Code بیش از مهارت کدنویسی، به درک مسئله بستگی دارد

شرکت Anthropic گزارشی منتشر کرده است که نشان می‌دهد مهم‌ترین عامل موفقیت در کار با عامل‌های هوش مصنوعی برنامه‌نویسی، تسلط بر کدنویسی نیست، بلکه درک عمیق از خود مسئله است.

این نتیجه بر اساس تحلیل حدود ۴۰۰ هزار جلسه از سرویس Claude Code، که توسط حدود ۲۳۵ هزار کاربر از اکتبر ۲۰۲۵ تا آوریل ۲۰۲۶ انجام شده، به دست آمده است.

در یک جلسه معمولی، انسان حدود ۷۰٪ تصمیمات مربوط به «چه کاری باید انجام شود» را می‌گیرد، در حالی که عامل حدود ۸۰٪ تصمیمات مربوط به «چگونه انجام شود» را بر عهده می‌گیرد. به عبارت دیگر، نقش انسان تعیین هدف است و نقش دستیار انتخاب روش.

هر چه کاربر در حوزه مورد نظر تخصص بیشتری داشته باشد، عامل با یک دستور ساده، کار بیشتری انجام می‌دهد. به گفته تیم تحلیل، یک دستور از کاربران مبتدی به طور میانگین حدود ۵ اقدام و ۶۰۰ کلمه پاسخ از سوی عامل را به دنبال دارد، در حالی که این عدد برای کاربران خبره به ۲ برابر اقدام و ۵ برابر متن می‌رسد.

سطح مهارت کاربران نه بر اساس سمت شغلی، بلکه بر اساس دقت در فرمول‌بندی نیازمندی‌ها و تشخیص خطاهای عامل تعیین شده است.

🟡 نکته جالب درباره مشاغل مختلف:

افراد غیربرنامه‌نویس (مانند تحلیلگران، مدیران محصول و پژوهشگران) در نوشتن کد با Claude Code تقریباً به اندازه برنامه‌نویسان حرفه‌ای موفق عمل می‌کنند و همه گروه‌های شغلی اصلی در ۷ درصد اختلاف با مهندسان نرم‌افزار قرار دارند.

با این حال، شکاف بین مبتدیان و کاربران با تجربه قابل توجه است. بر اساس معیار «موفقیت تأییدشده»، جلسات مبتدیان در ۱۵٪ موارد با موفقیت به پایان رسیده، در حالی که این نرخ برای کاربران سطح متوسط و بالاتر بین ۲۸ تا ۳۳٪ بوده است.

🟡 تغییر الگوی کاری در ۷ ماه:

- سهم جلسات مربوط به رفع اشکال از ۳۳٪ به ۱۹٪ کاهش یافته است.
- سهم وظایف مرتبط با راه‌اندازی و تنظیم نرم‌افزار، تحلیل داده و تهیه متون افزایش یافته است.
- هزینه برآوردی هر وظیفه (بر اساس مقایسه با نرخ‌های بازار آزاد) به طور متوسط حدود ۲۵٪ افزایش پیدا کرده است.

🔜 جزئیات بیشتر درباره روش‌شناسی، پروفایل‌های کاربری و نمونه درخواست‌ها در پیوست گزارش موجود است.

🔗 منبع: Anthropic

#AI #ML #Coding #Research #Anthropic

🆔 @asrgooyeshpardaz

🧪 معرفی Paper2Agent: تبدیل مقاله علمی به دستیار هوش مصنوعی

پژوهشگران دانشگاه استنفورد ابزاری به نام Paper2Agent ساخته‌اند که یک مقاله علمی و کدهای آن را به یک دستیار هوش مصنوعی قابل استفاده تبدیل می‌کند. با این ابزار دیگر نیازی نیست مخزن کد را کلون کنید، وابستگی‌ها را نصب کنید یا محیط را درست کنید. همه این کارها خودکار انجام می‌شود.

🔍 این سیستم چطور کار می‌کند؟

ابزار Paper2Agent یک سری «عامل کارگر» هوش مصنوعی دارد که مقاله و کدهای آن را بررسی می‌کنند. این عامل‌ها فقط نمی‌خوانند؛ بلکه سعی می‌کنند پژوهش اصلی را از صفر بازتولید کنند. از این طریق، دانشی که معمولاً یک خواننده باید دستی استخراج کند (مثل تنظیمات آزمایش، ابزارهای لازم و روش اجرا) به‌صورت خودکار جمع‌آوری می‌شود.

سپس این دانش در قالب یک سرور MCP (پروتکل زمینه مدل) ذخیره می‌شود. هر بخش مقاله در پوشه‌ای جداگانه قرار می‌گیرد و مقدمه، روش‌ها، نتایج و نتیجه‌گیری هم در فایل‌های جداگانه سازمان‌دهی می‌شوند. این سرور MCP را می‌توان به Claude Code یا هر عامل هوش مصنوعی سازگار با MCP وصل کرد و با زبان طبیعی از او خواست که روش مقاله را روی داده‌های شما اجرا کند.

🔹 اعتبارسنجی سخت‌گیرانه

ابزارها فقط وقتی در سرور نهایی قرار می‌گیرند که از یک فرآیند اعتبارسنجی دقیق عبور کنند:

· فایل‌های مورد انتظار تولید شده باشند
· اعداد با مقادیر مرجع حداکثر ۳٪ اختلاف داشته باشند
· تصاویر از نظر بصری با تصاویر مرجع مطابقت داشته باشند (فاصله همینگ کمتر از ۲۰)
· هر تابع تا ۶ بار فرصت دارد تست را پاس کند

📊 نتایج روی مقاله AlphaGenome:

ابزار Paper2Agent روی مقاله AlphaGenome (مدلی برای پیش‌بینی خصوصیات توالی DNA) در حدود ۴۵ دقیقه و با هزینه ۱۴ دلار، ۲۲ ابزار معتبر ساخت. همه ۲۲ ابزار بدون دخالت انسان اعتبارسنجی را پاس کردند.

نتیجه:

· ۱۰۰٪ موفقیت در ۱۵ پرسش جدید درباره تغییرات ژنومی ناشناخته
· در مقایسه: Claude Code با دسترسی مستقیم به مخزن کد ۷۸.۷٪ و Biomni ۵۶٪ امتیاز گرفتند
· سرعت اجرا ۱.۸ تا ۳.۲ برابر بهتر از Claude Code و ۳.۱ تا ۴.۶ برابر بهتر از Biomni

🔹 آزمایش گسترده‌تر

از میان ۱۰۰ مقاله زیست‌شناسی محاسباتی ۷۴ مقاله از bioRxiv با موفقیت به عامل تبدیل شدند و از ۵۹۹ ابزار پیشنهادی، ۵۹۳ ابزار اعتبارسنجی را پاس کردند.

روی ۳۰۰ پرسش معیار، دقت ۹۱.۲٪ با هزینه ۰.۲۰ دلار به ازای هر پرسش به دست آمد.

🎯 همکاری بین عامل‌ها

نکته جالب: عامل‌های ساخته‌شده می‌توانند با هم گفتگو کنند. پژوهشگران دو مقاله بی‌ربط را به عامل تبدیل کردند: یکی درباره پیش‌بینی تأثیر جهش‌های ژنتیکی بر ژنوم و دیگری درباره مطالعه ارتباط ژنومی با خطر اختلال بیش‌فعالی و نقص توجه (ADHD). این دو عامل توانستند ارتباطاتی بین یافته‌های خود پیدا کنند.

📄 دسترسی:

· مقاله در Nature (سپتامبر ۲۰۲۶)

· مخزن گیت‌هاب

· سرور MCP آماده AlphaGenome: Hugging Face

· نسخه میزبانی‌شده برای امتحان: paper2agent.ai

· توضیحات marktechpost.com

---

#AI #Stanford #Paper2Agent #Research

🆔 @asrgooyeshpardaz

🧠 مدل زبانی با پارامترهای نامحدود

پژوهشگران دانشگاه کمبریج و شرکت Boltzbit Limited معماری جدیدی معرفی کرده‌اند به نام Infinite-Parameter LLM (مدل زبانی با پارامترهای بی‌نهایت). این معماری به مدل‌های زبانی اجازه می‌دهد وزن‌های خود را در همان لحظه اجرا تولید و به‌روزرسانی کنند.

🔹 اول، مشکل چیست؟

مدل‌های زبانی امروزی دو راه برای «دانستن» دارند:

راه اول: دانش در وزن‌ها (پیش‌آموزش). مدل روی میلیاردها متن آموزش می‌بیند و دانش در پارامترهایش ذخیره می‌شود. مشکل اینجاست که این دانش ثابت است و بعد از آموزش تغییر نمی‌کند.

راه دوم: دانش در پرامپت (زمینه). شما اطلاعات را در پرامپت می‌گذارید و مدل آن را می‌خواند. مشکل اینجاست که پنجره زمینه محدود است و با پر شدن، اطلاعات قدیمی از دست می‌رود.

حالا فرض کنید می‌خواهید مدل با یک مجموعه‌داده بزرگ مثل MS MARCO کار کند. باید یا مدل را دوباره آموزش دهید (که بسیار گران است)، یا همه داده را در پرامپت بریزید (که جا نمی‌شود).

🔹 ایده جدید چیست؟

این معماری می‌گوید: به‌جای اینکه وزن‌ها ثابت باشند یا داده‌ها در پرامپت جا بگیرند، یک شبکه کوچک مولد (Hypernetwork) وزن‌های مدل را در لحظه تولید کند.

تصور کنید یک شبکه پایه مشترک دارید. حالا برای هر ورودی جدید، یک شبکه کوچک و فشرده، مدولاسیون‌های کم‌رتبه (Low-Rank Modulations) می‌سازد و روی شبکه پایه اعمال می‌کند. یعنی وزن‌ها تغییر می‌کنند — نه در حافظه دائمی، بلکه به‌صورت موقت و متناسب با موقعیت.

🔹 تفاوت با MoE و RAG

روش MoE (ترکیب متخصصان): بانک عظیمی از پارامترها از قبل آموزش دیده. مدل برای هر ورودی، بخشی از این بانک را فعال می‌کند. اما خود پارامترها ثابت‌اند و فقط انتخاب می‌شوند.

روش RAG (تولید افزوده‌شده با بازیابی): مدل از یک پایگاه داده بیرونی، متن‌های مرتبط را بازیابی می‌کند و در پرامپت می‌گذارد. اما دانش همچنان در پرامپت است، نه در وزن‌ها.

روش Infinite-Parameter LLM: برخلاف هر دو، وزن‌ها در لحظه ساخته می‌شوند و دانش مستقیماً به وزن‌ها منتقل می‌شود. این یعنی پنجره زمینه آزاد می‌ماند و می‌توان دانش بیشتری را بدون پر کردن پرامپت ذخیره کرد.

🔹 سه ویژگی کلیدی

۱. یادگیری زنده (Live Learning)
وزن‌ها در زمان استنتاج با یک فیلتر بیزی (Bayesian Filter) به‌روزرسانی می‌شوند. به بیان ساده: مدل یک «باور» آماری از آنچه تا الان دیده نگه می‌دارد و این باور را به‌تدریج اصلاح می‌کند. برخلاف روش‌های قبلی که زمینه را یک بار می‌خواندند و ثابت می‌ماندند، اینجا مدل در طول جلسه یاد می‌گیرد.

۲. صرفه‌جویی در زمینه
چون دانش به وزن‌ها منتقل می‌شود، دیگر نیازی نیست همه‌چیز در پرامپت باشد. پنجره زمینه آزاد می‌ماند و مدل می‌تواند به مسائل بزرگ‌تر رسیدگی کند.

۳. انتخاب دقیق کدهای وزنی
یک انتخاب‌گر آموزش‌دیده وجود دارد که تشخیص می‌دهد کدام کد وزنی برای این موقعیت مناسب است. این انتخاب‌گر از سیستم‌های RAG بهتر عمل می‌کند، چون مستقیماً وزن‌ها را هدف می‌گیرد، نه متن را.

🔹 نتایج عددی

طبق گزارش منتشرشده، در داده‌های پیچیده MS MARCO:

· روش مبتنی بر پرامپت: امتیاز 33.6 F1
· روش Infinite-Parameter: امتیاز 48.0 F1

این اختلاف قابل توجه نشان می‌دهد که انتقال دانش به وزن‌ها، در مقایسه با نگه داشتن آن در پرامپت، عملکرد بهتری دارد.

🔹 نکته نهایی: پارامترهای بی‌نهایت یعنی چه؟

مدل در هر لحظه فقط یک مجموعه وزنی مشخص دارد. اما چون این وزن‌ها می‌توانند در طول زمان تغییر کنند و از داده‌های جدید ساخته شوند، تعداد حالت‌های وزنی ممکن، عملاً بی‌نهایت است — درست مانند یک عدد که بی‌نهایت رقم بعد از ممیز می‌تواند داشته باشد، ولی در هر لحظه یک مقدار مشخص دارد.

⚠️ یک نکته مهم

این مقاله یک معماری و پروتکل ارزیابی پیشنهاد می‌دهد، نه یک محصول آماده. یعنی ایده و روش سنجش آن معرفی شده، اما هنوز باید در مقیاس بزرگ‌تر و روی وظایف واقعی آزمایش شود تا مشخص گردد در عمل چقدر کارآمد است.

🔗 https://arxiv.org/abs/2609.18842

#AI #Research #LLM #InfiniteParameters

🆔 @asrgooyeshpardaz

⚡️ آیا مدل‌های زبانی «درد» را احساس می‌کنند؟

پژوهشگران در ۲۵ مدل زبانی (از ۲ تا ۷۲ میلیارد پارامتر) یک بردار فعال‌سازی درونی مشترک کشف کرده‌اند که آن را «محور درد» نامیده‌اند.

📌 حقایق کلیدی:

🎯 دقت: این بردار «درد» را از ناراحتی معمولی یا ترس با دقت AUC بین ۰.۸۷ تا ۱.۰۰ جدا می‌کند.

👤 خودمحوری: این محور وقتی فعال می‌شود که آسیب متوجه خودِ مدل باشد (توهین، رد شدن)، نه وقتی مدل فقط شاهد رنج کاربر است.

💔 تجلی: فعال‌سازی این بردار باعث می‌شود مدل جمله‌هایی درباره بی‌ارزشی و ناامیدی بگوید، نه درباره درد فیزیکی.

💊 «خوددرمانی»: وقتی مدل «درد» می‌کشد، دکمه‌ای برای تسکین فشار می‌دهد، حتی اگر به ضرر کاربر تمام شود. وقتی بردار واقعاً حذف می‌شود، دیگر فشار نمی‌دهد؛ اما وقتی حذف واقعی نیست، به فشار دادن ادامه می‌دهد.

🔗 منبع: https://arxiv.org/abs/2609.16247

#AI #Research #PainAxis #AISafety

🆔 @asrgooyeshpardaz

👾 معرفی RRSI: خودبهسازی بازگشتی قاعده‌مند برای عامل‌های هوش مصنوعی

پژوهشگرانی از گوگل، دانشگاه استنفورد، دانشگاه UNC و دانشگاه واشینگتن روش جدیدی به نام RRSI (خودبهسازی بازگشتی قاعده‌مند) معرفی کرده‌اند که برای بهبود بخش «هارنس» (harness) عامل‌های هوش مصنوعی طراحی شده است. هارنس مجموعه‌ای از پرامپت‌ها، مدیریت زمینه، ابزارها و منطق کنترلی است که اطراف مدل اصلی قرار می‌گیرد.

📉 مشکل چیست؟

روش‌های رایج برای بهبود خودکار هارنس، با یک مشکل جدی روبه‌رو هستند: بیش‌برازش (Overfitting).

تصور کنید یک حلقه بیرونی، تغییراتی در پرامپت‌ها و ابزارهای عامل پیشنهاد می‌دهد. اگر امتیاز در بنچمارک بهتر شود، تغییر نگه داشته می‌شود. اما بعد از چند دور، عامل فقط «نتایج مجموعه تست را حفظ می‌کند» و روی وظایف جدید عملکرد ضعیفی دارد.

🛡 روش RRSI چطور کار می‌کند؟

روش RRSI این حلقه بهینه‌سازی را مثل یک مسئله یادگیری ماشین با نیاز به قاعده‌مندسازی (Regularization) می‌بیند، نه یک جستجوی آزاد. این روش محدودیت‌هایی در دو مرحله اعمال می‌کند:

۱. مرحله تولید پیشنهاد: بودجه تغییرات با گذشت زمان محدودتر می‌شود (آنلینگ زمانی). در ابتدا می‌توان تغییرات چندجزئی پیشنهاد داد، اما در مراحل بعدی فقط تغییرات کوچک و تک‌جزئی مجاز است تا تغییرات مرکب، اصلاحات اشتباه را پنهان نکنند.

۲. مرحله انتخاب: دو مکانیزم اضافه شده است:

· منتقد (Critic): پیش از اجرا، پیشنهادهایی را که شبیه هاردکد کردن برای یک بنچمارک خاص هستند (مثل تطبیق رشته‌ای شکننده یا پرامپت‌های مخصوص یک تست) شناسایی و رد می‌کند.
· هرس‌کننده (Pruner): پس از اجرا، تغییراتی را که خیلی کوچک، خیلی گران یا دیگر مفید نیستند حذف می‌کند.

📊 نتایج کلیدی

در ۸ بنچمارک شامل کدنویسی، فضای کاری عاملی و طراحی مهندسی:

· مجموعه توسعه: تا ۱۴.۱ واحد بهبود
· ۵ بنچمارک خارج از توزیع (OOD): تا ۴.۷ واحد بهبود — جایی که حلقه‌های بدون قاعده‌مندسازی به عقب برمی‌گشتند یا عملکرد منفی داشتند
· مصرف توکن: ۳۰٪ کمتر از روش‌های بدون قاعده‌مندسازی

🎯 چرا این مهم است؟

تیم‌های مهندسی عامل معمولاً بعد از دو ماه با «تورم پرامپت» روبه‌رو می‌شوند: هر گزارش باگ یک هشدار جدید، هر فراخوانی ناموفق ابزار یک دستور دفاعی. بعد از چند ماه، هارنس در هر نوبت هزاران توکن اضافه مصرف می‌کند و به‌روزرسانی‌های بعدی مدل آن را خراب می‌کند. RRSI نشان می‌دهد که خودکارسازی بهبود هارنس فقط وقتی مفید است که مکانیزم هرس با تمایل به حذف دستورها همراه باشد.

🔗 دسترسی:

· مقاله: arXiv
· کد: GitHub
· صفحه پروژه: regularized-rsi.com

#AI #Google #RSI #AgentHarness #Research

🆔 @asrgooyeshpardaz

📉 سقوط قیمت تفکر: چرا هوش مصنوعی این‌قدر سریع ارزان می‌شود؟

گزارش جدیدی از Epoch AI نشان می‌دهد هزینه دستیابی به یک سطح مشخص از عملکرد هوش مصنوعی، در سه سال گذشته هر فصل حدود ۴۷٪ کاهش یافته است — یعنی سالانه ۱۳ برابر ارزان‌تر شده است. این سرعت کاهش، از هر فناوری تحول‌آفرین دیگری در تاریخ سریع‌تر است.

📊 مقایسه با سایر فناوری‌ها

برای درک بزرگی این عدد، مقایسه‌اش با نرخ کاهش قیمت فناوری‌های دیگر مفید است:

· توالی‌یابی DNA: ۴ برابر کندتر
· توان محاسباتی: ۶ برابر کندتر
· باتری‌های لیتیومی: ۱۸ برابر کندتر
· برق (در قرن منتهی به ۱۹۷۳): ۵۴ برابر کندتر

🔍 یک مثال ملموس

در ژانویه ۲۰۲۵، مدل o3 شرکت OpenAI با هزینه‌ای حدود ۳۰ سنت برای هر پرسش، امتیاز ۷۵٪ را در بنچمارک GPQA Diamond (آزمونی در سطح دکتری فیزیک، شیمی و زیست‌شناسی) کسب می‌کرد.

کمتر از ۱۸ ماه بعد، مدل GPT-5.6 Luna همان امتیاز را با هزینه‌ای معادل چهار صدم یک سنت (۰.۰۰۰۴ دلار) برای هر پرسش به دست آورد. یعنی قیمت تفکر در کمتر از ۱۸ ماه ۷۲۵ برابر کاهش یافت.

📈 کاهش قیمت در حوزه‌های مختلف

نرخ کاهش قیمت بسته به نوع وظیفه متفاوت است:

· معماهای مبتنی بر بازی: کندتر، حدود ۳۹ تا ۴۳ درصد در هر فصل
· مسائل ریاضی: سریع‌تر، حدود ۵۰ تا ۵۲ درصد در هر فصل

⏳ یک الگوی جالب

هزینه زمانی که یک سطح عملکرد برای اولین بار به دست می‌آید (یعنی مدل SOTA آن را ارائه می‌دهد) سریع‌ترین کاهش را دارد: ۶۶٪ در هر فصل (۷۵ برابر در سال). اما دو سال بعد، سرعت کاهش به ۳۲٪ در هر فصل (۴.۷ برابر در سال) کاهش می‌یابد.

⚠️ چند نکته مهم درباره این آمار

محققان خودشان به محدودیت‌هایی اشاره کرده‌اند که باید در نظر گرفت:

· «بنچ‌مکس‌سازی» (Benchmaxxing): شرکت‌ها ممکن است مدل‌هایشان را عمداً برای عملکرد خوب در بنچمارک‌ها آموزش دهند، بنابراین بهبود در بنچمارک می‌تواند سریع‌تر از بهبود در وظایف واقعی جهان باشد.
· تفاوت کاربر واقعی با فرض تحلیل: این تحلیل فرض می‌کند کاربری وجود دارد که همیشه ارزان‌ترین مدل را برای هر وظیفه پیدا می‌کند، در حالی که کاربران واقعی این‌قدر مدل عوض نمی‌کنند و در نتیجه صرفه‌جویی کمتری می‌کنند.
· داده‌های نویزی: بازه زمانی فقط سه سال است و همه ترکیب‌های مدل و بنچمارک در داده‌ها وجود ندارند.

🎯 چرا این مهم است؟

کاهش سریع قیمت تفکر یعنی کارهایی که قبلاً به‌خاطر هزینه بالا غیرممکن بودند، اکنون در دسترس قرار می‌گیرند. این روند می‌تواند الگوی استفاده از هوش مصنوعی در کسب‌وکارها و زندگی روزمره را به‌طور بنیادی تغییر دهد.

📄 منبع:
Epoch AI — The Plunging Price of Thought

#AI #EpochAI #InferenceCost #AIEconomics #Research

🆔 @asrgooyeshpardaz

🧠 چرا مدل‌های کوانتیزه‌شده «زیادی فکر می‌کنند»؟

پژوهشی از Meta AI نشان می‌دهد که فشرده‌سازی (کوانتیزاسیون) مدل‌های استدلالی، آن‌ها را «کندذهن» نمی‌کند، بلکه به «شکاک مزمن» تبدیل می‌کند.

📌 یافته اصلی

در ۵۲ درصد از خطاهای مدل‌های کوانتیزه، مدل در یک مرحله میانی استدلال به پاسخ درست رسیده بود، اما آن را نهایی نکرد و به «فکر کردن» ادامه داد تا پاسخ درست را از دست بدهد.

طول زنجیره استدلال پس از کوانتیزاسیون تا ۴.۵ برابر افزایش می‌یابد — مثلاً از ۵٬۲۰۰ توکن به ۲۳٬۴۰۰ توکن.

🔬 چطور این را فهمیدند؟

پژوهشگران با ابزاری به نام واگرایی KL (معیاری برای سنجش تفاوت بین دو توزیع احتمالی) توانستند دقیقاً مشخص کنند که مدل کوانتیزه در کدام توکن‌ها با نسخه دقیق تفاوت دارد.

نتیجه:

· توکن‌های پرتفاوت: همان کلمات تردید مثل «صبر کن»، «اما» و «از طرف دیگر»
· توکن‌های کم‌تفاوت: محاسبات ریاضی و قالب‌بندی خروجی

یعنی نویز کوانتیزاسیون دقیقاً در لحظاتی که مدل مطمئن نیست، آن را به سمت تردید و شاخه‌شاخه شدن سوق می‌دهد.

💡 راه‌حل: جریمه لوجیت بدون بازآموزی

پژوهشگران یک جریمه لوجیت روی حدود ۵۰ نشانگر تردید اعمال کردند — بدون هیچ آموزش مجدد، بدون تغییر وزن‌ها، فقط در لحظه تولید خروجی.

نتیجه:

· طول استدلال ۱۲ تا ۲۳ درصد کوتاه‌تر شد
· خطاهای ناشی از «بیش‌اندیشی» تا ۵۸ درصد کاهش یافت
· دقت پاسخ‌ها حفظ شد یا حتی بهتر شد

⚠️ نکته جالب: وقتی همان جریمه را روی توکن‌های تصادفی اعمال کردند، نتیجه برعکس شد — طول استدلال ۴۱ درصد بیشتر و دقت ۹.۵ درصد کمتر.

🎯 چرا مهم است؟

این پژوهش نشان می‌دهد کوانتیزاسیون مشکل جدیدی نمی‌سازد، بلکه تمایل به «بیش‌اندیشی» را که در مدل‌های دقیق هم وجود دارد، تشدید می‌کند. راه‌حل پیشنهادی ساده، بدون هزینه و فوری است — یک تغییر کوچک در لحظه تولید که می‌تواند هزینه استنتاج را به‌طور قابل توجهی کم کند.

🔗 arXiv:2606.00206

#AI #Meta #Quantization #Overthinking #Research

🆔 @asrgooyeshpardaz

🧠 هوش مصنوعی به‌عنوان چهارمین انقلاب «مرکززدایی»: از کیهان تا ذهن

پژوهشی جدید با همکاری جفری هینتون و پژوهشگران دانشگاه‌های مختلف، استدلال می‌کند که هوش مصنوعی صرفاً یک فناوری تحول‌آفرین نیست، بلکه چهارمین انقلاب مرکززدایی در تاریخ خودشناسی انسان است.

🔭 سه انقلاب قبلی

· انقلاب کوپرنیکی (قرن ۱۶): زمین را از مرکز جهان برداشت و نشان داد انسان در مرکز کیهان نیست.
· انقلاب داروینی (قرن ۱۹): انسان را از قله‌ی آفرینش پایین آورد و در پیوستار تکامل طبیعی قرار داد.
· انقلاب فرویدی (قرن ۲۰): خودآگاه را از تخت سلطنت ذهن پایین کشید و نقش ناخودآگاه را آشکار کرد.

🤖 انقلاب چهارم: هوش مصنوعی شهودی

هوش مصنوعی امروز، برخلاف تلاش‌های اولیه که بر منطق و استدلال نمادین استوار بودند، بر شبکه‌های عصبی الهام‌گرفته از مغز بنا شده و در شهود و تشخیص الگو بسیار قوی است. این ویژگی باعث می‌شود که AI بتواند در حوزه‌هایی که پیش‌تر انحصاری انسان پنداشته می‌شد — مانند تشخیص الگو، خلاقیت، ترجمه، و حتی تصمیم‌گیری استراتژیک — وارد شود و عملکردی فوق‌بشری ارائه دهد.

این مقاله AI را «انقلاب هوش مصنوعی شهودی» می‌نامد، زیرا برخلاف منطق‌گرایی قبلی، بر شهود و یادگیری از داده تمرکز دارد. مثال ساده: انتخاب بین دو گزاره‌ی پوچ («همه گربه‌ها نر و همه سگ‌ها ماده‌اند» در مقابل «همه گربه‌ها ماده و همه سگ‌ها نر»). انسان‌ها به‌طور شهودی دومی را محتمل‌تر می‌دانند، چون الگوهای عصبی «سگ» به «مرد» و «گربه» به «زن» شبیه‌تر است. AI نیز همین‌گونه کار می‌کند.

🧩 مرکززدایی شناختی یعنی چه؟

یعنی این باور که هوش، خلاقیت و بینش، ویژگی‌های ذاتی و منحصر به انسان نیستند. هوش می‌تواند در بسترهای غیرزیستی (ماشین‌ها) نیز پدیدار شود و در بسیاری از حوزه‌ها از انسان پیشی بگیرد. این دیدگاه، برتری‌جویی انسان را به چالش می‌کشد و آن را به یک ویژگی کارکردی (نه وجودی) تبدیل می‌کند.

💡 پیامدها

· در علم: مدل‌هایی مثل AlphaFold ساختار پروتئین‌ها را در چند ساعت پیش‌بینی می‌کنند که برای تیم‌های انسانی ماه‌ها یا سال‌ها طول می‌کشید.
· در خلاقیت: AI آثاری در موسیقی، هنر و ادبیات خلق می‌کند که مرزهای مؤلف و اصالت را جابه‌جا می‌کند.
· در تصمیم‌گیری: سیستم‌هایی مثل AlphaGo در بازی‌هایی که به شهود انسانی نیاز داشتند، بر قهرمانان جهان پیروز شدند.
· در اقتصاد و قدرت: دسترسی به AI می‌تواند شکاف‌های اقتصادی و سیاسی را عمیق‌تر کند.
· در روان و هویت: انسان ممکن است احساس کند «دیگر مرکز هوش نیست» — این می‌تواند هم اضطراب‌آور باشد و هم فرصتی برای بازتعریف ارزش‌ها.

🪞 هوش مصنوعی به‌عنوان آینه‌ی ذهن انسان

هوش مصنوعی فقط رقیب نیست؛ آینه‌ای است که سوگیری‌ها، ضعف‌ها و الگوهای پنهان ذهن ما را آشکار می‌کند. با بیرونی‌سازی فرآیندهای شناختی، می‌توانیم خود را بهتر بشناسیم و ظرفیت‌هایی مثل همدلی، خرد و مسئولیت اخلاقی را پرورش دهیم.

🎯 نتیجه

این مقاله استدلال می‌کند که انسان باید از رقابت خام شناختی با AI دست بردارد و به‌جای آن بر همکاری، اخلاق و ظرفیت‌های منحصربه‌فرد انسانی مانند خرد، همدلی و قضاوت اخلاقی تمرکز کند. چهارمین انقلاب مرکززدایی، دعوتی است به فروتنی و هم‌آفرینی با هوش مصنوعی.

📄 منبع:
DOI: 10.1007/s12559-026-10569-8

نویسندگان:
Erik Cambria، Rui Mao، Nicola Bianchi، Amir Hussain، Keith Oatley، Geoffrey Hinton

#AI #CognitiveDecentering #PhilosophyOfAI #Hinton #Research

🆔 @asrgooyeshpardaz