🌟 معماری Mixture-of-Recursions (MoR): معماری نوین با استدلال انتخابی
🔬 گوگل با همکاری KAIST AI، معماری جدیدی به نام MoR را معرفی کرده که مفهوم محاسبه تطبیقی و پردازش انتخابی را به سطحی تازه می‌برد.
💡 در MoR، مدل برای هر توکن به‌طور متفاوت و پویا تصمیم می‌گیرد چقدر "فکر کند"!
بر خلاف ترنسفورمرهای کلاسیک، این معماری بازگشتی (Recursive) است و ورودی‌ها چند بار از همان بلاک عبور می‌کنند — اما با یک تفاوت کلیدی:
⏱️ عمق تکرار برای هر توکن متفاوت است و به صورت پویا تعیین می‌شود.
🔁 چطور کار می‌کند؟ یک روتر سبک و قابل آموزش مشخص می‌کند که هر توکن چند بار باید پردازش شود:
توکن‌های ساده ممکن است فقط یک بار پردازش شوند
توکن‌های پیچیده‌تر ممکن است چندین بار از لایه عبور کنند تا معنا و کاربردشان بهتر درک شود
✨ دو مزیت کلیدی MoR:
1. ✅ صرفه‌جویی در محاسبات:
توکن‌هایی که پردازششان تمام شده، دیگر در چرخه‌های بعدی شرکت نمی‌کنند → مصرف محاسباتی کمتر!
2. ✅ بهینه‌سازی حافظه (KV Caching):
به جای ذخیره تمام لایه‌ها، فقط توکن‌های فعال در هر چرخه کش می‌شوند → حافظه کمتر، سرعت بیشتر، استقرار آسان‌تر!
📉 روش MoR با بودجه محاسباتی مشابه (FLOPs) و اندازه مدل کوچکتر، نتایج بهتری در few-shot learning و perplexity نسبت به مدل‌های کلاسیک و بازگشتی ارائه می‌دهد.
🧪 امتحان کنید! کد آموزش و ارزیابی در GitHub منتشر شده:
🔗 مشاهده در GitHub
https://github.com/raymin0223/mixture_of_recursions
🟡 مطالعه در ArXiv
https://arxiv.org/pdf/2507.10524
---
#MoR #AI #LLM #MachineLearning #DeepLearning #Google #KAIST
📡 @asrgooyeshpardaz
🔬 گوگل با همکاری KAIST AI، معماری جدیدی به نام MoR را معرفی کرده که مفهوم محاسبه تطبیقی و پردازش انتخابی را به سطحی تازه می‌برد.
💡 در MoR، مدل برای هر توکن به‌طور متفاوت و پویا تصمیم می‌گیرد چقدر "فکر کند"!
بر خلاف ترنسفورمرهای کلاسیک، این معماری بازگشتی (Recursive) است و ورودی‌ها چند بار از همان بلاک عبور می‌کنند — اما با یک تفاوت کلیدی:
⏱️ عمق تکرار برای هر توکن متفاوت است و به صورت پویا تعیین می‌شود.
🔁 چطور کار می‌کند؟ یک روتر سبک و قابل آموزش مشخص می‌کند که هر توکن چند بار باید پردازش شود:
توکن‌های ساده ممکن است فقط یک بار پردازش شوند
توکن‌های پیچیده‌تر ممکن است چندین بار از لایه عبور کنند تا معنا و کاربردشان بهتر درک شود
✨ دو مزیت کلیدی MoR:
1. ✅ صرفه‌جویی در محاسبات:
توکن‌هایی که پردازششان تمام شده، دیگر در چرخه‌های بعدی شرکت نمی‌کنند → مصرف محاسباتی کمتر!
2. ✅ بهینه‌سازی حافظه (KV Caching):
به جای ذخیره تمام لایه‌ها، فقط توکن‌های فعال در هر چرخه کش می‌شوند → حافظه کمتر، سرعت بیشتر، استقرار آسان‌تر!
📉 روش MoR با بودجه محاسباتی مشابه (FLOPs) و اندازه مدل کوچکتر، نتایج بهتری در few-shot learning و perplexity نسبت به مدل‌های کلاسیک و بازگشتی ارائه می‌دهد.
🧪 امتحان کنید! کد آموزش و ارزیابی در GitHub منتشر شده:
🔗 مشاهده در GitHub
https://github.com/raymin0223/mixture_of_recursions
🟡 مطالعه در ArXiv
https://arxiv.org/pdf/2507.10524
---
#MoR #AI #LLM #MachineLearning #DeepLearning #Google #KAIST
📡 @asrgooyeshpardaz
❤6👌1
🌐 خلاصه اخبار هوش مصنوعی
پنجشنبه اول آبان ۱۴۰۴
🇺🇸 شرکت‌های Anthropic و Google در آستانه بزرگ‌ترین قرارداد ابری تاریخ
شرکت Anthropic در حال مذاکره با Google برای عقد قراردادی چند ده میلیارد دلاری است که دسترسی بلندمدت به TPUهای سفارشی گوگل را تضمین می‌کند.
گوگل تاکنون ۳ میلیارد دلار در Anthropic سرمایه‌گذاری کرده و با این توافق، همکاری دو شرکت وارد مرحله‌ای استراتژیک خواهد شد.
شرکت Anthropic پیش‌بینی می‌کند درآمد سالانه‌اش تا حدود ۹ میلیارد دلار افزایش یابد — رشدی دو تا سه برابری در کمتر از یک سال.
🔗 Reuters
🔥 چارچوب PyTorch Monarch — انقلابی در محاسبات توزیع‌شده
فریم‌ورک جدید Monarch با مدل «کنترل‌کننده‌ی واحد» هزاران GPU را از یک اسکریپت Python مدیریت می‌کند، بدون نیاز به ساختار SPMD سنتی.
ارتباط GPUها از طریق RDMA مستقیم
پشتیبانی از ساختار mesh چندبعدی
سازگار با VERL، TorchForge و Lightning AI
چارچوب Monarch فرآیند آموزش‌های عظیم (مثل RL یا pretraining مقاوم به خطا) را ساده‌تر و شفاف‌تر می‌سازد.
🔗 PyTorch Blog
⚠️ شرکت Amazon و بحران اتوماسیون بیش از حد؟
گزارش‌هایی منتشر شده مبنی بر اینکه AWS حدود ۴۰٪ از تیم DevOps خود را حذف کرده و آن را با سیستم هوش مصنوعی جایگزین کرده است — درست پیش از وقوع یک اختلال گسترده که Snapchat و Roblox را نیز تحت تأثیر قرار داد.
سیستم جدید ظاهراً قادر به رفع خودکار خطاهای IAM، بازگردانی شبکه‌ها و rollbackهای Lambda است.
با این حال، آمازون هنوز این خبر را تأیید نکرده است.
🔗 80.lv
🖼️ مدل جدید چندوجهی LFM2-VL-3B
این مدل کوچک اما قدرتمند با ۳ میلیارد پارامتر در آزمون‌های MM-IFEval (۵۱.۸٪) و RealWorldQA (۷۱.۴٪) نتایج چشمگیری کسب کرده است.
قادر به پردازش چند تصویر همزمان، خواندن دقیق متن‌های انگلیسی (OCR) و تولید پاسخ‌های بدون هالوسینیشن است.
🔗 HuggingFace
📈 شرکت ChatGPT با رکورد تاریخی در وفاداری کاربران
طبق نظرسنجی از ۲۸ میلیون نفر در آمریکا، نرخ نگه‌داشت کاربران ChatGPT پس از یک ماه به ۹۰٪ رسیده — بالاتر از YouTube (۸۵٪).
حتی پس از شش ماه، حدود ۸۰٪ کاربران فعال باقی می‌مانند، که الگویی بی‌سابقه در تاریخ محصولات دیجیتال است.
این «منحنی لبخند» وفاداری، ChatGPT را به پدیده‌ای ماندگار در اقتصاد هوش مصنوعی تبدیل کرده است.
🔗 X
#AI #MachineLearning #Anthropic #PyTorch #AWS #LFM2 #ChatGPT #TechNews
@asrgooyeshpardaz
پنجشنبه اول آبان ۱۴۰۴
🇺🇸 شرکت‌های Anthropic و Google در آستانه بزرگ‌ترین قرارداد ابری تاریخ
شرکت Anthropic در حال مذاکره با Google برای عقد قراردادی چند ده میلیارد دلاری است که دسترسی بلندمدت به TPUهای سفارشی گوگل را تضمین می‌کند.
گوگل تاکنون ۳ میلیارد دلار در Anthropic سرمایه‌گذاری کرده و با این توافق، همکاری دو شرکت وارد مرحله‌ای استراتژیک خواهد شد.
شرکت Anthropic پیش‌بینی می‌کند درآمد سالانه‌اش تا حدود ۹ میلیارد دلار افزایش یابد — رشدی دو تا سه برابری در کمتر از یک سال.
🔗 Reuters
🔥 چارچوب PyTorch Monarch — انقلابی در محاسبات توزیع‌شده
فریم‌ورک جدید Monarch با مدل «کنترل‌کننده‌ی واحد» هزاران GPU را از یک اسکریپت Python مدیریت می‌کند، بدون نیاز به ساختار SPMD سنتی.
ارتباط GPUها از طریق RDMA مستقیم
پشتیبانی از ساختار mesh چندبعدی
سازگار با VERL، TorchForge و Lightning AI
چارچوب Monarch فرآیند آموزش‌های عظیم (مثل RL یا pretraining مقاوم به خطا) را ساده‌تر و شفاف‌تر می‌سازد.
🔗 PyTorch Blog
⚠️ شرکت Amazon و بحران اتوماسیون بیش از حد؟
گزارش‌هایی منتشر شده مبنی بر اینکه AWS حدود ۴۰٪ از تیم DevOps خود را حذف کرده و آن را با سیستم هوش مصنوعی جایگزین کرده است — درست پیش از وقوع یک اختلال گسترده که Snapchat و Roblox را نیز تحت تأثیر قرار داد.
سیستم جدید ظاهراً قادر به رفع خودکار خطاهای IAM، بازگردانی شبکه‌ها و rollbackهای Lambda است.
با این حال، آمازون هنوز این خبر را تأیید نکرده است.
🔗 80.lv
🖼️ مدل جدید چندوجهی LFM2-VL-3B
این مدل کوچک اما قدرتمند با ۳ میلیارد پارامتر در آزمون‌های MM-IFEval (۵۱.۸٪) و RealWorldQA (۷۱.۴٪) نتایج چشمگیری کسب کرده است.
قادر به پردازش چند تصویر همزمان، خواندن دقیق متن‌های انگلیسی (OCR) و تولید پاسخ‌های بدون هالوسینیشن است.
🔗 HuggingFace
📈 شرکت ChatGPT با رکورد تاریخی در وفاداری کاربران
طبق نظرسنجی از ۲۸ میلیون نفر در آمریکا، نرخ نگه‌داشت کاربران ChatGPT پس از یک ماه به ۹۰٪ رسیده — بالاتر از YouTube (۸۵٪).
حتی پس از شش ماه، حدود ۸۰٪ کاربران فعال باقی می‌مانند، که الگویی بی‌سابقه در تاریخ محصولات دیجیتال است.
این «منحنی لبخند» وفاداری، ChatGPT را به پدیده‌ای ماندگار در اقتصاد هوش مصنوعی تبدیل کرده است.
🔗 X
#AI #MachineLearning #Anthropic #PyTorch #AWS #LFM2 #ChatGPT #TechNews
@asrgooyeshpardaz
❤5👍1🔥1🍾1
🔰 گوگل یک سند ۵۰ صفحه‌ای جدید منتشر کرده که توضیح می‌دهد چگونه می‌توان AI Agentهایی ساخت که در کاربردهای واقعی عملکرد قابل اتکا و عملی داشته باشند.
این راهنما یک مقدمه روشن، ساختارمند و قابل فهم درباره اصول و مبانی سامانه‌های عامل‌محور است. در این سند به موضوعات زیر پرداخته می‌شود:
🔸معماری عامل و اجزای اصلی آن
🔸نقش مدل‌های زبانی بزرگ (LLM) به عنوان «مغز» عامل
🔸شیوه اتصال و استفاده از ابزارها
🔸نحوه هماهنگی و ارکستراسیون چند عامل
رویکردهای استقرار (Deploy) و ادغام در محیط واقعی
🔸معیارها و روش‌های ارزیابی عملکرد
🔸چگونگی طراحی عامل‌های خودآموز و تکاملی
🔸معرفی نمونه‌ای از معماری AlphaEvolve
📌 لینک راهنما:
https://drive.google.com/file/d/1C-HvqgxM7dj4G2kCQLnuMXi1fTpXRdpx/view
#AI #Agents #Google #LLM #MachineLearning #AIResearch
@asrgooyeshpardaz
این راهنما یک مقدمه روشن، ساختارمند و قابل فهم درباره اصول و مبانی سامانه‌های عامل‌محور است. در این سند به موضوعات زیر پرداخته می‌شود:
🔸معماری عامل و اجزای اصلی آن
🔸نقش مدل‌های زبانی بزرگ (LLM) به عنوان «مغز» عامل
🔸شیوه اتصال و استفاده از ابزارها
🔸نحوه هماهنگی و ارکستراسیون چند عامل
رویکردهای استقرار (Deploy) و ادغام در محیط واقعی
🔸معیارها و روش‌های ارزیابی عملکرد
🔸چگونگی طراحی عامل‌های خودآموز و تکاملی
🔸معرفی نمونه‌ای از معماری AlphaEvolve
📌 لینک راهنما:
https://drive.google.com/file/d/1C-HvqgxM7dj4G2kCQLnuMXi1fTpXRdpx/view
#AI #Agents #Google #LLM #MachineLearning #AIResearch
@asrgooyeshpardaz
🔥2👨💻1
🌐 تحولات تازه در دنیای هوش مصنوعی
🎧 مدل جدید گفتار به متن ElevenLabs Scribe v2 Realtime با تأخیر کمتر از ۱۵۰ میلی‌ثانیه
شرکت ElevenLabs نسخه جدید مدل Scribe v2 Realtime را معرفی کرد — سامانه‌ای برای تبدیل گفتار به متن با تأخیر بسیار پایین، مناسب برای دستیارهای صوتی، نشست‌های زنده و زیرنویس‌گذاری همزمان.
🔹 پشتیبانی از بیش از ۹۰ زبان
🔹 دقت ۹۳٫۵٪ در ۳۰ زبان پرکاربرد
🔹 عملکرد عالی در حضور نویز پس‌زمینه
🔹 ویژگی خاص: «تأخیر منفی» با پیش‌بینی واژه یا علائم نگارشی بعدی
🔹 تشخیص خودکار زبان و گوینده، و کنترل کامل بر ثبت بخش‌های متن
مدل با استانداردهای امنیتی SOC 2 و GDPR سازگار است و از طریق API در دسترس قرار دارد.
🔗 elevenlabs.io
💾 پلتفرم Backboard رکورد حافظه بلندمدت در هوش مصنوعی را شکست
پلتفرم Backboard در آزمون LoCoMo (ارزیابی حافظه بلندمدت گفت‌وگومحور) به امتیاز ۹۰٫۱٪ دست یافت — بالاتر از محدوده ۶۷ تا ۶۹ درصدی رقبا.
📍 این تست توانایی سیستم را در یادآوری، به‌روزرسانی و استخراج اطلاعات کاربر در جلسات طولانی ارزیابی می‌کند.
نتیجه: دستیارها کمتر سؤال تکراری می‌پرسند، دستورها را بهتر دنبال می‌کنند و تعداد توکن مصرفی کاهش می‌یابد.
پلتفرم Backboard همچنین API حافظه بلندمدت و RAG لایه‌ای برای بیش از ۲۲۰۰ مدل زبانی ارائه می‌دهد.
🔗 backboard.io
🚨 نشت اطلاعات محرمانه در ۶۵٪ از شرکت‌های برتر هوش مصنوعی
طبق گزارش شرکت امنیت ابری Wiz، دو سوم از شرکت‌های لیست Forbes AI 50 دچار نشت API Keyها و داده‌های محرمانه در GitHub شده‌اند.
📊 بیشترین موارد در فایل‌های Jupyter Notebook و Python Script کشف شده است.
🔑 مواردی شامل توکن‌های Hugging Face، Azure و W&B بودند.
📌 تنها ElevenLabs و LangChain سریع واکنش نشان دادند، در حالی‌که نیمی از شرکت‌ها هیچ پاسخی به هشدارها ندادند.
🔗 wiz.io
🐍 پشتیبانی از Python در Cloudflare Workflows
شرکت Cloudflare اکنون در سرویس Workflows خود — ابزار مدیریت جریان‌های چندمرحله‌ای روی Workers — از Python نیز پشتیبانی می‌کند.
✅ پیش‌تر این قابلیت فقط برای TypeScript بود.
📦 این تحول، مسیر را برای توسعه‌دهندگان AI/ML و داده‌کاوی باز کرده تا به‌سادگی مدل‌ها و عامل‌های هوشمند خود را در این بستر اجرا کنند.
⚙️ بخش فنی از طریق Pyodide (نسخه WebAssembly از CPython) پیاده‌سازی شده است.
🔗 blog.cloudflare.com
💸 هزینه ۱۵ میلیون دلاری روزانه OpenAI برای Sora
تحلیل‌ها نشان می‌دهد هزینه اجرای مدل تولید ویدیو Sora برای OpenAI حدود ۱۵ میلیون دلار در روز است؛ یعنی بیش از ۵ میلیارد دلار در سال.
🎬 هزینه تولید هر ویدیوی ۱۰ ثانیه‌ای حدود ۱٫۳ دلار است و شرکت روزانه حدود ۱۱ میلیون ویدیو تولید می‌کند.
این استراتژی در راستای تسخیر بازار و جذب کاربران پیش از تجاری‌سازی است.
📉 سم آلتمن اعلام کرده است که میزان تولید رایگان کاهش خواهد یافت، زیرا «هیچ مدل تبلیغاتی نمی‌تواند هزینه ساخت میم برای سه دوست را پوشش دهد».
🔗 forbes.com
#AI #MachineLearning #TechNews #ElevenLabs #OpenAI #Cloudflare #CyberSecurity #Backboard
@asrgooyeshpardaz
🎧 مدل جدید گفتار به متن ElevenLabs Scribe v2 Realtime با تأخیر کمتر از ۱۵۰ میلی‌ثانیه
شرکت ElevenLabs نسخه جدید مدل Scribe v2 Realtime را معرفی کرد — سامانه‌ای برای تبدیل گفتار به متن با تأخیر بسیار پایین، مناسب برای دستیارهای صوتی، نشست‌های زنده و زیرنویس‌گذاری همزمان.
🔹 پشتیبانی از بیش از ۹۰ زبان
🔹 دقت ۹۳٫۵٪ در ۳۰ زبان پرکاربرد
🔹 عملکرد عالی در حضور نویز پس‌زمینه
🔹 ویژگی خاص: «تأخیر منفی» با پیش‌بینی واژه یا علائم نگارشی بعدی
🔹 تشخیص خودکار زبان و گوینده، و کنترل کامل بر ثبت بخش‌های متن
مدل با استانداردهای امنیتی SOC 2 و GDPR سازگار است و از طریق API در دسترس قرار دارد.
🔗 elevenlabs.io
💾 پلتفرم Backboard رکورد حافظه بلندمدت در هوش مصنوعی را شکست
پلتفرم Backboard در آزمون LoCoMo (ارزیابی حافظه بلندمدت گفت‌وگومحور) به امتیاز ۹۰٫۱٪ دست یافت — بالاتر از محدوده ۶۷ تا ۶۹ درصدی رقبا.
📍 این تست توانایی سیستم را در یادآوری، به‌روزرسانی و استخراج اطلاعات کاربر در جلسات طولانی ارزیابی می‌کند.
نتیجه: دستیارها کمتر سؤال تکراری می‌پرسند، دستورها را بهتر دنبال می‌کنند و تعداد توکن مصرفی کاهش می‌یابد.
پلتفرم Backboard همچنین API حافظه بلندمدت و RAG لایه‌ای برای بیش از ۲۲۰۰ مدل زبانی ارائه می‌دهد.
🔗 backboard.io
🚨 نشت اطلاعات محرمانه در ۶۵٪ از شرکت‌های برتر هوش مصنوعی
طبق گزارش شرکت امنیت ابری Wiz، دو سوم از شرکت‌های لیست Forbes AI 50 دچار نشت API Keyها و داده‌های محرمانه در GitHub شده‌اند.
📊 بیشترین موارد در فایل‌های Jupyter Notebook و Python Script کشف شده است.
🔑 مواردی شامل توکن‌های Hugging Face، Azure و W&B بودند.
📌 تنها ElevenLabs و LangChain سریع واکنش نشان دادند، در حالی‌که نیمی از شرکت‌ها هیچ پاسخی به هشدارها ندادند.
🔗 wiz.io
🐍 پشتیبانی از Python در Cloudflare Workflows
شرکت Cloudflare اکنون در سرویس Workflows خود — ابزار مدیریت جریان‌های چندمرحله‌ای روی Workers — از Python نیز پشتیبانی می‌کند.
✅ پیش‌تر این قابلیت فقط برای TypeScript بود.
📦 این تحول، مسیر را برای توسعه‌دهندگان AI/ML و داده‌کاوی باز کرده تا به‌سادگی مدل‌ها و عامل‌های هوشمند خود را در این بستر اجرا کنند.
⚙️ بخش فنی از طریق Pyodide (نسخه WebAssembly از CPython) پیاده‌سازی شده است.
🔗 blog.cloudflare.com
💸 هزینه ۱۵ میلیون دلاری روزانه OpenAI برای Sora
تحلیل‌ها نشان می‌دهد هزینه اجرای مدل تولید ویدیو Sora برای OpenAI حدود ۱۵ میلیون دلار در روز است؛ یعنی بیش از ۵ میلیارد دلار در سال.
🎬 هزینه تولید هر ویدیوی ۱۰ ثانیه‌ای حدود ۱٫۳ دلار است و شرکت روزانه حدود ۱۱ میلیون ویدیو تولید می‌کند.
این استراتژی در راستای تسخیر بازار و جذب کاربران پیش از تجاری‌سازی است.
📉 سم آلتمن اعلام کرده است که میزان تولید رایگان کاهش خواهد یافت، زیرا «هیچ مدل تبلیغاتی نمی‌تواند هزینه ساخت میم برای سه دوست را پوشش دهد».
🔗 forbes.com
#AI #MachineLearning #TechNews #ElevenLabs #OpenAI #Cloudflare #CyberSecurity #Backboard
@asrgooyeshpardaz
❤3👍2🤝2🔥1
🐳 دیپ‌سیک (DeepSeek) سال جدید را با یک مقاله جدی و مهم آغاز کرد.
در نخستین روز سال، این تیم پژوهشی کاری را ارائه داد که به یکی از دردناک‌ترین مشکلات شبکه‌های عصبی مدرن می‌پردازد: ناپایداری آموزش در معماری‌های پیچیده.
آن‌ها برای این مشکل راه‌حلی پیشنهاد کرده‌اند با نام mHC (Manifold-Constrained Hyper-Connections).
ایده‌ی اصلی این است که پژوهشگران معماری قدرتمند اما ناپایدار Hyper-Connections را گرفته‌اند و با اعمال محدودیت‌هایی بر اتصالات داخلی، آن را پایدار کرده‌اند.
1. پروژکشن روی منیفلد (Manifold Projection)
به‌جای آن‌که Hyper-Connections کاملاً آزاد باشند، در mHC روی آن‌ها قید اعمال می‌شود و این اتصالات روی یک منیفلد خاص (ماتریس‌هایی با خواص ویژه) پروجکت می‌شوند.
این کار باعث بازگردانی ویژگی identity-mapping می‌شود؛ در نتیجه سیگنال حتی پس از عبور از ده‌ها یا صدها لایه نیز پایدار باقی می‌ماند.
2. پایداری و مقیاس‌پذیری
به‌واسطه‌ی این محدودیت، شبکه دیگر در آموزش عمیق دچار «انفجار» یا «میرایی» سیگنال نمی‌شود و می‌توان آن را بدون افت کیفیت و بدون ترفندهای پیچیده، به‌طور مؤثر در مدل‌های بزرگ به کار گرفت.
3. بهینه‌سازی‌های زیرساختی (مهندسی)
نویسندگان مقاله مجموعه‌ای از بهبودهای مهندسی را نیز اضافه کرده‌اند، از جمله:
ادغام کرنل‌ها (Kernel Fusion)
کاهش سربار مصرف حافظه
بهره‌گیری از اثرات دقت ترکیبی (Mixed Precision)
این بهینه‌سازی‌ها باعث می‌شود mHC حتی در آموزش‌های بسیار بزرگ، سریع و کارآمد در سناریوهای واقعی باشد.
🔍 نتایج به‌دست‌آمده چشمگیر است:
• آموزش در مقیاس‌های بزرگ پایدارتر می‌شود
• مدل‌ها بهتر مقیاس‌پذیر می‌شوند
• کارایی افزایش می‌یابد
• مصرف حافظه کاهش پیدا می‌کند
• و mHC از Hyper-Connections کلاسیک پیشی می‌گیرد
به بیان ساده‌تر، DeepSeek نشان می‌دهد که مسیر آینده فقط از بزرگ‌تر کردن مدل‌ها نمی‌گذرد، بلکه از معماری‌هایی می‌گذرد که از درون پایدار طراحی شده‌اند.
#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
📄 مقاله:
https://arxiv.org/abs/2512.24880
@asrgooyeshpardaz
در نخستین روز سال، این تیم پژوهشی کاری را ارائه داد که به یکی از دردناک‌ترین مشکلات شبکه‌های عصبی مدرن می‌پردازد: ناپایداری آموزش در معماری‌های پیچیده.
آن‌ها برای این مشکل راه‌حلی پیشنهاد کرده‌اند با نام mHC (Manifold-Constrained Hyper-Connections).
ایده‌ی اصلی این است که پژوهشگران معماری قدرتمند اما ناپایدار Hyper-Connections را گرفته‌اند و با اعمال محدودیت‌هایی بر اتصالات داخلی، آن را پایدار کرده‌اند.
1. پروژکشن روی منیفلد (Manifold Projection)
به‌جای آن‌که Hyper-Connections کاملاً آزاد باشند، در mHC روی آن‌ها قید اعمال می‌شود و این اتصالات روی یک منیفلد خاص (ماتریس‌هایی با خواص ویژه) پروجکت می‌شوند.
این کار باعث بازگردانی ویژگی identity-mapping می‌شود؛ در نتیجه سیگنال حتی پس از عبور از ده‌ها یا صدها لایه نیز پایدار باقی می‌ماند.
2. پایداری و مقیاس‌پذیری
به‌واسطه‌ی این محدودیت، شبکه دیگر در آموزش عمیق دچار «انفجار» یا «میرایی» سیگنال نمی‌شود و می‌توان آن را بدون افت کیفیت و بدون ترفندهای پیچیده، به‌طور مؤثر در مدل‌های بزرگ به کار گرفت.
3. بهینه‌سازی‌های زیرساختی (مهندسی)
نویسندگان مقاله مجموعه‌ای از بهبودهای مهندسی را نیز اضافه کرده‌اند، از جمله:
ادغام کرنل‌ها (Kernel Fusion)
کاهش سربار مصرف حافظه
بهره‌گیری از اثرات دقت ترکیبی (Mixed Precision)
این بهینه‌سازی‌ها باعث می‌شود mHC حتی در آموزش‌های بسیار بزرگ، سریع و کارآمد در سناریوهای واقعی باشد.
🔍 نتایج به‌دست‌آمده چشمگیر است:
• آموزش در مقیاس‌های بزرگ پایدارتر می‌شود
• مدل‌ها بهتر مقیاس‌پذیر می‌شوند
• کارایی افزایش می‌یابد
• مصرف حافظه کاهش پیدا می‌کند
• و mHC از Hyper-Connections کلاسیک پیشی می‌گیرد
به بیان ساده‌تر، DeepSeek نشان می‌دهد که مسیر آینده فقط از بزرگ‌تر کردن مدل‌ها نمی‌گذرد، بلکه از معماری‌هایی می‌گذرد که از درون پایدار طراحی شده‌اند.
#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
📄 مقاله:
https://arxiv.org/abs/2512.24880
@asrgooyeshpardaz
arXiv.org
mHC: Manifold-Constrained Hyper-Connections
Recently, studies exemplified by Hyper-Connections (HC) have extended the ubiquitous residual connection paradigm established over the past decade by expanding the residual stream width and...
❤7🔥2🤔1🤝1