🐳 دیپ‌سیک (DeepSeek) سال جدید را با یک مقاله جدی و مهم آغاز کرد.
در نخستین روز سال، این تیم پژوهشی کاری را ارائه داد که به یکی از دردناک‌ترین مشکلات شبکه‌های عصبی مدرن می‌پردازد: ناپایداری آموزش در معماری‌های پیچیده.
آن‌ها برای این مشکل راه‌حلی پیشنهاد کرده‌اند با نام mHC (Manifold-Constrained Hyper-Connections).
ایده‌ی اصلی این است که پژوهشگران معماری قدرتمند اما ناپایدار Hyper-Connections را گرفته‌اند و با اعمال محدودیت‌هایی بر اتصالات داخلی، آن را پایدار کرده‌اند.
1. پروژکشن روی منیفلد (Manifold Projection)
به‌جای آن‌که Hyper-Connections کاملاً آزاد باشند، در mHC روی آن‌ها قید اعمال می‌شود و این اتصالات روی یک منیفلد خاص (ماتریس‌هایی با خواص ویژه) پروجکت می‌شوند.
این کار باعث بازگردانی ویژگی identity-mapping می‌شود؛ در نتیجه سیگنال حتی پس از عبور از ده‌ها یا صدها لایه نیز پایدار باقی می‌ماند.
2. پایداری و مقیاس‌پذیری
به‌واسطه‌ی این محدودیت، شبکه دیگر در آموزش عمیق دچار «انفجار» یا «میرایی» سیگنال نمی‌شود و می‌توان آن را بدون افت کیفیت و بدون ترفندهای پیچیده، به‌طور مؤثر در مدل‌های بزرگ به کار گرفت.
3. بهینه‌سازی‌های زیرساختی (مهندسی)
نویسندگان مقاله مجموعه‌ای از بهبودهای مهندسی را نیز اضافه کرده‌اند، از جمله:
ادغام کرنل‌ها (Kernel Fusion)
کاهش سربار مصرف حافظه
بهره‌گیری از اثرات دقت ترکیبی (Mixed Precision)
این بهینه‌سازی‌ها باعث می‌شود mHC حتی در آموزش‌های بسیار بزرگ، سریع و کارآمد در سناریوهای واقعی باشد.
🔍 نتایج به‌دست‌آمده چشمگیر است:
• آموزش در مقیاس‌های بزرگ پایدارتر می‌شود
• مدل‌ها بهتر مقیاس‌پذیر می‌شوند
• کارایی افزایش می‌یابد
• مصرف حافظه کاهش پیدا می‌کند
• و mHC از Hyper-Connections کلاسیک پیشی می‌گیرد
به بیان ساده‌تر، DeepSeek نشان می‌دهد که مسیر آینده فقط از بزرگ‌تر کردن مدل‌ها نمی‌گذرد، بلکه از معماری‌هایی می‌گذرد که از درون پایدار طراحی شده‌اند.
#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
📄 مقاله:
https://arxiv.org/abs/2512.24880
@asrgooyeshpardaz
در نخستین روز سال، این تیم پژوهشی کاری را ارائه داد که به یکی از دردناک‌ترین مشکلات شبکه‌های عصبی مدرن می‌پردازد: ناپایداری آموزش در معماری‌های پیچیده.
آن‌ها برای این مشکل راه‌حلی پیشنهاد کرده‌اند با نام mHC (Manifold-Constrained Hyper-Connections).
ایده‌ی اصلی این است که پژوهشگران معماری قدرتمند اما ناپایدار Hyper-Connections را گرفته‌اند و با اعمال محدودیت‌هایی بر اتصالات داخلی، آن را پایدار کرده‌اند.
1. پروژکشن روی منیفلد (Manifold Projection)
به‌جای آن‌که Hyper-Connections کاملاً آزاد باشند، در mHC روی آن‌ها قید اعمال می‌شود و این اتصالات روی یک منیفلد خاص (ماتریس‌هایی با خواص ویژه) پروجکت می‌شوند.
این کار باعث بازگردانی ویژگی identity-mapping می‌شود؛ در نتیجه سیگنال حتی پس از عبور از ده‌ها یا صدها لایه نیز پایدار باقی می‌ماند.
2. پایداری و مقیاس‌پذیری
به‌واسطه‌ی این محدودیت، شبکه دیگر در آموزش عمیق دچار «انفجار» یا «میرایی» سیگنال نمی‌شود و می‌توان آن را بدون افت کیفیت و بدون ترفندهای پیچیده، به‌طور مؤثر در مدل‌های بزرگ به کار گرفت.
3. بهینه‌سازی‌های زیرساختی (مهندسی)
نویسندگان مقاله مجموعه‌ای از بهبودهای مهندسی را نیز اضافه کرده‌اند، از جمله:
ادغام کرنل‌ها (Kernel Fusion)
کاهش سربار مصرف حافظه
بهره‌گیری از اثرات دقت ترکیبی (Mixed Precision)
این بهینه‌سازی‌ها باعث می‌شود mHC حتی در آموزش‌های بسیار بزرگ، سریع و کارآمد در سناریوهای واقعی باشد.
🔍 نتایج به‌دست‌آمده چشمگیر است:
• آموزش در مقیاس‌های بزرگ پایدارتر می‌شود
• مدل‌ها بهتر مقیاس‌پذیر می‌شوند
• کارایی افزایش می‌یابد
• مصرف حافظه کاهش پیدا می‌کند
• و mHC از Hyper-Connections کلاسیک پیشی می‌گیرد
به بیان ساده‌تر، DeepSeek نشان می‌دهد که مسیر آینده فقط از بزرگ‌تر کردن مدل‌ها نمی‌گذرد، بلکه از معماری‌هایی می‌گذرد که از درون پایدار طراحی شده‌اند.
#AI #DeepSeek #MachineLearning #NeuralNetworks #Research
📄 مقاله:
https://arxiv.org/abs/2512.24880
@asrgooyeshpardaz
arXiv.org
mHC: Manifold-Constrained Hyper-Connections
Recently, studies exemplified by Hyper-Connections (HC) have extended the ubiquitous residual connection paradigm established over the past decade by expanding the residual stream width and...
❤7🔥2🤔1🤝1