💡 پژوهشگران بایت‌دنس و استنفورد روش تازه‌ای برای تولید ویدیوهای طولانی پیشنهاد داده‌اند — Mixture of Contexts.
🔑 مشکل کجاست؟
وقتی ویدیو طولانی می‌شود، توجه (attention) مدل بیش از حد گسترده می‌شود: هزینهٔ محاسبات بالا می‌رود، جزئیات در خروجی از دست می‌روند، شخصیت‌ها فراموش می‌شوند و مدل دچار «رانش» (drift) می‌گردد.
⚡ چرا Mixture of Contexts جالب است؟
ویدیو به بخش‌هایی مثل فریم، شات و کپشن تقسیم می‌شود.
هر درخواست فقط بخش‌های مرتبط را انتخاب می‌کند، نه کل تاریخچه را.
این انتخاب با یک معیار سادهٔ شباهت بین ویژگی‌های بخش‌ها و پرسش جاری انجام می‌شود.
دو «لنگر» همواره لحاظ می‌شوند: متن کامل پرامپت و شات محلی برای جزئیات.
روش Causal mask مانع توجه به فریم‌های آینده می‌شود تا از تکرار جلوگیری کند.
سپس Flash Attention فقط روی بخش‌های انتخاب‌شده اعمال می‌شود — بنابراین محاسبات با طول کل ویدیو رشد نمی‌کنند، بلکه فقط با زمینهٔ مفید افزایش می‌یابند.
📊 نتایج:
۷ برابر کاهش FLOPs
۲.۲ برابر سرعت بیشتر
در صحنه‌های طولانی (۱۸۰هزار توکن) تا ۸۵٪ توجه غیرضروری حذف می‌شود
🎥 نتیجه:
کیفیت در کلیپ‌های کوتاه حفظ می‌شود
صحنه‌های طولانی روان‌تر می‌شوند و شخصیت‌ها پایدار می‌مانند
زمان تولید به‌طور محسوسی کاهش می‌یابد
نکتهٔ اصلی: مدل یاد می‌گیرد خودش تشخیص دهد به چه بخش‌هایی نگاه کند و نوعی «حافظه» چنددقیقه‌ای برای ویدیو پیدا می‌کند — بدون آنکه نیاز به تغییر معماری پایه باشد.
🟠 جزئیات بیشتر
http://arxiv.org/abs/2508.19667
#AI #ByteDance #Stanford #videogeneration
@asrgooyeshpardaz
🔑 مشکل کجاست؟
وقتی ویدیو طولانی می‌شود، توجه (attention) مدل بیش از حد گسترده می‌شود: هزینهٔ محاسبات بالا می‌رود، جزئیات در خروجی از دست می‌روند، شخصیت‌ها فراموش می‌شوند و مدل دچار «رانش» (drift) می‌گردد.
⚡ چرا Mixture of Contexts جالب است؟
ویدیو به بخش‌هایی مثل فریم، شات و کپشن تقسیم می‌شود.
هر درخواست فقط بخش‌های مرتبط را انتخاب می‌کند، نه کل تاریخچه را.
این انتخاب با یک معیار سادهٔ شباهت بین ویژگی‌های بخش‌ها و پرسش جاری انجام می‌شود.
دو «لنگر» همواره لحاظ می‌شوند: متن کامل پرامپت و شات محلی برای جزئیات.
روش Causal mask مانع توجه به فریم‌های آینده می‌شود تا از تکرار جلوگیری کند.
سپس Flash Attention فقط روی بخش‌های انتخاب‌شده اعمال می‌شود — بنابراین محاسبات با طول کل ویدیو رشد نمی‌کنند، بلکه فقط با زمینهٔ مفید افزایش می‌یابند.
📊 نتایج:
۷ برابر کاهش FLOPs
۲.۲ برابر سرعت بیشتر
در صحنه‌های طولانی (۱۸۰هزار توکن) تا ۸۵٪ توجه غیرضروری حذف می‌شود
🎥 نتیجه:
کیفیت در کلیپ‌های کوتاه حفظ می‌شود
صحنه‌های طولانی روان‌تر می‌شوند و شخصیت‌ها پایدار می‌مانند
زمان تولید به‌طور محسوسی کاهش می‌یابد
نکتهٔ اصلی: مدل یاد می‌گیرد خودش تشخیص دهد به چه بخش‌هایی نگاه کند و نوعی «حافظه» چنددقیقه‌ای برای ویدیو پیدا می‌کند — بدون آنکه نیاز به تغییر معماری پایه باشد.
🟠 جزئیات بیشتر
http://arxiv.org/abs/2508.19667
#AI #ByteDance #Stanford #videogeneration
@asrgooyeshpardaz
❤4👏1🙏1
🎬 مدل MoGA: نسل جدید مدل‌های تولید ویدیوهای طولانی
تیم تحقیقاتی ByteDance مدل تازه‌ای به نام MoGA را معرفی کرده است — سازوکاری نوآورانه برای توجه پراکنده (Sparse Attention) که امکان تولید ویدیوهای طولانی در حد چند دقیقه را فراهم می‌کند.
🧠 در MoGA به‌جای روش سنتی «بلوک‌بندی توکن‌ها»، از یک مسیر‌یاب سبک‌وزن (lightweight router) استفاده می‌شود که توکن‌ها را دقیقاً بر اساس گروه‌های معنایی (semantic groups) توزیع می‌کند.
🔑 نکات کلیدی:
🔹تولید ویدیو با وضوح 480p و نرخ ۲۴ فریم در ثانیه
🔹پشتیبانی از بافت متنی تا ۵۸۰ هزار توکن (context length)
🔹کاهش چشمگیر محاسبات: ۲٫۲۶ PFLOPs در مقابل ۶٫۹۴ PFLOPs برای ویدیوی ۳۰ ثانیه‌ای
🔹حفظ یکپارچگی شخصیت‌ها و پس‌زمینه در تمام فریم‌ها 🎭
🔹سازگار با FlashAttention و Parallel Sequence Processing
📊 مدل MoGA در آزمون‌های هماهنگی صحنه و کیفیت بصری (Consistency & Quality) عملکردی بهتر از تمام روش‌های SOTA فعلی نشان داده و گامی مهم به‌سوی تولید ویدیوهای بلند با کنترل کامل بر روایت و سیر داستانی است 🚀
📄 مقاله:
https://arxiv.org/abs/2510.18692v1
#AI #VideoGeneration #SparseAttention #MoGA #ByteDance
@asrgooyeshpardaz
تیم تحقیقاتی ByteDance مدل تازه‌ای به نام MoGA را معرفی کرده است — سازوکاری نوآورانه برای توجه پراکنده (Sparse Attention) که امکان تولید ویدیوهای طولانی در حد چند دقیقه را فراهم می‌کند.
🧠 در MoGA به‌جای روش سنتی «بلوک‌بندی توکن‌ها»، از یک مسیر‌یاب سبک‌وزن (lightweight router) استفاده می‌شود که توکن‌ها را دقیقاً بر اساس گروه‌های معنایی (semantic groups) توزیع می‌کند.
🔑 نکات کلیدی:
🔹تولید ویدیو با وضوح 480p و نرخ ۲۴ فریم در ثانیه
🔹پشتیبانی از بافت متنی تا ۵۸۰ هزار توکن (context length)
🔹کاهش چشمگیر محاسبات: ۲٫۲۶ PFLOPs در مقابل ۶٫۹۴ PFLOPs برای ویدیوی ۳۰ ثانیه‌ای
🔹حفظ یکپارچگی شخصیت‌ها و پس‌زمینه در تمام فریم‌ها 🎭
🔹سازگار با FlashAttention و Parallel Sequence Processing
📊 مدل MoGA در آزمون‌های هماهنگی صحنه و کیفیت بصری (Consistency & Quality) عملکردی بهتر از تمام روش‌های SOTA فعلی نشان داده و گامی مهم به‌سوی تولید ویدیوهای بلند با کنترل کامل بر روایت و سیر داستانی است 🚀
📄 مقاله:
https://arxiv.org/abs/2510.18692v1
#AI #VideoGeneration #SparseAttention #MoGA #ByteDance
@asrgooyeshpardaz
arXiv.org
MoGA: Mixture-of-Groups Attention for End-to-End Long Video Generation
Long video generation with Diffusion Transformers (DiTs) is bottlenecked by the quadratic scaling of full attention with sequence length. Since attention is highly redundant, outputs are dominated...
❤2🔥1🤨1