🎬 مدل MoGA: نسل جدید مدل‌های تولید ویدیوهای طولانی
تیم تحقیقاتی ByteDance مدل تازه‌ای به نام MoGA را معرفی کرده است — سازوکاری نوآورانه برای توجه پراکنده (Sparse Attention) که امکان تولید ویدیوهای طولانی در حد چند دقیقه را فراهم می‌کند.
🧠 در MoGA به‌جای روش سنتی «بلوک‌بندی توکن‌ها»، از یک مسیر‌یاب سبک‌وزن (lightweight router) استفاده می‌شود که توکن‌ها را دقیقاً بر اساس گروه‌های معنایی (semantic groups) توزیع می‌کند.
🔑 نکات کلیدی:
🔹تولید ویدیو با وضوح 480p و نرخ ۲۴ فریم در ثانیه
🔹پشتیبانی از بافت متنی تا ۵۸۰ هزار توکن (context length)
🔹کاهش چشمگیر محاسبات: ۲٫۲۶ PFLOPs در مقابل ۶٫۹۴ PFLOPs برای ویدیوی ۳۰ ثانیه‌ای
🔹حفظ یکپارچگی شخصیت‌ها و پس‌زمینه در تمام فریم‌ها 🎭
🔹سازگار با FlashAttention و Parallel Sequence Processing
📊 مدل MoGA در آزمون‌های هماهنگی صحنه و کیفیت بصری (Consistency & Quality) عملکردی بهتر از تمام روش‌های SOTA فعلی نشان داده و گامی مهم به‌سوی تولید ویدیوهای بلند با کنترل کامل بر روایت و سیر داستانی است 🚀
📄 مقاله:
https://arxiv.org/abs/2510.18692v1
#AI #VideoGeneration #SparseAttention #MoGA #ByteDance
@asrgooyeshpardaz
تیم تحقیقاتی ByteDance مدل تازه‌ای به نام MoGA را معرفی کرده است — سازوکاری نوآورانه برای توجه پراکنده (Sparse Attention) که امکان تولید ویدیوهای طولانی در حد چند دقیقه را فراهم می‌کند.
🧠 در MoGA به‌جای روش سنتی «بلوک‌بندی توکن‌ها»، از یک مسیر‌یاب سبک‌وزن (lightweight router) استفاده می‌شود که توکن‌ها را دقیقاً بر اساس گروه‌های معنایی (semantic groups) توزیع می‌کند.
🔑 نکات کلیدی:
🔹تولید ویدیو با وضوح 480p و نرخ ۲۴ فریم در ثانیه
🔹پشتیبانی از بافت متنی تا ۵۸۰ هزار توکن (context length)
🔹کاهش چشمگیر محاسبات: ۲٫۲۶ PFLOPs در مقابل ۶٫۹۴ PFLOPs برای ویدیوی ۳۰ ثانیه‌ای
🔹حفظ یکپارچگی شخصیت‌ها و پس‌زمینه در تمام فریم‌ها 🎭
🔹سازگار با FlashAttention و Parallel Sequence Processing
📊 مدل MoGA در آزمون‌های هماهنگی صحنه و کیفیت بصری (Consistency & Quality) عملکردی بهتر از تمام روش‌های SOTA فعلی نشان داده و گامی مهم به‌سوی تولید ویدیوهای بلند با کنترل کامل بر روایت و سیر داستانی است 🚀
📄 مقاله:
https://arxiv.org/abs/2510.18692v1
#AI #VideoGeneration #SparseAttention #MoGA #ByteDance
@asrgooyeshpardaz
arXiv.org
MoGA: Mixture-of-Groups Attention for End-to-End Long Video Generation
Long video generation with Diffusion Transformers (DiTs) is bottlenecked by the quadratic scaling of full attention with sequence length. Since attention is highly redundant, outputs are dominated...
❤2🔥1🤨1