📝 معرفی NeoMME؛ رمزگذارهای چندوجهی جدید که پیچیدگی‌های اضافی را کنار گذاشته‌اند!
شرکت H (Holistic AI) از خانواده‌ی جدیدی از مدل‌های هوش مصنوعی به نام NeoMME رونمایی کرده است. این مدل‌ها با یک طراحی ساده و هوشمندانه، کار پردازش هم‌زمان متن و تصویر را بسیار کارآمدتر کرده‌اند.
---
🧩 این مدل‌ها چطور کار می‌کنند؟
۱. ورودی ساده، بدون پیچیدگی‌های اضافی
بیشتر مدل‌های چندوجهی برای پردازش تصویر، از یک «برج دیداری» جداگانه استفاده می‌کنند که خودش یک مدل بزرگ است. اما NeoMME این کار را نمی‌کند. تصاویر را به تکه‌های کوچک ۳۲ در ۳۲ پیکسلی تقسیم کرده و مستقیماً به مدل اصلی می‌دهد. متن هم به‌صورت ساده و با ابعاد ۲۵۶ بعدی وارد می‌شود. نتیجه؟ هر دو نوع داده (متن و تصویر) در یک مسیر مشترک پردازش می‌شوند و این یعنی سادگی و سرعت بیشتر.
۲. روش آموزشی جدید برای درک بهتر ارتباط متن و تصویر
روش آموزشی این مدل‌ها هم جالب است. به‌جای روش‌های قدیمی که متن را کلمه‌به‌کلمه پیش‌بینی می‌کنند، NeoMME از یک روش مبتنی بر «پاک‌کردن و بازسازی» استفاده می‌کند. بخش‌هایی از متن را پنهان می‌کند و از مدل می‌خواهد آنها را با کمک تصاویر حدس بزند. این روش به مدل یاد می‌دهد که چطور از اطلاعات تصویر برای درک بهتر متن استفاده کند و باعث شده دقت مدل در بازسازی متن‌های پنهان، تا ۳۸ امتیاز بهبود پیدا کند.
۳. آموزش با بودجه‌ای محدود اما نتیجه‌ای عالی
این مدل‌ها با حجم داده‌ی بسیار کمتری نسبت به رقبا (حدود ۵۲۴ میلیارد توکن در مقابل ۲ تریلیون توکن برای بعضی مدل‌های دیگر) آموزش دیده‌اند، اما با استفاده از یک بهینه‌ساز هوشمند، توانسته‌اند عملکرد بسیار خوبی ارائه دهند.
---
📊 مشخصات فنی به‌زبان ساده
این مدل در دو اندازه عرضه شده است. نسخه‌ی کوچک‌تر با ۲۶۰ میلیون پارامتر، روی ۱۶ کارت گرافیک H100 آموزش دیده و نسخه‌ی بزرگ‌تر با ۸۰۰ میلیون پارامتر، روی ۳۲ کارت گرافیک H100 آموزش دیده است. جالب اینجاست که با وجود تفاوت در اندازه، هر دو مدل یک پنجره‌ی متنی مشترک به اندازه‌ی ۱۶,۳۸۴ توکن دارند که برای پردازش هم‌زمان دو تصویر ۴K کافی است. همچنین هر دو مدل با ۵۲۴ میلیارد توکن داده آموزش دیده‌اند.
در مقایسه با رقبا، این مدل‌ها با بودجه‌ای بسیار محدودتر (حدود یک‌چهارم) به عملکردی رقابتی دست یافته‌اند که نشان‌دهنده‌ی کارایی بالای معماری و روش آموزشی آنهاست.
---
💡 چرا این مدل‌ها مهم هستند؟
· ساده‌تر و سریع‌تر: با حذف اجزای اضافی، این مدل‌ها سبک‌تر و کارآمدتر از بسیاری از رقبا هستند.
· درک بهتر ارتباط متن و تصویر: روش آموزشی جدید باعث شده مدل ارتباط عمیق‌تری بین این دو نوع داده پیدا کند.
· قابل‌دسترس‌تر: با توجه به حجم کمتر و نیاز به سخت‌افزار محدودتر، استفاده از این مدل‌ها برای افراد و شرکت‌های کوچک‌تر نیز ممکن می‌شود.
---
🔗 لینک‌های مفید
📄 مقاله‌ی علمی:
arxiv.org/abs/2609.01657
🤗 دانلود مدل‌ها:
huggingface.co/collections/Hcompany/neomme
---
#NeoMME #پردازش_چندوجهی #هوش_مصنوعی #پیشرفت_فناوری
🆔 @asrgooyeshpardaz
شرکت H (Holistic AI) از خانواده‌ی جدیدی از مدل‌های هوش مصنوعی به نام NeoMME رونمایی کرده است. این مدل‌ها با یک طراحی ساده و هوشمندانه، کار پردازش هم‌زمان متن و تصویر را بسیار کارآمدتر کرده‌اند.
---
🧩 این مدل‌ها چطور کار می‌کنند؟
۱. ورودی ساده، بدون پیچیدگی‌های اضافی
بیشتر مدل‌های چندوجهی برای پردازش تصویر، از یک «برج دیداری» جداگانه استفاده می‌کنند که خودش یک مدل بزرگ است. اما NeoMME این کار را نمی‌کند. تصاویر را به تکه‌های کوچک ۳۲ در ۳۲ پیکسلی تقسیم کرده و مستقیماً به مدل اصلی می‌دهد. متن هم به‌صورت ساده و با ابعاد ۲۵۶ بعدی وارد می‌شود. نتیجه؟ هر دو نوع داده (متن و تصویر) در یک مسیر مشترک پردازش می‌شوند و این یعنی سادگی و سرعت بیشتر.
۲. روش آموزشی جدید برای درک بهتر ارتباط متن و تصویر
روش آموزشی این مدل‌ها هم جالب است. به‌جای روش‌های قدیمی که متن را کلمه‌به‌کلمه پیش‌بینی می‌کنند، NeoMME از یک روش مبتنی بر «پاک‌کردن و بازسازی» استفاده می‌کند. بخش‌هایی از متن را پنهان می‌کند و از مدل می‌خواهد آنها را با کمک تصاویر حدس بزند. این روش به مدل یاد می‌دهد که چطور از اطلاعات تصویر برای درک بهتر متن استفاده کند و باعث شده دقت مدل در بازسازی متن‌های پنهان، تا ۳۸ امتیاز بهبود پیدا کند.
۳. آموزش با بودجه‌ای محدود اما نتیجه‌ای عالی
این مدل‌ها با حجم داده‌ی بسیار کمتری نسبت به رقبا (حدود ۵۲۴ میلیارد توکن در مقابل ۲ تریلیون توکن برای بعضی مدل‌های دیگر) آموزش دیده‌اند، اما با استفاده از یک بهینه‌ساز هوشمند، توانسته‌اند عملکرد بسیار خوبی ارائه دهند.
---
📊 مشخصات فنی به‌زبان ساده
این مدل در دو اندازه عرضه شده است. نسخه‌ی کوچک‌تر با ۲۶۰ میلیون پارامتر، روی ۱۶ کارت گرافیک H100 آموزش دیده و نسخه‌ی بزرگ‌تر با ۸۰۰ میلیون پارامتر، روی ۳۲ کارت گرافیک H100 آموزش دیده است. جالب اینجاست که با وجود تفاوت در اندازه، هر دو مدل یک پنجره‌ی متنی مشترک به اندازه‌ی ۱۶,۳۸۴ توکن دارند که برای پردازش هم‌زمان دو تصویر ۴K کافی است. همچنین هر دو مدل با ۵۲۴ میلیارد توکن داده آموزش دیده‌اند.
در مقایسه با رقبا، این مدل‌ها با بودجه‌ای بسیار محدودتر (حدود یک‌چهارم) به عملکردی رقابتی دست یافته‌اند که نشان‌دهنده‌ی کارایی بالای معماری و روش آموزشی آنهاست.
---
💡 چرا این مدل‌ها مهم هستند؟
· ساده‌تر و سریع‌تر: با حذف اجزای اضافی، این مدل‌ها سبک‌تر و کارآمدتر از بسیاری از رقبا هستند.
· درک بهتر ارتباط متن و تصویر: روش آموزشی جدید باعث شده مدل ارتباط عمیق‌تری بین این دو نوع داده پیدا کند.
· قابل‌دسترس‌تر: با توجه به حجم کمتر و نیاز به سخت‌افزار محدودتر، استفاده از این مدل‌ها برای افراد و شرکت‌های کوچک‌تر نیز ممکن می‌شود.
---
🔗 لینک‌های مفید
📄 مقاله‌ی علمی:
arxiv.org/abs/2609.01657
🤗 دانلود مدل‌ها:
huggingface.co/collections/Hcompany/neomme
---
#NeoMME #پردازش_چندوجهی #هوش_مصنوعی #پیشرفت_فناوری
🆔 @asrgooyeshpardaz
arXiv.org
NeoMME: A Single-Tower Multimodal-Native Multilingual Foundation...
Multimodal models often build on architectures designed for generative vision-language modeling, typically combining separately pretrained vision encoders with causal language models. Visual...
❤6