🔬 معرفی پروژه Perception Models از Meta AI Research

پروژه Perception Models از Meta AI Research، مجموعه‌ای از مدل‌های پیشرفته برای درک تصویر و ویدیو است که شامل دو مؤلفه اصلی هستند:
---

🧠 Perception Encoder (PE)

خانواده‌ای از رمزگذارهای بینایی است که برای وظایف مختلف طراحی شده‌اند:

PE-Core:
مدلی مشابه CLIP برای طبقه‌بندی و بازیابی تصویر و ویدیو به‌صورت zero-shot.

PE-Lang:
رمزگذاری هماهنگ با مدل‌های زبانی بزرگ (LLM) برای مدل‌سازی بینایی-زبان.

PE-Spatial:
تنظیم شده برای وظایف بینایی متمرکز مانند تشخیص، تخمین عمق و ردیابی.


این مدل‌ها از contrastive pretraining مقیاس‌پذیر استفاده می‌کنند و در وظایف مختلف عملکرد برتری نسبت به مدل‌های موجود دارند.

---

🌐 Perception Language Model (PLM)

مجموعه‌ای از مدل‌های باز و قابل تولید مجدد برای مدل‌سازی بینایی-زبان است که شامل اندازه‌های مختلفی می‌باشد:

PLM-1B:
مدلی با ۱ میلیارد پارامتر.

PLM-3B:
مدلی با ۳ میلیارد پارامتر.

PLM-8B:
مدلی با ۸ میلیارد پارامتر.


این مدل‌ها با استفاده از داده‌های باز و بدون تکیه بر مدل‌های اختصاصی آموزش دیده‌اند و در وظایف مختلف بینایی-زبان عملکرد قابل توجهی دارند.


---

📊 نتایج و ارزیابی

مدل‌های PE و PLM در بنچمارک‌های مختلفی ارزیابی شده‌اند و نتایج قابل توجهی کسب کرده‌اند. برای مثال، PLM-8B در بنچمارک PLM-VideoBench عملکرد برتری نسبت به مدل‌های موجود نشان داده است.


---

🛠️ شروع به کار

برای استفاده از این مدل‌ها، می‌توانید مخزن رسمی را کلون کرده و مراحل نصب را دنبال کنید:

git clone https://github.com/facebookresearch/perception_models.git
cd perception_models

conda create --name perception_models python=3.12
conda activate perception_models

# Install PyTorch
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers --index-url https://download.pytorch.org/whl/cu124

# We use torchcodec for decoding videos into PyTorch tensors
conda install ffmpeg -c conda-forge
pip install torchcodec==0.1 --index-url=https://download.pytorch.org/whl/cu124

pip install -e .

برای اطلاعات بیشتر و دسترسی به کدها و مدل‌های پیش‌آموزش‌دیده، به مخزن رسمی پروژه مراجعه کنید:

🔗facebookresearch/perception_models


---

این پروژه فرصت‌های جدیدی را برای پژوهشگران و توسعه‌دهندگان در زمینه درک تصویر و ویدیو فراهم می‌کند.

#AI #ComputerVision #MetaAI #PerceptionModels #DeepLearning

@asrgooyeshpardaz

🌟 معماری Mixture-of-Recursions (MoR): معماری نوین با استدلال انتخابی

🔬 گوگل با همکاری KAIST AI، معماری جدیدی به نام MoR را معرفی کرده که مفهوم محاسبه تطبیقی و پردازش انتخابی را به سطحی تازه می‌برد.

💡 در MoR، مدل برای هر توکن به‌طور متفاوت و پویا تصمیم می‌گیرد چقدر "فکر کند"!
بر خلاف ترنسفورمرهای کلاسیک، این معماری بازگشتی (Recursive) است و ورودی‌ها چند بار از همان بلاک عبور می‌کنند — اما با یک تفاوت کلیدی:
⏱️ عمق تکرار برای هر توکن متفاوت است و به صورت پویا تعیین می‌شود.

🔁 چطور کار می‌کند؟ یک روتر سبک و قابل آموزش مشخص می‌کند که هر توکن چند بار باید پردازش شود:

توکن‌های ساده ممکن است فقط یک بار پردازش شوند

توکن‌های پیچیده‌تر ممکن است چندین بار از لایه عبور کنند تا معنا و کاربردشان بهتر درک شود


✨ دو مزیت کلیدی MoR:

1. ✅ صرفه‌جویی در محاسبات:
توکن‌هایی که پردازششان تمام شده، دیگر در چرخه‌های بعدی شرکت نمی‌کنند → مصرف محاسباتی کمتر!


2. ✅ بهینه‌سازی حافظه (KV Caching):
به جای ذخیره تمام لایه‌ها، فقط توکن‌های فعال در هر چرخه کش می‌شوند → حافظه کمتر، سرعت بیشتر، استقرار آسان‌تر!



📉 روش MoR با بودجه محاسباتی مشابه (FLOPs) و اندازه مدل کوچکتر، نتایج بهتری در few-shot learning و perplexity نسبت به مدل‌های کلاسیک و بازگشتی ارائه می‌دهد.

🧪 امتحان کنید! کد آموزش و ارزیابی در GitHub منتشر شده:

🔗 مشاهده در GitHub

https://github.com/raymin0223/mixture_of_recursions

🟡 مطالعه در ArXiv

https://arxiv.org/pdf/2507.10524

---

#MoR #AI #LLM #MachineLearning #DeepLearning #Google #KAIST

📡 @asrgooyeshpardaz

🔥 انویدیا OmniVinci — مدل چندوجهی که رکوردها را شکست!

🔗 مدل OmniVinci تازه‌ترین مدل چندوجهی (Omnimodal) از آزمایشگاه‌های NVIDIA است که می‌تواند متن، تصویر، ویدیو و صدا را به‌صورت هم‌زمان درک و پردازش کند.

با وجود آن‌که تنها با ۲۰۰ میلیارد توکن آموزش دیده (شش‌برابر کمتر از Qwen2.5-Omni با ۱.۲ تریلیون توکن)، کارایی شگفت‌انگیزی نشان داده است — نتیجه‌ی معماری هوشمند و پردازش دقیق داده‌ها.

🧩 سه جزء کلیدی OmniVinci:

🔹Temporal Embedding Grouping (TEG)
نظم‌دهی به توکن‌های صوت و تصویر بر اساس زمان.
🔹Constrained Rotary Time Embedding (CRTE)
رمزگذاری دقیق زمان مطلق هر فریم.
🔹OmniAlignNet
هم‌ترازسازی توکن‌های ویدیو و صدا در یک فضای نهفته مشترک از طریق یادگیری کانتراستیوی.

📊 تست ابلیشن نشان داد هر جزء نقشی مهم دارد:

مدل پایه: 45.51
با TEG: +2.21 → 47.72
با CRTE: +4.74 → 50.25
با OmniAlignNet: +7.08 → 52.59 ✅

🧠 داده‌های آموزش:

۲۴ میلیون دیالوگ چندوجهی
با کمک LLM برای یکپارچه‌سازی توضیحات در قالب واحد

ترکیب داده‌ها:

۳۶٪ تصویر
۲۱٪ صدا
۱۷٪ گفتار
۱۵٪ داده‌های ترکیبی
۱۱٪ ویدیو

📈 نتایج بنچ‌مارک:

Worldsense: 48.23 (در برابر 45.40 برای Qwen2.5-Omni)

DailyOmni: 66.50 (در برابر 47.45)

MMAR (وظایف صوتی): 58.40

MMAU: 71.60

LibriSpeech-clean (WER): فقط 1.7٪ 🔊
🧪 تست‌های صنعتی:

در کاربردهای واقعی نیز OmniVinci درخشید:

در تشخیص عیوب ویفرهای نیمه‌هادی به دقت 98.1٪ رسید — بالاتر از
مدل NVILA (97.6٪)
مدل VILA-40B (90.8٪)

⚙️ مجوز و منابع:

کد: Apache 2.0 License

مدل: NVIDIA One Way Noncommercial License

🟢 صفحه پروژه
🟢 مدل در HuggingFace
🟢 مقاله arXiv
🟢 کد منبع در GitHub

📢 #NVIDIA #OmniVinci #AI #Multimodal #DeepLearning #GenerativeAI

@asrgooyeshpardaz

🧠✨ یادگیری تو در تو (Nested Learning): پارادایمی نو برای یادگیری مداوم در هوش مصنوعی

پژوهشگران گوگل در تازه‌ترین دستاورد خود، چارچوبی با نام Nested Learning (NL) معرفی کرده‌اند؛ رویکردی که می‌تواند بنیان یادگیری عمیق را دگرگون کند. در این روش، مدل به‌جای انباشتی از لایه‌ها، همچون مجموعه‌ای از مسائل بهینه‌سازی تو در تو طراحی می‌شود — ساختاری که به مغز انسان شباهت بیشتری دارد.

🔹 درک نو از یادگیری:

در رویکردهای سنتی، همه‌ی لایه‌های شبکه در یک زمان و با یک نرخ یادگیری به‌روزرسانی می‌شوند. اما در یادگیری تو در تو، هر بخش از مدل دارای فرکانس یادگیری متفاوتی است؛ برخی سریع‌تر و موقتی‌تر (مشابه حافظه‌ی کوتاه‌مدت) و برخی کندتر اما پایدارتر (مانند حافظه‌ی بلندمدت).

🔹 ماژول Hope:

در قلب این معماری، ماژولی به نام Hope (Hierarchically Optimized Persistent Encoder) قرار دارد که نه‌تنها وزن‌های مدل را به‌روزرسانی می‌کند، بلکه در صورت نیاز ساختار درونی خود را نیز تغییر می‌دهد. این یعنی گذر از یادگیری صرفاً پارامتری به سوی یادگیری ساختاری و خودانطباقی.

🔹 دستاوردها:

ماژول Hope در آزمایش‌های گوگل توانسته است در وظایف زبانی و منطقی از مدل‌های پیشرفته‌ی Transformer و RNN عملکرد بهتری نشان دهد و به دقت ۵۷٫۲۳ درصدی دست یابد.

🔹 چرا مهم است؟

معماری Nested Learning می‌تواند مسیر توسعه‌ی نسل تازه‌ای از مدل‌ها را هموار کند؛ مدل‌هایی که همانند مغز انسان، به‌صورت مداوم، تدریجی و بدون بازآموزی کامل یاد می‌گیرند و تکامل می‌یابند.

🔗 منبع: Google Research Blog

#هوش_مصنوعی #گوگل #یادگیری_عمیق #پژوهش #یادگیری_پیوسته #DeepLearning

@asrgooyeshpardaz