🔬 معرفی پروژه Perception Models از Meta AI Research

پروژه Perception Models از Meta AI Research، مجموعه‌ای از مدل‌های پیشرفته برای درک تصویر و ویدیو است که شامل دو مؤلفه اصلی هستند:
---

🧠 Perception Encoder (PE)

خانواده‌ای از رمزگذارهای بینایی است که برای وظایف مختلف طراحی شده‌اند:

PE-Core:
مدلی مشابه CLIP برای طبقه‌بندی و بازیابی تصویر و ویدیو به‌صورت zero-shot.

PE-Lang:
رمزگذاری هماهنگ با مدل‌های زبانی بزرگ (LLM) برای مدل‌سازی بینایی-زبان.

PE-Spatial:
تنظیم شده برای وظایف بینایی متمرکز مانند تشخیص، تخمین عمق و ردیابی.


این مدل‌ها از contrastive pretraining مقیاس‌پذیر استفاده می‌کنند و در وظایف مختلف عملکرد برتری نسبت به مدل‌های موجود دارند.

---

🌐 Perception Language Model (PLM)

مجموعه‌ای از مدل‌های باز و قابل تولید مجدد برای مدل‌سازی بینایی-زبان است که شامل اندازه‌های مختلفی می‌باشد:

PLM-1B:
مدلی با ۱ میلیارد پارامتر.

PLM-3B:
مدلی با ۳ میلیارد پارامتر.

PLM-8B:
مدلی با ۸ میلیارد پارامتر.


این مدل‌ها با استفاده از داده‌های باز و بدون تکیه بر مدل‌های اختصاصی آموزش دیده‌اند و در وظایف مختلف بینایی-زبان عملکرد قابل توجهی دارند.


---

📊 نتایج و ارزیابی

مدل‌های PE و PLM در بنچمارک‌های مختلفی ارزیابی شده‌اند و نتایج قابل توجهی کسب کرده‌اند. برای مثال، PLM-8B در بنچمارک PLM-VideoBench عملکرد برتری نسبت به مدل‌های موجود نشان داده است.


---

🛠️ شروع به کار

برای استفاده از این مدل‌ها، می‌توانید مخزن رسمی را کلون کرده و مراحل نصب را دنبال کنید:

git clone https://github.com/facebookresearch/perception_models.git
cd perception_models

conda create --name perception_models python=3.12
conda activate perception_models

# Install PyTorch
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers --index-url https://download.pytorch.org/whl/cu124

# We use torchcodec for decoding videos into PyTorch tensors
conda install ffmpeg -c conda-forge
pip install torchcodec==0.1 --index-url=https://download.pytorch.org/whl/cu124

pip install -e .

برای اطلاعات بیشتر و دسترسی به کدها و مدل‌های پیش‌آموزش‌دیده، به مخزن رسمی پروژه مراجعه کنید:

🔗facebookresearch/perception_models


---

این پروژه فرصت‌های جدیدی را برای پژوهشگران و توسعه‌دهندگان در زمینه درک تصویر و ویدیو فراهم می‌کند.

#AI #ComputerVision #MetaAI #PerceptionModels #DeepLearning

@asrgooyeshpardaz