🔬 معرفی پروژه Perception Models از Meta AI Research

پروژه Perception Models از Meta AI Research، مجموعه‌ای از مدل‌های پیشرفته برای درک تصویر و ویدیو است که شامل دو مؤلفه اصلی هستند:
---

🧠 Perception Encoder (PE)

خانواده‌ای از رمزگذارهای بینایی است که برای وظایف مختلف طراحی شده‌اند:

PE-Core:
مدلی مشابه CLIP برای طبقه‌بندی و بازیابی تصویر و ویدیو به‌صورت zero-shot.

PE-Lang:
رمزگذاری هماهنگ با مدل‌های زبانی بزرگ (LLM) برای مدل‌سازی بینایی-زبان.

PE-Spatial:
تنظیم شده برای وظایف بینایی متمرکز مانند تشخیص، تخمین عمق و ردیابی.


این مدل‌ها از contrastive pretraining مقیاس‌پذیر استفاده می‌کنند و در وظایف مختلف عملکرد برتری نسبت به مدل‌های موجود دارند.

---

🌐 Perception Language Model (PLM)

مجموعه‌ای از مدل‌های باز و قابل تولید مجدد برای مدل‌سازی بینایی-زبان است که شامل اندازه‌های مختلفی می‌باشد:

PLM-1B:
مدلی با ۱ میلیارد پارامتر.

PLM-3B:
مدلی با ۳ میلیارد پارامتر.

PLM-8B:
مدلی با ۸ میلیارد پارامتر.


این مدل‌ها با استفاده از داده‌های باز و بدون تکیه بر مدل‌های اختصاصی آموزش دیده‌اند و در وظایف مختلف بینایی-زبان عملکرد قابل توجهی دارند.


---

📊 نتایج و ارزیابی

مدل‌های PE و PLM در بنچمارک‌های مختلفی ارزیابی شده‌اند و نتایج قابل توجهی کسب کرده‌اند. برای مثال، PLM-8B در بنچمارک PLM-VideoBench عملکرد برتری نسبت به مدل‌های موجود نشان داده است.


---

🛠️ شروع به کار

برای استفاده از این مدل‌ها، می‌توانید مخزن رسمی را کلون کرده و مراحل نصب را دنبال کنید:

git clone https://github.com/facebookresearch/perception_models.git
cd perception_models

conda create --name perception_models python=3.12
conda activate perception_models

# Install PyTorch
pip install torch==2.5.1 torchvision==0.20.1 torchaudio==2.5.1 xformers --index-url https://download.pytorch.org/whl/cu124

# We use torchcodec for decoding videos into PyTorch tensors
conda install ffmpeg -c conda-forge
pip install torchcodec==0.1 --index-url=https://download.pytorch.org/whl/cu124

pip install -e .

برای اطلاعات بیشتر و دسترسی به کدها و مدل‌های پیش‌آموزش‌دیده، به مخزن رسمی پروژه مراجعه کنید:

🔗facebookresearch/perception_models


---

این پروژه فرصت‌های جدیدی را برای پژوهشگران و توسعه‌دهندگان در زمینه درک تصویر و ویدیو فراهم می‌کند.

#AI #ComputerVision #MetaAI #PerceptionModels #DeepLearning

@asrgooyeshpardaz

🎨 مدل Qwen Image Layered؛ ویرایش لایه‌ای تصاویر به سبک فتوشاپ با هوش مصنوعی

تیم Alibaba مدل متن‌باز Qwen Image Layered را منتشر کرده است؛ مدلی که تصویر را به‌صورت ساختاریافته به چند لایه RGBA (بین ۳ تا ۱۰ لایه) تجزیه می‌کند و اشیای موجود در تصویر را به‌طور فیزیکی از هم جدا می‌سازد 🧩

🔍 قابلیت‌های کلیدی:
ویرایش مستقل هر لایه (مشابه فتوشاپ) ✏️
کنترل سطح جزئیات از طریق پرامپت متنی
دکامپوزیشن بازگشتی برای ویرایش عمیق‌تر 🔄
تغییر دقیق اندازه، رنگ و موقعیت اجزای تصویر

⚠️ نکته مهم:
این مدل برای تجزیه و کنترل‌پذیر کردن تصاویر موجود طراحی شده، نه تولید لایه‌ها از صفر صرفاً بر اساس متن.

🧠 جمع‌بندی:
مدل Qwen Image Layered یک گام مهم به سمت خلاقیت بصری کاملاً قابل‌کنترل و قابل‌ویرایش با AI است؛ جایی که تصویر دیگر یک خروجی تخت نیست، بلکه یک ساختار لایه‌ای قابل دست‌کاری محسوب می‌شود.
🔗 گیت‌هاب:
https://github.com/QwenLM/Qwen-Image-Layered

#AI #Qwen #Alibaba #ComputerVision #ImageEditing

@asrgooyeshpardaz