🚀 انتشار راهنمای جامع Qwen برای Qwen3-VL!
شرکت Qwen (از گروه Alibaba) مجموعه‌ای از نوت‌بوک‌های تعاملی (Interactive Notebooks) را منتشر کرده که به‌صورت گام‌به‌گام توانایی‌های مدل چندوجهی Qwen3-VL را نمایش می‌دهد — چه در اجرای محلی (Local) و چه از طریق API.
📘 در این مجموعه، ده‌ها مثال واقعی همراه با تحلیل وجود دارد، از جمله:
• تحلیل و استدلال مبتنی بر تصویر
• عامل تعاملی برای کار با رابط‌های کاربری (Computer-Use Agent)
• برنامه‌نویسی چندوجهی (Multimodal Programming)
• شناسایی اشیاء و صحنه‌ها (Omni Recognition)
• استخراج داده از اسناد و OCR پیشرفته
• تعیین دقیق موقعیت و ویژگی‌های اشیاء در تصویر
• تحلیل اسناد طولانی و استدلال فضایی
• عامل موبایل و تحلیل ویدیو
🔗 لینک‌ها:
🟠 گیت‌هاب:
https://github.com/QwenLM/Qwen3-VL/tree/main/cookbooks
🟠 مستندات API
https://alibabacloud.com/help/en/model-studio/user-guide/vision/
🟠 نسخه آنلاین:
https://chat.qwen.ai/?models=qwen3-vl-plus
🟠 پروژه
https://github.com/QwenLM/Qwen3-VL
#Qwen #Qwen3VL #AI #VisionLanguage #Multimodal #LLM
@asrgooyeshpardaz
شرکت Qwen (از گروه Alibaba) مجموعه‌ای از نوت‌بوک‌های تعاملی (Interactive Notebooks) را منتشر کرده که به‌صورت گام‌به‌گام توانایی‌های مدل چندوجهی Qwen3-VL را نمایش می‌دهد — چه در اجرای محلی (Local) و چه از طریق API.
📘 در این مجموعه، ده‌ها مثال واقعی همراه با تحلیل وجود دارد، از جمله:
• تحلیل و استدلال مبتنی بر تصویر
• عامل تعاملی برای کار با رابط‌های کاربری (Computer-Use Agent)
• برنامه‌نویسی چندوجهی (Multimodal Programming)
• شناسایی اشیاء و صحنه‌ها (Omni Recognition)
• استخراج داده از اسناد و OCR پیشرفته
• تعیین دقیق موقعیت و ویژگی‌های اشیاء در تصویر
• تحلیل اسناد طولانی و استدلال فضایی
• عامل موبایل و تحلیل ویدیو
🔗 لینک‌ها:
🟠 گیت‌هاب:
https://github.com/QwenLM/Qwen3-VL/tree/main/cookbooks
🟠 مستندات API
https://alibabacloud.com/help/en/model-studio/user-guide/vision/
🟠 نسخه آنلاین:
https://chat.qwen.ai/?models=qwen3-vl-plus
🟠 پروژه
https://github.com/QwenLM/Qwen3-VL
#Qwen #Qwen3VL #AI #VisionLanguage #Multimodal #LLM
@asrgooyeshpardaz
GitHub
Qwen3-VL/cookbooks at main · QwenLM/Qwen3-VL
Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. - QwenLM/Qwen3-VL
🔥2
🔥 انویدیا OmniVinci — مدل چندوجهی که رکوردها را شکست!
🔗 مدل OmniVinci تازه‌ترین مدل چندوجهی (Omnimodal) از آزمایشگاه‌های NVIDIA است که می‌تواند متن، تصویر، ویدیو و صدا را به‌صورت هم‌زمان درک و پردازش کند.
با وجود آن‌که تنها با ۲۰۰ میلیارد توکن آموزش دیده (شش‌برابر کمتر از Qwen2.5-Omni با ۱.۲ تریلیون توکن)، کارایی شگفت‌انگیزی نشان داده است — نتیجه‌ی معماری هوشمند و پردازش دقیق داده‌ها.
🧩 سه جزء کلیدی OmniVinci:
🔹Temporal Embedding Grouping (TEG)
نظم‌دهی به توکن‌های صوت و تصویر بر اساس زمان.
🔹Constrained Rotary Time Embedding (CRTE)
رمزگذاری دقیق زمان مطلق هر فریم.
🔹OmniAlignNet
هم‌ترازسازی توکن‌های ویدیو و صدا در یک فضای نهفته مشترک از طریق یادگیری کانتراستیوی.
📊 تست ابلیشن نشان داد هر جزء نقشی مهم دارد:
مدل پایه: 45.51
با TEG: +2.21 → 47.72
با CRTE: +4.74 → 50.25
با OmniAlignNet: +7.08 → 52.59 ✅
🧠 داده‌های آموزش:
۲۴ میلیون دیالوگ چندوجهی
با کمک LLM برای یکپارچه‌سازی توضیحات در قالب واحد
ترکیب داده‌ها:
۳۶٪ تصویر
۲۱٪ صدا
۱۷٪ گفتار
۱۵٪ داده‌های ترکیبی
۱۱٪ ویدیو
📈 نتایج بنچمارک:
Worldsense: 48.23 (در برابر 45.40 برای Qwen2.5-Omni)
DailyOmni: 66.50 (در برابر 47.45)
MMAR (وظایف صوتی): 58.40
MMAU: 71.60
LibriSpeech-clean (WER): فقط 1.7٪ 🔊
🧪 تست‌های صنعتی:
در کاربردهای واقعی نیز OmniVinci درخشید:
در تشخیص عیوب ویفرهای نیمه‌هادی به دقت 98.1٪ رسید — بالاتر از
مدل NVILA (97.6٪)
مدل VILA-40B (90.8٪)
⚙️ مجوز و منابع:
کد: Apache 2.0 License
مدل: NVIDIA One Way Noncommercial License
🟢 صفحه پروژه
🟢 مدل در HuggingFace
🟢 مقاله arXiv
🟢 کد منبع در GitHub
📢 #NVIDIA #OmniVinci #AI #Multimodal #DeepLearning #GenerativeAI
@asrgooyeshpardaz
🔗 مدل OmniVinci تازه‌ترین مدل چندوجهی (Omnimodal) از آزمایشگاه‌های NVIDIA است که می‌تواند متن، تصویر، ویدیو و صدا را به‌صورت هم‌زمان درک و پردازش کند.
با وجود آن‌که تنها با ۲۰۰ میلیارد توکن آموزش دیده (شش‌برابر کمتر از Qwen2.5-Omni با ۱.۲ تریلیون توکن)، کارایی شگفت‌انگیزی نشان داده است — نتیجه‌ی معماری هوشمند و پردازش دقیق داده‌ها.
🧩 سه جزء کلیدی OmniVinci:
🔹Temporal Embedding Grouping (TEG)
نظم‌دهی به توکن‌های صوت و تصویر بر اساس زمان.
🔹Constrained Rotary Time Embedding (CRTE)
رمزگذاری دقیق زمان مطلق هر فریم.
🔹OmniAlignNet
هم‌ترازسازی توکن‌های ویدیو و صدا در یک فضای نهفته مشترک از طریق یادگیری کانتراستیوی.
📊 تست ابلیشن نشان داد هر جزء نقشی مهم دارد:
مدل پایه: 45.51
با TEG: +2.21 → 47.72
با CRTE: +4.74 → 50.25
با OmniAlignNet: +7.08 → 52.59 ✅
🧠 داده‌های آموزش:
۲۴ میلیون دیالوگ چندوجهی
با کمک LLM برای یکپارچه‌سازی توضیحات در قالب واحد
ترکیب داده‌ها:
۳۶٪ تصویر
۲۱٪ صدا
۱۷٪ گفتار
۱۵٪ داده‌های ترکیبی
۱۱٪ ویدیو
📈 نتایج بنچمارک:
Worldsense: 48.23 (در برابر 45.40 برای Qwen2.5-Omni)
DailyOmni: 66.50 (در برابر 47.45)
MMAR (وظایف صوتی): 58.40
MMAU: 71.60
LibriSpeech-clean (WER): فقط 1.7٪ 🔊
🧪 تست‌های صنعتی:
در کاربردهای واقعی نیز OmniVinci درخشید:
در تشخیص عیوب ویفرهای نیمه‌هادی به دقت 98.1٪ رسید — بالاتر از
مدل NVILA (97.6٪)
مدل VILA-40B (90.8٪)
⚙️ مجوز و منابع:
کد: Apache 2.0 License
مدل: NVIDIA One Way Noncommercial License
🟢 صفحه پروژه
🟢 مدل در HuggingFace
🟢 مقاله arXiv
🟢 کد منبع در GitHub
📢 #NVIDIA #OmniVinci #AI #Multimodal #DeepLearning #GenerativeAI
@asrgooyeshpardaz
huggingface.co
nvidia/omnivinci · Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
😍2🔥1🤝1
🧠 چارچوب تازه برای ارزیابی گفتار نقش‌آفرینانه: Speech-DRAME
پژوهشگران دانشگاه کارنگی ملون و تنسنت با همکاری شینجی واتانابه، چارچوبی نو با نام Speech-DRAME معرفی کرده‌اند؛ سامانه‌ای که همان کاری را برای گفتار انجام می‌دهد که HELM و MT-Bench برای مدل‌های متنی انجام دادند — یعنی ایجاد معیاری انسان‌محور و بازتولیدپذیر برای سنجش کیفیت گفتارهای نقش‌آفرین (Speech Role-Play).
🎯 ایده اصلی
ارزیابی سامانه‌های گفتاری نباید فقط بر پایه‌ی متن و دقت بازشناسی گفتار (ASR) انجام شود. مدل‌های داور فعلی، با اتکا بر معیارهای ارزیابی مانند WER، ظرافت‌هایی مانند لحن، احساس، آهنگ و هم‌خوانی نقش را درک نمی‌کنند.
چارچوب Speech-DRAME برای حل این مشکل، سه مؤلفه‌ی کلیدی ارائه کرده است: داده، مدل و بستر ارزیابی.
📚 ۱. مجموعه داده دو‌زبانه (Speech-DRAME-EvalBench)
این مجموعه شامل گفت‌وگوهای نقش‌آفرینانه‌ی واقعی به دو زبان انگلیسی و چینی است که توسط انسان ارزیابی شده‌اند. معیارهایی چون «واقع‌نمایی نقش»، «بیان احساسی» و «تناسب گفتار» در آن لحاظ شده است. این داده‌ها مبنای آموزش مدل‌های ارزیابی گفتار (Speech Evaluation Models) قرار می‌گیرند.
🤖 ۲. مدل ارزیابی DRAME-Eval
این مدل به‌صورت تنظیمی (Fine-tuned) آموزش دیده تا بتواند مانند داور انسانی، کیفیت گفتار را بسنجند.
نتایج نشان می‌دهد همبستگی آن با ارزیابی انسانی از حدود ۰٫۴۸ به ۰٫۶۳ در «ارزیابی نقش‌نمونه‌ای» و از ۰٫۳۹ به ۰٫۶۳ در «ارزیابی واقع‌گرایانه» افزایش یافته است — جهشی چشمگیر در هم‌خوانی با درک انسان.
🎭 ۳. بستر مقایسه‌ای (Speech-DRAME-RoleBench)
در این بستر، مدل DRAME-Eval نقش داور خودکار را ایفا می‌کند تا بتوان عملکرد مدل‌های بنیادی گفتار (Speech Foundation Models) مانند VALL-E-X، CosyVoice و GPT-4o-audio را در سناریوهای واقعی گفتار نقش‌آفرین (Speech Role-Play) مقایسه کرد.
🔍 دو شیوه ارزیابی
1️⃣ ارزیابی نقش‌نمونه‌ای (Archetype Evaluation): سنجش میزان انطباق گفتار با نقش‌های عمومی مانند «پزشک»، «معلم» یا «دوست».
2️⃣ ارزیابی واقع‌گرایانه (Realism Evaluation): بررسی طبیعی بودن، خودانگیختگی و ظرافت احساسی بر پایه‌ی گفتارهای انسانی واقعی.
⚙️ ویژگی‌های فنی برجسته
🔸ارزیابی مستقیم سیگنال صوتی بدون اتکا به متن.
🔸استفاده از ویژگی‌های فرازبانی مانند زیر و بمی، شدت و آهنگ گفتار.
🔸آموزش دو‌زبانه برای درک تفاوت‌های فرهنگی در بیان احساس.
🔸انتشار عمومی داده، کد و دستورالعمل برای بازتولید نتایج.
💡 اهمیت پژوهش
چارچوب Speech-DRAME گامی بزرگ به سوی ارزیابی واقع‌گرایانه و انسان‌محور در مدل‌های گفتاری است.
با گسترش مدل‌هایی چون GPT-4o، WhisperSpeech و Qwen-Audio-VL، اهمیت چنین چارچوب‌هایی دوچندان می‌شود.
در حقیقت، این پژوهش ما را از سنجش درستی زبانی به‌سوی سنجش کیفیت ارتباط انسانی سوق می‌دهد — یعنی اینکه هوش مصنوعی فقط چه می‌گوید مهم نیست، بلکه چگونه می‌گوید نیز معیار سنجش خواهد بود.
📎 مشاهده کد و داده در GitHub
📄 مطالعه مقاله در arXiv
#SpeechDRAME #AI #Speech #Evaluation #RolePlay #Multimodal #LLM #VoiceAI
@asrgooyeshpardaz
پژوهشگران دانشگاه کارنگی ملون و تنسنت با همکاری شینجی واتانابه، چارچوبی نو با نام Speech-DRAME معرفی کرده‌اند؛ سامانه‌ای که همان کاری را برای گفتار انجام می‌دهد که HELM و MT-Bench برای مدل‌های متنی انجام دادند — یعنی ایجاد معیاری انسان‌محور و بازتولیدپذیر برای سنجش کیفیت گفتارهای نقش‌آفرین (Speech Role-Play).
🎯 ایده اصلی
ارزیابی سامانه‌های گفتاری نباید فقط بر پایه‌ی متن و دقت بازشناسی گفتار (ASR) انجام شود. مدل‌های داور فعلی، با اتکا بر معیارهای ارزیابی مانند WER، ظرافت‌هایی مانند لحن، احساس، آهنگ و هم‌خوانی نقش را درک نمی‌کنند.
چارچوب Speech-DRAME برای حل این مشکل، سه مؤلفه‌ی کلیدی ارائه کرده است: داده، مدل و بستر ارزیابی.
📚 ۱. مجموعه داده دو‌زبانه (Speech-DRAME-EvalBench)
این مجموعه شامل گفت‌وگوهای نقش‌آفرینانه‌ی واقعی به دو زبان انگلیسی و چینی است که توسط انسان ارزیابی شده‌اند. معیارهایی چون «واقع‌نمایی نقش»، «بیان احساسی» و «تناسب گفتار» در آن لحاظ شده است. این داده‌ها مبنای آموزش مدل‌های ارزیابی گفتار (Speech Evaluation Models) قرار می‌گیرند.
🤖 ۲. مدل ارزیابی DRAME-Eval
این مدل به‌صورت تنظیمی (Fine-tuned) آموزش دیده تا بتواند مانند داور انسانی، کیفیت گفتار را بسنجند.
نتایج نشان می‌دهد همبستگی آن با ارزیابی انسانی از حدود ۰٫۴۸ به ۰٫۶۳ در «ارزیابی نقش‌نمونه‌ای» و از ۰٫۳۹ به ۰٫۶۳ در «ارزیابی واقع‌گرایانه» افزایش یافته است — جهشی چشمگیر در هم‌خوانی با درک انسان.
🎭 ۳. بستر مقایسه‌ای (Speech-DRAME-RoleBench)
در این بستر، مدل DRAME-Eval نقش داور خودکار را ایفا می‌کند تا بتوان عملکرد مدل‌های بنیادی گفتار (Speech Foundation Models) مانند VALL-E-X، CosyVoice و GPT-4o-audio را در سناریوهای واقعی گفتار نقش‌آفرین (Speech Role-Play) مقایسه کرد.
🔍 دو شیوه ارزیابی
1️⃣ ارزیابی نقش‌نمونه‌ای (Archetype Evaluation): سنجش میزان انطباق گفتار با نقش‌های عمومی مانند «پزشک»، «معلم» یا «دوست».
2️⃣ ارزیابی واقع‌گرایانه (Realism Evaluation): بررسی طبیعی بودن، خودانگیختگی و ظرافت احساسی بر پایه‌ی گفتارهای انسانی واقعی.
⚙️ ویژگی‌های فنی برجسته
🔸ارزیابی مستقیم سیگنال صوتی بدون اتکا به متن.
🔸استفاده از ویژگی‌های فرازبانی مانند زیر و بمی، شدت و آهنگ گفتار.
🔸آموزش دو‌زبانه برای درک تفاوت‌های فرهنگی در بیان احساس.
🔸انتشار عمومی داده، کد و دستورالعمل برای بازتولید نتایج.
💡 اهمیت پژوهش
چارچوب Speech-DRAME گامی بزرگ به سوی ارزیابی واقع‌گرایانه و انسان‌محور در مدل‌های گفتاری است.
با گسترش مدل‌هایی چون GPT-4o، WhisperSpeech و Qwen-Audio-VL، اهمیت چنین چارچوب‌هایی دوچندان می‌شود.
در حقیقت، این پژوهش ما را از سنجش درستی زبانی به‌سوی سنجش کیفیت ارتباط انسانی سوق می‌دهد — یعنی اینکه هوش مصنوعی فقط چه می‌گوید مهم نیست، بلکه چگونه می‌گوید نیز معیار سنجش خواهد بود.
📎 مشاهده کد و داده در GitHub
📄 مطالعه مقاله در arXiv
#SpeechDRAME #AI #Speech #Evaluation #RolePlay #Multimodal #LLM #VoiceAI
@asrgooyeshpardaz
❤2✍1🔥1
🧠 جمینی دو مسئله تقریباً غیرممکن برای هوش مصنوعی را حل کرد!
یک پژوهشگر، نسخه جدید Gemini 3.0 Pro (در AI Studio) را آزمایش کرده و به نتایج شگفت‌انگیزی رسیده است:
✍️ مدل در تشخیص دست‌خط انسانی به سطح متخصص رسیده است.
💡 توانایی تفکر انتزاعی نشان داده — مثلاً بدون هیچ راهنمایی، نرخ تبدیل ارز در قرن هجدهم را محاسبه کرده است!
اگر این نتایج تأیید شوند، نشان می‌دهد مدل‌های چندوجهی بزرگ (Multimodal) از صرفاً تشخیص الگو فراتر می‌روند و به مرحله‌ی درک واقعی از متن و زمینه نزدیک می‌شوند.
📚 این مقاله یکی از جالب‌ترین نمونه‌های نزدیک‌شدن هوش مصنوعی به سطح جدیدی از فهم انسانی است.
🔗 منبع در Substack
#Gemini #AI #Multimodal #Google
@asrgooyeshpardaz
یک پژوهشگر، نسخه جدید Gemini 3.0 Pro (در AI Studio) را آزمایش کرده و به نتایج شگفت‌انگیزی رسیده است:
✍️ مدل در تشخیص دست‌خط انسانی به سطح متخصص رسیده است.
💡 توانایی تفکر انتزاعی نشان داده — مثلاً بدون هیچ راهنمایی، نرخ تبدیل ارز در قرن هجدهم را محاسبه کرده است!
اگر این نتایج تأیید شوند، نشان می‌دهد مدل‌های چندوجهی بزرگ (Multimodal) از صرفاً تشخیص الگو فراتر می‌روند و به مرحله‌ی درک واقعی از متن و زمینه نزدیک می‌شوند.
«اگر چنین رفتاری پایدار و قابل تکرار باشد، شاید لازم نباشد برای تفکر از قوانین و ساختارهای نمادین از پیش تعیین‌شده استفاده کنیم؛
بلکه مقیاس، چندوجهی‌بودن و تجربه‌ی ساختاریافته‌ی پیچیده کافی باشد.»
📚 این مقاله یکی از جالب‌ترین نمونه‌های نزدیک‌شدن هوش مصنوعی به سطح جدیدی از فهم انسانی است.
🔗 منبع در Substack
#Gemini #AI #Multimodal #Google
@asrgooyeshpardaz
Substack
Has Google Quietly Solved Two of AI’s Oldest Problems?
A mysterious new model currently in testing on Google’s AI Studio is nearly perfect on automated handwriting recognition but it is also showing signs of spontaneous, abstract, symbolic reasoning.
❤4👏3👍2✍1🔥1
🚀 گوگل از Gemma 4 12B Unified رونمایی کرد؛
یک مدل متن‌باز چندوجهی که بدون نیاز به رمزگذارهای جداگانه، متن، تصویر، صدا و ویدئو را به‌صورت یکپارچه پردازش می‌کند.
این مدل که توسط deepmind.google توسعه یافته، گام مهمی در نزدیک‌تر شدن مدل‌های متن‌باز به توانایی‌های مدل‌های پرچمدار تجاری محسوب می‌شود.
🔹 مشخصات فنی
• ۱۲ میلیارد پارامتر با معماری Dense
• پنجره زمینه (Context Window) تا ۲۵۶ هزار توکن
• پشتیبانی بومی از ورودی‌های چندوجهی:
صوت (تشخیص گفتار و ترجمه تا ۳۰ ثانیه)
ویدئو (تا ۶۰ ثانیه) تصاویر با رزولوشن متغیر
• مجهز به قابلیت «استدلال مرحله‌به‌مرحله» (Reasoning)
• پشتیبانی از System Prompt و Function Calling
• آموزش‌دیده روی بیش از ۱۴۰ زبان
📊 عملکرد در بنچمارک‌ها
• MMLU Pro: 77.2٪
• AIME 2026: 77.5٪
• LiveCodeBench v6: 72.0٪
• GPQA Diamond: 78.8٪
• MMMU Pro (بینایی): 69.1٪
💡 چرا Gemma 4 12B Unified ؟
✅ اجرای محلی روی GPUهای مصرفی و حتی برخی لپ‌تاپ‌ها
✅ انتشار نسخه‌های GGUF برای اجرای بهینه در ابزارهای متن‌باز
✅ امکان Fine-Tuning و سفارشی‌سازی برای کاربردهای سازمانی
✅ بهره‌گیری از مکانیزم‌های ایمنی و هم‌راستاسازی مشابه خانواده Gemini
✅ یکی از معدود مدل‌های متن‌باز که چندوجهی بودن را به‌صورت واقعی و یکپارچه ارائه می‌کند
🎯 نکته مهم این است که گوگل تلاش کرده معماری چندوجهی را در یک مدل واحد ادغام کند؛ رویکردی که می‌تواند هزینه توسعه و استقرار سامانه‌های هوش مصنوعی چندرسانه‌ای را به‌طور قابل‌توجهی کاهش دهد و مسیر ساخت دستیارهای هوشمند محلی و سازمانی را هموارتر کند.
🔗 صفحه مدل:
https://huggingface.co/google/gemma-4-12B-it
#هوش_مصنوعی #AI #Google #DeepMind #Gemma #LLM #Multimodal #OpenSource
🆔 @asrgooyeshpardaz
یک مدل متن‌باز چندوجهی که بدون نیاز به رمزگذارهای جداگانه، متن، تصویر، صدا و ویدئو را به‌صورت یکپارچه پردازش می‌کند.
این مدل که توسط deepmind.google توسعه یافته، گام مهمی در نزدیک‌تر شدن مدل‌های متن‌باز به توانایی‌های مدل‌های پرچمدار تجاری محسوب می‌شود.
🔹 مشخصات فنی
• ۱۲ میلیارد پارامتر با معماری Dense
• پنجره زمینه (Context Window) تا ۲۵۶ هزار توکن
• پشتیبانی بومی از ورودی‌های چندوجهی:
صوت (تشخیص گفتار و ترجمه تا ۳۰ ثانیه)
ویدئو (تا ۶۰ ثانیه) تصاویر با رزولوشن متغیر
• مجهز به قابلیت «استدلال مرحله‌به‌مرحله» (Reasoning)
• پشتیبانی از System Prompt و Function Calling
• آموزش‌دیده روی بیش از ۱۴۰ زبان
📊 عملکرد در بنچمارک‌ها
• MMLU Pro: 77.2٪
• AIME 2026: 77.5٪
• LiveCodeBench v6: 72.0٪
• GPQA Diamond: 78.8٪
• MMMU Pro (بینایی): 69.1٪
💡 چرا Gemma 4 12B Unified ؟
✅ اجرای محلی روی GPUهای مصرفی و حتی برخی لپ‌تاپ‌ها
✅ انتشار نسخه‌های GGUF برای اجرای بهینه در ابزارهای متن‌باز
✅ امکان Fine-Tuning و سفارشی‌سازی برای کاربردهای سازمانی
✅ بهره‌گیری از مکانیزم‌های ایمنی و هم‌راستاسازی مشابه خانواده Gemini
✅ یکی از معدود مدل‌های متن‌باز که چندوجهی بودن را به‌صورت واقعی و یکپارچه ارائه می‌کند
🎯 نکته مهم این است که گوگل تلاش کرده معماری چندوجهی را در یک مدل واحد ادغام کند؛ رویکردی که می‌تواند هزینه توسعه و استقرار سامانه‌های هوش مصنوعی چندرسانه‌ای را به‌طور قابل‌توجهی کاهش دهد و مسیر ساخت دستیارهای هوشمند محلی و سازمانی را هموارتر کند.
🔗 صفحه مدل:
https://huggingface.co/google/gemma-4-12B-it
#هوش_مصنوعی #AI #Google #DeepMind #Gemma #LLM #Multimodal #OpenSource
🆔 @asrgooyeshpardaz
❤4👍1
🚀 مدل Qwen3.8-Omni-Flash: نسل جدید عامل‌های چندوجهی
شرکت Qwen (علی‌بابا) مدل Qwen3.8-Omni-Flash را معرفی کرده است؛ یک مدل بومی و کاملاً چندوجهی (Omnimodal) که از «فهم محتوا» به «برنامه‌ریزی وظایف و اجرای آن‌ها» رسیده است. 🎯
📋 مشخصات کلیدی:
📥 ورودی: متن، تصویر، صدا و ویدیو
📏 زمینه: ۱ میلیون توکن
📈 رشد در ۲۹ بنچمارک: بیش از ۲۵٪ نسبت به نسل قبل
💰 کاهش قیمت: صدا بیش از ۹۸٪، ویدیو بیش از ۹۳٪
🎬 این مدل چه کارهایی می‌تواند انجام دهد؟
۱. ویرایش ویدیو: مونتاژ خودکار، ساخت موزیک ویدیو (Music2MV) با هم‌زمان‌سازی متن، صدا و تصویر، ترجمه سریال‌ها با حفظ صدای گوینده اصلی و دوبله فیلم‌ها.
۲. درک جلسات طولانی: جداسازی گویندگان، تهیه صورت‌جلسه و استخراج وظایف از ضبط‌های طولانی جلسات.
۳. جستجوی عاملی در ویدیو: دقت ۶۷.۸٪ با ۴۵.۷٪ مصرف کمتر توکن. این یعنی به‌جای پردازش کل ویدیو، مدل مثل یک جستجوگر عمل می‌کند و فقط بخش‌های مرتبط را می‌خواند.
🗣 پشتیبانی از ۷۴ زبان و ۳۹ گویش چینی
🎵قابلیت Music2MV: هماهنگ‌سازی خودکار متن، صدا و تصویر برای ساخت موزیک ویدیو.
🧭مدل Qwen3.8-Omni-Flash-Realtime:
نسخه بلادرنگ این مدل که قابلیت تشخیص صدای فضایی دارد؛ یعنی می‌تواند جهت صدا را تشخیص دهد. این ویژگی برای مکالمات زنده و ناوبری مناسب است. کاربردهای آن شامل تمرین مکالمه زبان، درک موقعیت مکانی صدا و پشتیبانی مشتری هوشمند می‌شود.
📊 جزئیات فنی:
🔸 بنچمارک‌های عاملی: WildClawBench-MM (رشد ۳۶.۵ امتیاز)، AgenticVBench (رشد ۲۲.۳ امتیاز)، UniClawBench (امتیاز ۶۹.۶).
🔸 درک صدای طولانی: LongAudioSpan رشد ۸.۳ امتیاز.
🔸 درک ویدیو: OmniVideoBench رشد ۹.۶ امتیاز.
🔸 تشخیص گویندگان: در AliMeeting، نرخ خطای DER از ۸۸.۱۱ به ۳.۳۵ و cpWER از ۸۹.۶۱ به ۱۷.۱۸ کاهش یافته است.
🔸 عملکرد: توانایی صوتی و تصویری این مدل به Gemini 3.8 Flash نزدیک شده و توانایی صوتی آن از آن فراتر رفته است.
💰 قیمت‌گذاری (به ازای هر ۱ میلیون توکن):
🔸 ورودی: ۰.۱۵ دلار
🔸 خروجی: ۰.۴۷ دلار
🔸 ورودی کش‌شده: ۰.۰۱۶ دلار
🔗 لینک: Qwen Blog
#AI #Qwen #Omni #Multimodal
🆔 @asrgooyeshpardaz
شرکت Qwen (علی‌بابا) مدل Qwen3.8-Omni-Flash را معرفی کرده است؛ یک مدل بومی و کاملاً چندوجهی (Omnimodal) که از «فهم محتوا» به «برنامه‌ریزی وظایف و اجرای آن‌ها» رسیده است. 🎯
📋 مشخصات کلیدی:
📥 ورودی: متن، تصویر، صدا و ویدیو
📏 زمینه: ۱ میلیون توکن
📈 رشد در ۲۹ بنچمارک: بیش از ۲۵٪ نسبت به نسل قبل
💰 کاهش قیمت: صدا بیش از ۹۸٪، ویدیو بیش از ۹۳٪
🎬 این مدل چه کارهایی می‌تواند انجام دهد؟
۱. ویرایش ویدیو: مونتاژ خودکار، ساخت موزیک ویدیو (Music2MV) با هم‌زمان‌سازی متن، صدا و تصویر، ترجمه سریال‌ها با حفظ صدای گوینده اصلی و دوبله فیلم‌ها.
۲. درک جلسات طولانی: جداسازی گویندگان، تهیه صورت‌جلسه و استخراج وظایف از ضبط‌های طولانی جلسات.
۳. جستجوی عاملی در ویدیو: دقت ۶۷.۸٪ با ۴۵.۷٪ مصرف کمتر توکن. این یعنی به‌جای پردازش کل ویدیو، مدل مثل یک جستجوگر عمل می‌کند و فقط بخش‌های مرتبط را می‌خواند.
🗣 پشتیبانی از ۷۴ زبان و ۳۹ گویش چینی
🎵قابلیت Music2MV: هماهنگ‌سازی خودکار متن، صدا و تصویر برای ساخت موزیک ویدیو.
🧭مدل Qwen3.8-Omni-Flash-Realtime:
نسخه بلادرنگ این مدل که قابلیت تشخیص صدای فضایی دارد؛ یعنی می‌تواند جهت صدا را تشخیص دهد. این ویژگی برای مکالمات زنده و ناوبری مناسب است. کاربردهای آن شامل تمرین مکالمه زبان، درک موقعیت مکانی صدا و پشتیبانی مشتری هوشمند می‌شود.
📊 جزئیات فنی:
🔸 بنچمارک‌های عاملی: WildClawBench-MM (رشد ۳۶.۵ امتیاز)، AgenticVBench (رشد ۲۲.۳ امتیاز)، UniClawBench (امتیاز ۶۹.۶).
🔸 درک صدای طولانی: LongAudioSpan رشد ۸.۳ امتیاز.
🔸 درک ویدیو: OmniVideoBench رشد ۹.۶ امتیاز.
🔸 تشخیص گویندگان: در AliMeeting، نرخ خطای DER از ۸۸.۱۱ به ۳.۳۵ و cpWER از ۸۹.۶۱ به ۱۷.۱۸ کاهش یافته است.
🔸 عملکرد: توانایی صوتی و تصویری این مدل به Gemini 3.8 Flash نزدیک شده و توانایی صوتی آن از آن فراتر رفته است.
💰 قیمت‌گذاری (به ازای هر ۱ میلیون توکن):
🔸 ورودی: ۰.۱۵ دلار
🔸 خروجی: ۰.۴۷ دلار
🔸 ورودی کش‌شده: ۰.۰۱۶ دلار
🔗 لینک: Qwen Blog
#AI #Qwen #Omni #Multimodal
🆔 @asrgooyeshpardaz
qwen.ai
Qwen offers comprehensive functionality spanning chatbot, image and video understanding, image generation, document processing, web search integration, tool utilization, and artifacts.
❤3
🖼️ شرکت NVIDIA مدل چندوجهی Nemotron 3.5 Super VL را منتشر کرد
شرکت NVIDIA از جدیدترین عضو خانواده Nemotron رونمایی کرده است: مدلی چندوجهی با وزن‌های باز که متن، تصویر و ویدیوهایی تا دو دقیقه را درک می‌کند. این مدل برای عامل‌هایی طراحی شده که به‌طور مداوم کار می‌کنند، دستورالعمل‌ها را دنبال می‌کنند، ابزار فراخوانی می‌کنند و فرآیندهای چندمرحله‌ای را پیش می‌برند.
⚙️ مشخصات کلیدی
· معماری: ترکیب متخصصان (MoE) با ۱۲۰ میلیارد پارامتر کل و ۱۲ میلیارد پارامتر فعال
· تمرکز بصری: اسناد، تشخیص متن (OCR)، جدول‌ها، نمودارها، صفحات وب و PDF
· حالت استدلال: قابل روشن و خاموش کردن از طریق قالب چت، به‌همراه یک حالت میانی با عمق متوسط
· زیرساخت: بخش زبانی بر پایه ترکیبی از لایه‌های Mamba-2 و ترنسفورمر با MoE ساخته شده که در هر لایه ۵۱۲ متخصص دارد
· رمزگذار تصویر: C-RADIO
· سرعت: استفاده از رمزگشایی спекулятив (Speculative Decoding) برای تسریع تولید
📦 نسخه فشرده: Nemotron 3.5 Bolt 74B-A9B
هم‌زمان با نسخه کامل، یک نسخه سبک‌تر نیز منتشر شده است:
· تعداد و عرض متخصصان در هر لایه کاهش یافته، بنابراین پارامترها به ۷۴ میلیارد (کل) و ۹ میلیارد (فعال) رسیده است
· مدل پس از کوچک‌سازی، دوباره آموزش دیده تا کیفیت از دست رفته بازگردد
· وزن متخصصان تا ۲ بیت کوانتیزه شده، اما سایر لایه‌ها دقت بالاتری دارند
· در نهایت، Bolt در ۲۴ گیگابایت حافظه VRAM جای می‌گیرد
📊 نتایج بنچمارک‌ها
در مقایسه با نزدیک‌ترین رقیب هم‌اندازه، یعنی Qwen3.5-122B-A10B، نتایج تقریباً برابر است:
· GPQA-Diamond:
۸۹.۵ در مقابل ۸۶.۷
· SWE-bench Verified:
۷۱.۱ در مقابل ۷۱.۹
· OSWorld-Verified:
۵۱.۱ در مقابل ۵۱.۵
· OCRBench v2:
۶۸.۱ در مقابل ۶۸.۳
اما مدل‌های جدیدتر مثل Qwen3.8-Flash-Next و GLM-5.3-Flash در بیشتر آزمون‌ها از Nemotron جلو می‌زنند. برای مثال در Terminal-Bench 2.1، آن‌ها به‌ترتیب ۸۵.۸ و ۸۲.۷ گرفته‌اند، در حالی که Nemotron فقط ۶۶.۷ کسب کرده است.
💰 دسترسی و قیمت
این مدل در OpenRouter با قیمت ۱۵ سنت به ازای هر میلیون توکن ورودی و ۵۰ سنت برای هر میلیون توکن خروجی در دسترس است. همچنین از طریق ModelScope و میکروسرویس‌های NVIDIA NIM قابل استفاده است.
برای اجرای نسخه کامل، NVIDIA استفاده از چهار H100 یا دو GB200 را توصیه می‌کند.
📌 مجوز: OpenMDW-1.1
🔗 وبلاگ | وزن‌ها | گزارش فنی
#هوش_مصنوعی #NVIDIA #Nemotron #مدل_چندوجهی #Multimodal
🆔 @asrgooyeshpardaz
شرکت NVIDIA از جدیدترین عضو خانواده Nemotron رونمایی کرده است: مدلی چندوجهی با وزن‌های باز که متن، تصویر و ویدیوهایی تا دو دقیقه را درک می‌کند. این مدل برای عامل‌هایی طراحی شده که به‌طور مداوم کار می‌کنند، دستورالعمل‌ها را دنبال می‌کنند، ابزار فراخوانی می‌کنند و فرآیندهای چندمرحله‌ای را پیش می‌برند.
⚙️ مشخصات کلیدی
· معماری: ترکیب متخصصان (MoE) با ۱۲۰ میلیارد پارامتر کل و ۱۲ میلیارد پارامتر فعال
· تمرکز بصری: اسناد، تشخیص متن (OCR)، جدول‌ها، نمودارها، صفحات وب و PDF
· حالت استدلال: قابل روشن و خاموش کردن از طریق قالب چت، به‌همراه یک حالت میانی با عمق متوسط
· زیرساخت: بخش زبانی بر پایه ترکیبی از لایه‌های Mamba-2 و ترنسفورمر با MoE ساخته شده که در هر لایه ۵۱۲ متخصص دارد
· رمزگذار تصویر: C-RADIO
· سرعت: استفاده از رمزگشایی спекулятив (Speculative Decoding) برای تسریع تولید
📦 نسخه فشرده: Nemotron 3.5 Bolt 74B-A9B
هم‌زمان با نسخه کامل، یک نسخه سبک‌تر نیز منتشر شده است:
· تعداد و عرض متخصصان در هر لایه کاهش یافته، بنابراین پارامترها به ۷۴ میلیارد (کل) و ۹ میلیارد (فعال) رسیده است
· مدل پس از کوچک‌سازی، دوباره آموزش دیده تا کیفیت از دست رفته بازگردد
· وزن متخصصان تا ۲ بیت کوانتیزه شده، اما سایر لایه‌ها دقت بالاتری دارند
· در نهایت، Bolt در ۲۴ گیگابایت حافظه VRAM جای می‌گیرد
📊 نتایج بنچمارک‌ها
در مقایسه با نزدیک‌ترین رقیب هم‌اندازه، یعنی Qwen3.5-122B-A10B، نتایج تقریباً برابر است:
· GPQA-Diamond:
۸۹.۵ در مقابل ۸۶.۷
· SWE-bench Verified:
۷۱.۱ در مقابل ۷۱.۹
· OSWorld-Verified:
۵۱.۱ در مقابل ۵۱.۵
· OCRBench v2:
۶۸.۱ در مقابل ۶۸.۳
اما مدل‌های جدیدتر مثل Qwen3.8-Flash-Next و GLM-5.3-Flash در بیشتر آزمون‌ها از Nemotron جلو می‌زنند. برای مثال در Terminal-Bench 2.1، آن‌ها به‌ترتیب ۸۵.۸ و ۸۲.۷ گرفته‌اند، در حالی که Nemotron فقط ۶۶.۷ کسب کرده است.
💰 دسترسی و قیمت
این مدل در OpenRouter با قیمت ۱۵ سنت به ازای هر میلیون توکن ورودی و ۵۰ سنت برای هر میلیون توکن خروجی در دسترس است. همچنین از طریق ModelScope و میکروسرویس‌های NVIDIA NIM قابل استفاده است.
برای اجرای نسخه کامل، NVIDIA استفاده از چهار H100 یا دو GB200 را توصیه می‌کند.
📌 مجوز: OpenMDW-1.1
🔗 وبلاگ | وزن‌ها | گزارش فنی
#هوش_مصنوعی #NVIDIA #Nemotron #مدل_چندوجهی #Multimodal
🆔 @asrgooyeshpardaz
❤1