🤖 معرفی Qwen-CUA: عامل هوشمند تعامل با محیط گرافیکی
🚀 تیم Qwen و آزمایشگاه XLang از مدل جدیدی به نام Qwen-CUA رونمایی کردند که یک عامل (Agent) تخصصی برای تعامل بومی با رایانه است. در حالی که مدل‌های فعلی در کدنویسی و استفاده از API بسیار توانمند هستند، این مدل شکاف موجود در کار با محیط‌های گرافیکی (GUI) را هدف قرار داده است.
👀 ویژگی کلیدی این مدل، ادراک بومی از طریق تحلیل اسکرین‌شات‌ها است و برخلاف روش‌های سنتی، نیازی به دسترسی به DOM یا درخت دسترسی ندارد. این عامل با استفاده از رویدادهای استاندارد کیبورد و ماوس، می‌تواند در مرورگرها و نرم‌افزارهای پیچیده دسکتاپ به‌صورت مستقل فعالیت کند.
🧠 سیستم Native Intelligence در این مدل با حفظ حافظه بصری بلندمدت، پیشرفت تسک‌ها را بررسی کرده و از تجربیات تعاملی بزرگ‌مقیاس یاد می‌گیرد. برای آموزش این مدل، حدود ۴۰ هزار تسک قابل‌سنجش ایجاد شده و از زیرساختی با نزدیک به ۱۰۰ هزار هسته مجازی برای اجرای همزمان محیط‌ها استفاده شده است.
#Qwen_CUA #Native_Interaction
🚀 تیم Qwen و آزمایشگاه XLang از مدل جدیدی به نام Qwen-CUA رونمایی کردند که یک عامل (Agent) تخصصی برای تعامل بومی با رایانه است. در حالی که مدل‌های فعلی در کدنویسی و استفاده از API بسیار توانمند هستند، این مدل شکاف موجود در کار با محیط‌های گرافیکی (GUI) را هدف قرار داده است.
👀 ویژگی کلیدی این مدل، ادراک بومی از طریق تحلیل اسکرین‌شات‌ها است و برخلاف روش‌های سنتی، نیازی به دسترسی به DOM یا درخت دسترسی ندارد. این عامل با استفاده از رویدادهای استاندارد کیبورد و ماوس، می‌تواند در مرورگرها و نرم‌افزارهای پیچیده دسکتاپ به‌صورت مستقل فعالیت کند.
🧠 سیستم Native Intelligence در این مدل با حفظ حافظه بصری بلندمدت، پیشرفت تسک‌ها را بررسی کرده و از تجربیات تعاملی بزرگ‌مقیاس یاد می‌گیرد. برای آموزش این مدل، حدود ۴۰ هزار تسک قابل‌سنجش ایجاد شده و از زیرساختی با نزدیک به ۱۰۰ هزار هسته مجازی برای اجرای همزمان محیط‌ها استفاده شده است.
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما
#Qwen_CUA #Native_Interaction
🖥 هوش مصنوعی با درک رابط کاربری
مدل جدید Qwen-CUA نشان می‌دهد که یک ایجنت هوشمند برای تعامل با کامپیوتر نیازی به دسترسی به DOM، API اختصاصی یا کدهای زیرساختی ندارد. این ایجنت دقیقاً مانند یک انسان، تنها با مشاهده تصویر صفحه و استفاده از ماوس و کیبورد، برنامه‌ها را کنترل می‌کند.
این رویکرد که «اسکرین‌شات» را به یک API جهانی برای ایجنت‌ها تبدیل می‌کند، پیچیدگی‌های اتصال به ابزارهای مختلف را از بین می‌برد.
مهم‌ترین ویژگی‌ها و نتایج این مدل:
• مدیریت چالش‌های طولانی‌مدت با استفاده از حافظه بصری (ذخیره ۲۰ اسکرین‌متر آخر و فشرده‌سازی تاریخچه).
• دستیابی به امتیاز ۸۶.۲ در OSWorld-Verified.
• آموزش‌دیده بر پایه ۴۰ هزار وظیفه قابل‌راستی‌آزمایی و استفاده از ۱۰۰ هزار هسته مجازی.
بزرگترین چالش فعلی همچنان انجام وظایف طولانی است که در آن‌ها یک خطای کوچک در ابتدای مسیر می‌تواند کل پروسه را مختل کند. با این حال، انتقال از وابستگی به کد به سمت «درک بصری»، گامی بزرگ در توسعه ایجنت‌های خودمختار محسوب می‌شود.
مدل جدید Qwen-CUA نشان می‌دهد که یک ایجنت هوشمند برای تعامل با کامپیوتر نیازی به دسترسی به DOM، API اختصاصی یا کدهای زیرساختی ندارد. این ایجنت دقیقاً مانند یک انسان، تنها با مشاهده تصویر صفحه و استفاده از ماوس و کیبورد، برنامه‌ها را کنترل می‌کند.
این رویکرد که «اسکرین‌شات» را به یک API جهانی برای ایجنت‌ها تبدیل می‌کند، پیچیدگی‌های اتصال به ابزارهای مختلف را از بین می‌برد.
مهم‌ترین ویژگی‌ها و نتایج این مدل:
• مدیریت چالش‌های طولانی‌مدت با استفاده از حافظه بصری (ذخیره ۲۰ اسکرین‌متر آخر و فشرده‌سازی تاریخچه).
• دستیابی به امتیاز ۸۶.۲ در OSWorld-Verified.
• آموزش‌دیده بر پایه ۴۰ هزار وظیفه قابل‌راستی‌آزمایی و استفاده از ۱۰۰ هزار هسته مجازی.
بزرگترین چالش فعلی همچنان انجام وظایف طولانی است که در آن‌ها یک خطای کوچک در ابتدای مسیر می‌تواند کل پروسه را مختل کند. با این حال، انتقال از وابستگی به کد به سمت «درک بصری»، گامی بزرگ در توسعه ایجنت‌های خودمختار محسوب می‌شود.
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی#Qwen_CUA #OSWorld
📩 ارتباط با ما