🤖 معرفی بنچمارک BabelArena برای ارزیابی ایجنت‌های هوش مصنوعی
تیم Qwen بنچمارک BabelArena را برای سنجش عملکرد ایجنت‌های هوش مصنوعی در ۲۳ زبان مختلف منتشر کرد. این ابزار، برخلاف روش‌های معمول، علاوه بر پرسش کاربر، دستورالعمل‌ها، توصیف ابزارها و محیط کاری را نیز به زبان مقصد ترجمه می‌کند تا امکان مقایسه دقیق‌تر وظایف در زبان‌های مختلف فراهم شود.
بر اساس نتایج این تحقیق، مهم‌ترین نکات عبارتند از:
- هیچ مدل واحدی در تمامی زبان‌ها و حوزه‌ها برتر نیست.
- در زبان‌هایی با داده‌های آموزشی کمتر، نرخ خطا در فراخوانی ابزارها و ترتیب اقدامات افزایش می‌یابد.
- حجم توکن‌های ورودی در زبان‌های غیرانگلیسی معمولاً دو برابر است، بدون اینکه تعداد گام‌های اجرایی افزایش یابد.
- هنگام خروجی‌های ساختاریافته، ایجنت‌ها تمایل دارند از زبان مقصد خارج شده و به انگلیسی بازگردند.
🔗 جزئیات خبر در سایت
#BabelArena #Runtime_Data_Flow_Analysis
تیم Qwen بنچمارک BabelArena را برای سنجش عملکرد ایجنت‌های هوش مصنوعی در ۲۳ زبان مختلف منتشر کرد. این ابزار، برخلاف روش‌های معمول، علاوه بر پرسش کاربر، دستورالعمل‌ها، توصیف ابزارها و محیط کاری را نیز به زبان مقصد ترجمه می‌کند تا امکان مقایسه دقیق‌تر وظایف در زبان‌های مختلف فراهم شود.
بر اساس نتایج این تحقیق، مهم‌ترین نکات عبارتند از:
- هیچ مدل واحدی در تمامی زبان‌ها و حوزه‌ها برتر نیست.
- در زبان‌هایی با داده‌های آموزشی کمتر، نرخ خطا در فراخوانی ابزارها و ترتیب اقدامات افزایش می‌یابد.
- حجم توکن‌های ورودی در زبان‌های غیرانگلیسی معمولاً دو برابر است، بدون اینکه تعداد گام‌های اجرایی افزایش یابد.
- هنگام خروجی‌های ساختاریافته، ایجنت‌ها تمایل دارند از زبان مقصد خارج شده و به انگلیسی بازگردند.
🔗 جزئیات خبر در سایت
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#BabelArena #Runtime_Data_Flow_Analysis