‏📉 چرا هوش مصنوعی در کارهای طولانی شکست می‌خورد؟

‏تحقیقات جدید مهندسان مایکروسافت نشان می‌دهد که مدل‌های هوش مصنوعی در بنچمارک‌های کوتاه بسیار درخشان ظاهر می‌شوند، اما در وظایف چندمرحله‌ای (Multi-step) با افت شدید عملکرد مواجه هستند. با افزایش تعداد مراحل وابسته، نرخ موفقیت مدل‌ها از نزدیک ۱۰۰ درصد به نزدیک صفر سقوط می‌کند.

‏مهم‌ترین یافته‌های این پژوهش:
‏* دلیل اصلی شکست، «طولانی بودن مسیر» است و نه محدودیت پنجره متن؛ اتفاقاً محدود کردن متن باعث گم‌گشتگی بیشتر مدل می‌شود.
‏* موفقیت عامل‌ها از یک «قانون هندسی» پیروی می‌کند؛ یعنی کوچک‌ترین خطا در یک مرحله، کل زنجیره عملیات را دچار فروپاشی می‌کند.
‏* ارزیابی‌های فعلی به‌دلیل تمرکز بر افق‌های کوتاه، فریبنده هستند.

‏برای بهبود عملکرد، تیم‌های توسعه‌دهنده باید از ارزیابی‌های آگاه از افق (Horizon-aware) و بررسی‌های میانی استفاده کنند. ابزارهای تست این پژوهش در گیت‌هاب در دسترس است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#ToolQA #Long_Horizon