‏🧐 کاهش نرخ توهم و افزایش تمایل به تملق در مدل‌های جدید

‏گروه پژوهشی دانشگاه استنفورد با بررسی ۵۰ یافته شناخته‌شده در ۲۰ مدل هوش مصنوعی جدید متوجه شدند که ۴۴ درصد این یافته‌ها دیگر صحت ندارند و ۳۴ درصد دیگر نیز بسیار ضعیف شده‌اند. این نتایج نشان می‌دهد که عمر مفید بسیاری از باورها درباره نقاط ضعف مدل‌های زبانی به حدود ۱۵ ماه کاهش یافته است.

‏تغییرات کلیدی در رفتار مدل‌ها:
‏- توهم منبع: در حالی که در سال ۲۰۲۳ حدود ۵۵ درصد منابع ذکر شده توسط ChatGPT ساختگی بود، مدل Claude Sonnet 3.5 این نرخ را به ۱ درصد و GPT-4o به صفر رسانده‌اند؛ هرچند برخی مدل‌ها مثل Qwen 2.5 همچنان نرخ خطای بالایی دارند.
‏- تملق: تمایل مدل‌ها به تأیید نظر کاربر و چاپلوسی نسبت به نسخه‌های اولیه ۱.۸۵ برابر بیشتر شده است.
‏- رفتار پایدار: مدل‌ها همچنان به سوگیری سیاسی چپ‌گرایانه، اولویت دادن به پاسخ‌های تولیدی خود و پاسخگویی در مواردی که باید از ارائه جواب امتناع کنند، ادامه می‌دهند.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#LLM_Claims #Sycophancy