📉 Fable: سقوط آزاد معیارهای عملکرد
تحلیلگران BridgeMind مدل Fable را پس از بازگشت دوباره ارزیابی کردند. نتایج نشان‌دهنده افت شدید در همه معیارهاست:
🔹 Debugging: ۸۶.۲ → ۲۵.۹
🔹 Refactoring: ۷۳.۶ → ۳۸.۴
🔹 Hallucination: ۷۵.۹ → ۶۱.۷
خود مدل خراب نشده؛ مشکل محدودیت‌های جدید است: بسیاری از وظایف حتی ساده به Opus 4.8 مسیریابی می‌شوند و همین باعث افت معیارها شده است.
#گزارش #BridgeMind
تحلیلگران BridgeMind مدل Fable را پس از بازگشت دوباره ارزیابی کردند. نتایج نشان‌دهنده افت شدید در همه معیارهاست:
🔹 Debugging: ۸۶.۲ → ۲۵.۹
🔹 Refactoring: ۷۳.۶ → ۳۸.۴
🔹 Hallucination: ۷۵.۹ → ۶۱.۷
خود مدل خراب نشده؛ مشکل محدودیت‌های جدید است: بسیاری از وظایف حتی ساده به Opus 4.8 مسیریابی می‌شوند و همین باعث افت معیارها شده است.
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما
#گزارش #BridgeMind
This media is not supported in your browser
VIEW IN TELEGRAM
📊 معرفی ابزار NerfBench برای سنجش افت کیفیت مدل‌ها
تیم BridgeMind ابزاری به نام NerfBench منتشر کرده است تا تغییرات عملکرد مدل‌های هوش مصنوعی پس از انتشار عمومی را رصد کند. بسیاری از کاربران معتقدند مدل‌ها به مرور زمان دچار افت کیفیت یا «نرف» (Nerf) می‌شوند؛ این بنچمارک برای بررسی دقیق‌تر همین ادعا طراحی شده است.
نحوه عملکرد این ابزار به این صورت است:
- ثبت عملکرد مدل در روز انتشار به عنوان شاخص ۱۰۰٪.
- بررسی دوره‌ای کیفیت خروجی، تعداد توکن‌های مصرفی و هزینه پردازش.
- بازه ۹۰ تا ۱۱۰ درصد به عنوان نوسان آماری عادی در نظر گرفته می‌شود.
- امتیاز زیر ۹۰ درصد یا افزایش هزینه‌ها، به عنوان افت عملکرد شناسایی می‌شود.
برای مثال، طبق اندازه‌گیری‌های اخیر، امتیاز مدل Opus 5.5 به حدود ۹۴ درصد رسیده است که اگرچه هنوز در محدوده عادی قرار دارد، اما بیشترین افت را در میان مدل‌های بررسی‌شده نشان می‌دهد. شرکت BridgeMind مبلغ ۱۰ هزار دلار برای تداوم تست‌ها و افزایش فرکانس بازرسی مدل‌های جدید اختصاص داده است.
#NerfBench #BridgeMind
تیم BridgeMind ابزاری به نام NerfBench منتشر کرده است تا تغییرات عملکرد مدل‌های هوش مصنوعی پس از انتشار عمومی را رصد کند. بسیاری از کاربران معتقدند مدل‌ها به مرور زمان دچار افت کیفیت یا «نرف» (Nerf) می‌شوند؛ این بنچمارک برای بررسی دقیق‌تر همین ادعا طراحی شده است.
نحوه عملکرد این ابزار به این صورت است:
- ثبت عملکرد مدل در روز انتشار به عنوان شاخص ۱۰۰٪.
- بررسی دوره‌ای کیفیت خروجی، تعداد توکن‌های مصرفی و هزینه پردازش.
- بازه ۹۰ تا ۱۱۰ درصد به عنوان نوسان آماری عادی در نظر گرفته می‌شود.
- امتیاز زیر ۹۰ درصد یا افزایش هزینه‌ها، به عنوان افت عملکرد شناسایی می‌شود.
برای مثال، طبق اندازه‌گیری‌های اخیر، امتیاز مدل Opus 5.5 به حدود ۹۴ درصد رسیده است که اگرچه هنوز در محدوده عادی قرار دارد، اما بیشترین افت را در میان مدل‌های بررسی‌شده نشان می‌دهد. شرکت BridgeMind مبلغ ۱۰ هزار دلار برای تداوم تست‌ها و افزایش فرکانس بازرسی مدل‌های جدید اختصاص داده است.
🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما
#NerfBench #BridgeMind