📌 بنچمارک ApprenticeBench: آزمون توانایی هوش مصنوعی برای یادگیری کار مثل یک کارمند جدید
استارتاپ NeoCognition اولین آزمون جامع را ساخته که توانایی هوش مصنوعی در استفاده از کامپیوتر، یادگیری مستمر و کار طولانی‌مدت به‌عنوان یک عامل را در یک شغل واقعی بررسی می‌کند.
آزمایشگاه NeoCognition آزمایشگاهی است که آزمون‌های MMMU، Mind2Web، SWE-Bench Pro و OSWorld 2 و همچنین سیستم‌های عاملی SeeAct، UGround و HippoRAG را ساخته است.
در این آزمون، عامل هوش مصنوعی به‌عنوان کارمند یک شرکت ساختمانی مجازی در بخش پرداخت صورتحساب‌ها استخدام می‌شود. به او یک آرشیو شش‌ماهه از صورتحساب‌ها، دفترچه راهنمای داخلی و راهنمای سیستم ERP داده می‌شود و بعد کار با صورتحساب‌ها شروع می‌شود.
ماه اول، مدیر برای هر صورتحساب بازخورد مفصل می‌دهد. بعد از آن، فقط گاهی در پایان ماه چند نکته گفته می‌شود.
هر ۱۰۰ وظیفه این آزمون را حسابداران حرفه‌ای صنعت ساختمان بررسی کرده‌اند. آن‌ها تأیید کرده‌اند که سناریوها واقعی هستند و یک کارشناس معمولی هم با مطالعه مواد در دسترس می‌تواند آن‌ها را حل کند.
🟡 نتایج
بیشتر مدل‌ها، از جمله Gemini، Muse Spark، Grok و Kimi، از مرز ۲۰ تا ۲۵ درصد عبور نکردند. اما Fable 5.1 توانست ۷۲٪ وظایف را انجام دهد و GPT-6 Astra به ۶۸٪ رسید.
بهترین انسان آزمایش‌شده ۵۱٪ موفق بود. انسان‌ها بیشتر در پیدا کردن اطلاعات لازم در داده‌های تاریخی، دقت محاسبات و خطاهای کوچک ناشی از خستگی شکست می‌خوردند.
فاصله بین مدل‌های باز و بسته را بزرگ‌ترین فاصله‌ای می‌دانند که تا حالا در آزمون‌ها دیده‌اند: ۷۲٪ برای Fable 5.1 در مقابل ۱۸٪ برای Kimi K3. علتش هم عملیات ساده در رابط کاربری نیست؛ ضعف مدل‌های ضعیف‌تر در یادگیری در طول زمان است.
مدل Kimi K3 تقریباً به آرشیو صورتحساب‌ها و یادداشت‌های خودش مراجعه نکرد و در پایان مجموعه افت کرد.
🟡 رابط گرافیکی در مقابل API
هزینه استفاده از کامپیوتر، یعنی افت عملکرد وقتی مدل از API به رابط گرافیکی می‌رود، در بیشتر مدل‌ها تا ۷۸٪ می‌رسد. اما Fable 5.1 و GPT-6 Astra از طریق رابط گرافیکی حتی بهتر از API کار می‌کنند.
با این حال، API ارزان‌تر است. Fable 5.1 برای هر وظیفه در API حدود ۶.۹۵ دلار هزینه دارد، در حالی که همین کار از طریق رابط گرافیکی ۱۸.۲۳ دلار تمام می‌شود.
🟡 توانایی یادگیری
توانایی یادگیری را جداگانه اندازه گرفتند. Fable 5 بدون دسترسی به تاریخچه و بازخورد، فقط با دانش خودش، ۱۱ صورتحساب از ۱۰۰ را حل کرد.
با اضافه شدن آرشیو صورتحساب‌ها، نتیجه به ۳۱ رسید. با بازخورد مدیر به ۳۵ رسید. و اگر هر دو در دسترس باشند، نتیجه ۴۳ شد.
🟡 نتیجه
هوش مصنوعی هنوز گران‌تر تمام می‌شود: ۱۸.۲۳ دلار برای هر وظیفه در مقابل ۷.۲۱ دلار برای انسان. علاوه بر این، انسان با کسب تجربه سریع‌تر می‌شود، اما عامل هوش مصنوعی کندتر می‌شود.
🔜 می‌توانید اجرای یک‌ساعته Fable 5.1 روی هر ۱۰۰ وظیفه را ببینید.
https://www.youtube.com/watch?v=Y6v5iL2OyVM
🔗منبع :
https://neocognition.io/blog/apprentice-bench/
#AI #ML #Benchmark #ApprenticeBench #NeoCognition
🆔 @asrgooyeshpardaz
استارتاپ NeoCognition اولین آزمون جامع را ساخته که توانایی هوش مصنوعی در استفاده از کامپیوتر، یادگیری مستمر و کار طولانی‌مدت به‌عنوان یک عامل را در یک شغل واقعی بررسی می‌کند.
آزمایشگاه NeoCognition آزمایشگاهی است که آزمون‌های MMMU، Mind2Web، SWE-Bench Pro و OSWorld 2 و همچنین سیستم‌های عاملی SeeAct، UGround و HippoRAG را ساخته است.
در این آزمون، عامل هوش مصنوعی به‌عنوان کارمند یک شرکت ساختمانی مجازی در بخش پرداخت صورتحساب‌ها استخدام می‌شود. به او یک آرشیو شش‌ماهه از صورتحساب‌ها، دفترچه راهنمای داخلی و راهنمای سیستم ERP داده می‌شود و بعد کار با صورتحساب‌ها شروع می‌شود.
ماه اول، مدیر برای هر صورتحساب بازخورد مفصل می‌دهد. بعد از آن، فقط گاهی در پایان ماه چند نکته گفته می‌شود.
هر ۱۰۰ وظیفه این آزمون را حسابداران حرفه‌ای صنعت ساختمان بررسی کرده‌اند. آن‌ها تأیید کرده‌اند که سناریوها واقعی هستند و یک کارشناس معمولی هم با مطالعه مواد در دسترس می‌تواند آن‌ها را حل کند.
🟡 نتایج
بیشتر مدل‌ها، از جمله Gemini، Muse Spark، Grok و Kimi، از مرز ۲۰ تا ۲۵ درصد عبور نکردند. اما Fable 5.1 توانست ۷۲٪ وظایف را انجام دهد و GPT-6 Astra به ۶۸٪ رسید.
بهترین انسان آزمایش‌شده ۵۱٪ موفق بود. انسان‌ها بیشتر در پیدا کردن اطلاعات لازم در داده‌های تاریخی، دقت محاسبات و خطاهای کوچک ناشی از خستگی شکست می‌خوردند.
فاصله بین مدل‌های باز و بسته را بزرگ‌ترین فاصله‌ای می‌دانند که تا حالا در آزمون‌ها دیده‌اند: ۷۲٪ برای Fable 5.1 در مقابل ۱۸٪ برای Kimi K3. علتش هم عملیات ساده در رابط کاربری نیست؛ ضعف مدل‌های ضعیف‌تر در یادگیری در طول زمان است.
مدل Kimi K3 تقریباً به آرشیو صورتحساب‌ها و یادداشت‌های خودش مراجعه نکرد و در پایان مجموعه افت کرد.
🟡 رابط گرافیکی در مقابل API
هزینه استفاده از کامپیوتر، یعنی افت عملکرد وقتی مدل از API به رابط گرافیکی می‌رود، در بیشتر مدل‌ها تا ۷۸٪ می‌رسد. اما Fable 5.1 و GPT-6 Astra از طریق رابط گرافیکی حتی بهتر از API کار می‌کنند.
با این حال، API ارزان‌تر است. Fable 5.1 برای هر وظیفه در API حدود ۶.۹۵ دلار هزینه دارد، در حالی که همین کار از طریق رابط گرافیکی ۱۸.۲۳ دلار تمام می‌شود.
🟡 توانایی یادگیری
توانایی یادگیری را جداگانه اندازه گرفتند. Fable 5 بدون دسترسی به تاریخچه و بازخورد، فقط با دانش خودش، ۱۱ صورتحساب از ۱۰۰ را حل کرد.
با اضافه شدن آرشیو صورتحساب‌ها، نتیجه به ۳۱ رسید. با بازخورد مدیر به ۳۵ رسید. و اگر هر دو در دسترس باشند، نتیجه ۴۳ شد.
🟡 نتیجه
هوش مصنوعی هنوز گران‌تر تمام می‌شود: ۱۸.۲۳ دلار برای هر وظیفه در مقابل ۷.۲۱ دلار برای انسان. علاوه بر این، انسان با کسب تجربه سریع‌تر می‌شود، اما عامل هوش مصنوعی کندتر می‌شود.
🔜 می‌توانید اجرای یک‌ساعته Fable 5.1 روی هر ۱۰۰ وظیفه را ببینید.
https://www.youtube.com/watch?v=Y6v5iL2OyVM
🔗منبع :
https://neocognition.io/blog/apprentice-bench/
#AI #ML #Benchmark #ApprenticeBench #NeoCognition
🆔 @asrgooyeshpardaz
❤3🔥2