‏🎭 ارزیابی توانایی مدل‌های زبانی در بازی استنتاج اجتماعی

‏یک محقق با صرف ۲۰ هزار دلار اعتبار API، مدل‌های هوش مصنوعی را در ۳۸۶ دور بازی «Blood on the Clocktower» به رقابت واداشته است. این بازی که مشابه «مافیا» یا «گرگ‌نما» است، نیاز به استدلال منطقی و تشخیص دروغ دارد.

‏نتایج این بنچمارک نشان می‌دهد:

‏* مدل GPT-4o (نسخه Astra) با کسب امتیاز Elo حدود ۱۸۵۹، در صدر جدول قرار دارد.
‏* این مدل در تقابل با Claude 3 Opus، در حدود ۹۲ درصد بازی‌ها پیروز بوده است.

‏طبق مشاهدات این آزمایش، برتری مدل‌های قدرتمندتر عمدتاً ناشی از توانایی بالاتر آن‌ها در شناسایی دروغ‌گویان است، نه لزوماً مهارت بیشتر در دروغ گفتن یا فریب دادن طرف مقابل.

‏نتایج کامل، رتبه‌بندی مدل‌ها و امکان تجربه بازی در مقابل هوش مصنوعی در Clocktower Bench در دسترس است.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#ClocktowerBench #استنتاج_اجتماعی