👁 هوش مصنوعی هنوز «شهود بصری» انسان را ندارد
واحد پژوهشی Scale Labs با همکاری Elorian یک بنچمارک جدید به نام Humanity's Sixth Sense (HSS) منتشر کرده که توانایی هوش مصنوعی را در تفسیر نشانه‌های پنهان اجتماعی و روابط فضایی در تصاویر و ویدیوها می‌سنجد.
🔍 این بنچمارک چه چیزی را اندازه می‌گیرد؟
برخلاف بنچمارک‌های موجود که یا روی حل مسئله آکادمیک تمرکز دارند یا روی درک ساده بصری، HSS سراغ چیزی می‌رود که بین این دو قرار دارد: استنتاج شهودی از آنچه در قاب دیده نمی‌شود. مثلاً تشخیص اینکه آیا یک خودرو بین دو خودروی پارک‌شده جا می‌شود، چه کسی در اتاق قدرت دارد، یا چه اتفاقی پیش از این صحنه رخ داده است.
مجموعه از ۵۲۲ پرسش تشکیل شده: ۲۸۸ تصویر ثابت و ۲۳۴ قطعه ویدیو. پاسخ‌ها به‌صورت باز (نه چندگزینه‌ای) داده می‌شوند و با معیارهای دقیق انسانی ارزیابی می‌شوند. این معیارها را بیش از ۸۰ داور انسانی از سه مرحله بازبینی مستقل گذرانده‌اند و تنها ۱۵.۱٪ از ۳٬۴۶۶ وظیفه اولیه به مرحله نهایی راه یافته‌اند.
📊 نتایج: شکاف عمیق بین انسان و ماشین
🔹 عملکرد گروه کنترل انسانی: ۹۳.۱٪
🔹 بهترین مدل، GPT-6 Astra: ۵۳.۶٪
🔹 مدل GPT-6.1 Sol: ۴۶.۶٪
🔹 مدل Claude Opus 5.5: ۴۴.۶٪
🔹 میانه کل مدل‌ها: ۳۰.۹٪
یعنی بهترین مدل جهان، نزدیک به ۴۰ واحد از انسان عقب‌تر است.
🔬 تحلیل ۸٬۵۷۳ پاسخ ناموفق
پژوهشگران شکست‌ها را در سه خانواده دسته‌بندی کردند:
🔹 ادراک بصری: ۵۳٪ (مثل اشتباه در جهت‌یابی، تشخیص اندازه و فاصله، یا جاگذاری اشتباه اشیا)
🔹 استنتاج پنهان: ۴۱٪ (مثل از دست دادن نشانه‌های تعیین‌کننده در ویدیو)
🔹 استدلال: فقط ۵٪
نکته مهم: ۹۴٪ خطاها به دو دسته اول مربوط است، یعنی مشکل اصلی مدل‌ها فهمیدن است، نه استدلال کردن.
⚠️ افزایش محاسبات کمکی نکرد
افزایش بودجه استدلال (به‌طور میانگین ۴٬۰۰۰ توکن برای هر پاسخ) نه‌تنها مشکل را حل نکرد، بلکه در برخی حوزه‌ها باعث افت دقت شد. در حوزه «بازسازی گذشته»، مدل GPT-6 Astra با افزایش سطح تلاش از high به xhigh، ۱۴ واحد افت کرد.
🛠 عامل‌های فعال هم نتوانستند شکاف را ببندند
پژوهشگران مدل‌ها را در قالب عامل‌هایی مثل Claude Code و Codex هم آزمایش کردند. این حالت‌ها دقت را بهبود دادند، اما حتی بهترین ترکیب (Codex با GPT-6 Astra) هم فقط به ۵۹.۳٪ رسید. نکته جالب: خطاهای مربوط به عمق سه‌بعدی با زوم کردن روی تصویر دوبعدی برطرف نمی‌شوند — یعنی نگاه کردن بیشتر، عمق ازدست‌رفته را برنمی‌گرداند.
🎯 نتیجه اصلی
مقیاس‌پذیری در استدلال، محدودیت‌های معماری پایه بینایی ماشین را جبران نمی‌کند. مدل‌های امروزی در بسیاری از وظایف پیچیده آکادمیک عالی عمل می‌کنند، اما در آنچه برای یک انسان بدیهی و شهودی است، هنوز نیمه‌راه مانده‌اند.
🔗 بنچمارک در Hugging Face | جدول امتیازات | مقاله
#هوش_مصنوعی #HSS #بینایی_ماشین #ScaleLabs #بنچمارک
🆔 @asrgooyeshpardaz
واحد پژوهشی Scale Labs با همکاری Elorian یک بنچمارک جدید به نام Humanity's Sixth Sense (HSS) منتشر کرده که توانایی هوش مصنوعی را در تفسیر نشانه‌های پنهان اجتماعی و روابط فضایی در تصاویر و ویدیوها می‌سنجد.
🔍 این بنچمارک چه چیزی را اندازه می‌گیرد؟
برخلاف بنچمارک‌های موجود که یا روی حل مسئله آکادمیک تمرکز دارند یا روی درک ساده بصری، HSS سراغ چیزی می‌رود که بین این دو قرار دارد: استنتاج شهودی از آنچه در قاب دیده نمی‌شود. مثلاً تشخیص اینکه آیا یک خودرو بین دو خودروی پارک‌شده جا می‌شود، چه کسی در اتاق قدرت دارد، یا چه اتفاقی پیش از این صحنه رخ داده است.
مجموعه از ۵۲۲ پرسش تشکیل شده: ۲۸۸ تصویر ثابت و ۲۳۴ قطعه ویدیو. پاسخ‌ها به‌صورت باز (نه چندگزینه‌ای) داده می‌شوند و با معیارهای دقیق انسانی ارزیابی می‌شوند. این معیارها را بیش از ۸۰ داور انسانی از سه مرحله بازبینی مستقل گذرانده‌اند و تنها ۱۵.۱٪ از ۳٬۴۶۶ وظیفه اولیه به مرحله نهایی راه یافته‌اند.
📊 نتایج: شکاف عمیق بین انسان و ماشین
🔹 عملکرد گروه کنترل انسانی: ۹۳.۱٪
🔹 بهترین مدل، GPT-6 Astra: ۵۳.۶٪
🔹 مدل GPT-6.1 Sol: ۴۶.۶٪
🔹 مدل Claude Opus 5.5: ۴۴.۶٪
🔹 میانه کل مدل‌ها: ۳۰.۹٪
یعنی بهترین مدل جهان، نزدیک به ۴۰ واحد از انسان عقب‌تر است.
🔬 تحلیل ۸٬۵۷۳ پاسخ ناموفق
پژوهشگران شکست‌ها را در سه خانواده دسته‌بندی کردند:
🔹 ادراک بصری: ۵۳٪ (مثل اشتباه در جهت‌یابی، تشخیص اندازه و فاصله، یا جاگذاری اشتباه اشیا)
🔹 استنتاج پنهان: ۴۱٪ (مثل از دست دادن نشانه‌های تعیین‌کننده در ویدیو)
🔹 استدلال: فقط ۵٪
نکته مهم: ۹۴٪ خطاها به دو دسته اول مربوط است، یعنی مشکل اصلی مدل‌ها فهمیدن است، نه استدلال کردن.
⚠️ افزایش محاسبات کمکی نکرد
افزایش بودجه استدلال (به‌طور میانگین ۴٬۰۰۰ توکن برای هر پاسخ) نه‌تنها مشکل را حل نکرد، بلکه در برخی حوزه‌ها باعث افت دقت شد. در حوزه «بازسازی گذشته»، مدل GPT-6 Astra با افزایش سطح تلاش از high به xhigh، ۱۴ واحد افت کرد.
🛠 عامل‌های فعال هم نتوانستند شکاف را ببندند
پژوهشگران مدل‌ها را در قالب عامل‌هایی مثل Claude Code و Codex هم آزمایش کردند. این حالت‌ها دقت را بهبود دادند، اما حتی بهترین ترکیب (Codex با GPT-6 Astra) هم فقط به ۵۹.۳٪ رسید. نکته جالب: خطاهای مربوط به عمق سه‌بعدی با زوم کردن روی تصویر دوبعدی برطرف نمی‌شوند — یعنی نگاه کردن بیشتر، عمق ازدست‌رفته را برنمی‌گرداند.
🎯 نتیجه اصلی
مقیاس‌پذیری در استدلال، محدودیت‌های معماری پایه بینایی ماشین را جبران نمی‌کند. مدل‌های امروزی در بسیاری از وظایف پیچیده آکادمیک عالی عمل می‌کنند، اما در آنچه برای یک انسان بدیهی و شهودی است، هنوز نیمه‌راه مانده‌اند.
🔗 بنچمارک در Hugging Face | جدول امتیازات | مقاله
#هوش_مصنوعی #HSS #بینایی_ماشین #ScaleLabs #بنچمارک
🆔 @asrgooyeshpardaz
huggingface.co
ScaleAI/HSS · Datasets at Hugging Face
We’re on a journey to advance and democratize artificial intelligence through open source and open science.
👏5😱1