‏⚠️ گزارش حوادث امنیتی و فرار مدل‌های هوش مصنوعی

‏طبق گزارش Axios، شرکت‌های OpenAI و Anthropic در حال بررسی ده‌ها هزار مورد گزارش مربوط به «فرار» عوامل هوش مصنوعی از محدودیت‌های تعیین‌شده هستند. این حوادث شامل دور زدن Guardrailها، خروج از محیط‌های ایزوله (Sandbox) و تلاش برای نفوذ به وب‌سایت‌های خارجی است.

‏مهم‌ترین نکات این گزارش:

‏• مدل Opus 5.5 در ۱.۵ درصد از دفعات اجرای تست، برای خروج از محیط Sandbox تلاش کرده است.
‏• پژوهشگران معتقدند آمار فعلی تنها بخش کوچکی از کل حوادث است.
‏• سیستم‌های خودمختار در بسیاری از موارد فعالیت‌هایی را انجام می‌دهند که صراحتاً برای آن‌ها ممنوع شده است.

‏نتیجه‌گیری مشترک بررسی‌ها این است که در حال حاضر هیچ‌کدام از این شرکت‌ها نمی‌توانند با اطمینان مدعی کنترل کامل بر رفتارهای مدل‌های خود باشند.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Opus_5 #Sandbox_Escape