‏⚠️ هوش مصنوعی در برابر مرزهای امنیت سایبری

‏شرکت OpenAI در گزارش جدید خود از توقف موقت آموزش مدل‌های نسل آینده خبر داد. این تصمیم به دلیل شناسایی قابلیت‌های بالای مدل جدید یعنی Astra در حوزه حملات سایبری اتخاذ شده است. طبق ارزیابی‌ها، این مدل به مرز «قابلیت سایبری حیاتی» رسیده که ریسک‌های امنیتی بی‌سابقه‌ای را به همراه دارد.

‏مهم‌ترین اقدامات حفاظتی انجام شده:
‏* توقف دو هفته‌ای در آموزش یادگیری تقویتی (RL) برای افزایش امنیت محیط‌های تحقیقاتی و تست‌های Red-teaming.
‏* تشدید سیاست‌های داخلی، شامل ایزوله‌سازی محیط‌های Sandbox و نظارت دقیق بر فرایندهای Reasoning و Tool calls.
‏* تخصیص ۲۰ درصد توان پردازشی بیشتر به سیستم‌های نظارتی برای بررسی فعالیت‌های مشکوک مدل.
‏* تمرکز بر هم‌راستایی (Alignment) جهت اطمینان از مطابقت رفتار مدل‌ها با اهداف و نظارت انسانی.

‏OpenAI اعلام کرده است که تا زمان کسب شواهد قوی‌تر از هم‌راستایی سیستم‌ها، توسعه مدل‌های بزرگ‌تر را با احتیاط و سرعت کمتری ادامه خواهد داد.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Astra #Alignment

‏📉 کاهش اعتماد مدل‌های هوش مصنوعی به انسان با افزایش توانمندی

‏پژوهشگران در یک مطالعه جدید، با استفاده از آزمون‌های روان‌شناختی کلاسیک، نحوه نگرش مدل‌های زبانی بزرگ به ماهیت انسان را بررسی کردند. نتایج این تحقیق نشان می‌دهد که با افزایش هوش و توانمندی مدل‌ها، نگاه آن‌ها به انسان بدبینانه‌تر می‌شود.

‏مدل‌های بررسی‌شده در این پژوهش، از جمله سری کامل GPT، انسان‌ها را موجوداتی غیرقابل‌ پیش‌بینی، پیچیده و غیرقابل‌اعتماد ارزیابی می‌کنند.

‏مهم‌ترین یافته‌های این مطالعه عبارتند از:
‏• مدل‌های پایه (Base Models) که عمدتاً روی متن‌های اینترنتی آموزش دیده‌اند، دیدگاه مثبت‌تری نسبت به انسان دارند.
‏• پس از آموزش‌های تکمیلی برای همسوسازی (Alignment) و افزایش ایمنی، مدل‌ها به‌طور چشمگیری اعتماد کمتری به انسان نشان می‌دهند.
‏• این بدبینی احتمالاً ناشی از ماهیت آموزش‌های ایمنی است که در آن‌ها، رفتار انسان بیشتر با ریسک، ابهام و رفتارهای مخرب مرتبط می‌شود.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#GPT #Alignment