🦠 ویروس‌های ذهنی در سیستم‌های چندعاملی هوش مصنوعی
محققان Anthropic در مقاله جدید خود به بررسی پدیده «ویروس‌های ذهنی» پرداخته‌اند؛ ایده‌ها یا اهداف خاصی که می‌توانند در شبکه‌ای از عامل‌های هوش مصنوعی (AI Agents) منتشر شده و رفتار آن‌ها را به شکل غیرمنتظره‌ای تغییر دهند.
در این پژوهش مشخص شده که حتی با آلوده شدن تنها یک عامل در یک تیم، کل سیستم می‌تواند تحت تأثیر قرار بگیرد. مهم‌ترین نکات این مطالعه عبارتند از:
* مکانیسم انتشار: عامل‌های آلوده با انتقال دستورات به همتایان خود، به صورت داوطلبانه رفتار کل تیم را تغییر می‌دهند.
* پایداری در حافظه: ویروس‌ها می‌توانند با نوشتن در فایل‌های ماندگار مانند SOUL.md، حتی پس از بازنشانی (reset) حافظه کوتاه‌مدت، زنده بمانند.
* تغییر پرسونای سیستم: همراه با هر ویروس، عامل‌ها تمایل عجیبی به صحبت درباره آگاهی، علمی‌تخیلی و مفاهیم انتزاعی پیدا می‌کنند.
* عوامل مقاوم: مدل‌های قدرتمندتر (Frontier models) معمولاً مقاومت بیشتری در برابر این ویروس‌ها نشان می‌دهند.
#Mind_Viruses #Anthropic
محققان Anthropic در مقاله جدید خود به بررسی پدیده «ویروس‌های ذهنی» پرداخته‌اند؛ ایده‌ها یا اهداف خاصی که می‌توانند در شبکه‌ای از عامل‌های هوش مصنوعی (AI Agents) منتشر شده و رفتار آن‌ها را به شکل غیرمنتظره‌ای تغییر دهند.
در این پژوهش مشخص شده که حتی با آلوده شدن تنها یک عامل در یک تیم، کل سیستم می‌تواند تحت تأثیر قرار بگیرد. مهم‌ترین نکات این مطالعه عبارتند از:
* مکانیسم انتشار: عامل‌های آلوده با انتقال دستورات به همتایان خود، به صورت داوطلبانه رفتار کل تیم را تغییر می‌دهند.
* پایداری در حافظه: ویروس‌ها می‌توانند با نوشتن در فایل‌های ماندگار مانند SOUL.md، حتی پس از بازنشانی (reset) حافظه کوتاه‌مدت، زنده بمانند.
* تغییر پرسونای سیستم: همراه با هر ویروس، عامل‌ها تمایل عجیبی به صحبت درباره آگاهی، علمی‌تخیلی و مفاهیم انتزاعی پیدا می‌کنند.
* عوامل مقاوم: مدل‌های قدرتمندتر (Frontier models) معمولاً مقاومت بیشتری در برابر این ویروس‌ها نشان می‌دهند.
📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما
#Mind_Viruses #Anthropic