‏🤖 اجرای مدل‌های زبانی روی کنسول PS5

‏یک پروژه جدید با نام PS5LM منتشر شده که امکان اجرای مدل‌های زبانی محلی روی کنسول پلی‌استیشن ۵ را فراهم می‌کند.

‏نویسنده این پروژه توانسته مدل Qwen 2.5 7b (نسخه کوانتایز شده) را روی این سخت‌افزار اجرا کند. سرعت خروجی در این حالت به حدود ۲۰ توکن در ثانیه می‌رسد. این پروژه در واقع پورتی از کتابخانه llama.cpp برای سیستم‌عامل کنسول است که به کاربر اجازه می‌دهد هر مدل با فرمت GGUF را روی دستگاه اجرا کند.

‏پس از راه‌اندازی مدل، دسترسی به آن از طریق رابط کاربری وب در مرورگر کنسول یا دستگاه‌های دیگر در شبکه داخلی امکان‌پذیر است.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#PS5LM #llama_cpp