‏🚀 عرضه TorchTPU: پشتیبانی بومی PyTorch از TPUهای گوگل

‏گوگل ابزار TorchTPU را به صورت متن‌باز منتشر کرد. این پروژه یک بک‌اند بومی برای PyTorch است که TPUهای گوگل را به عنوان یک دستگاه معمولی در PyTorch شناسایی می‌کند. این جایگزین برای PyTorch/XLA، با همکاری متا توسعه یافته و تحت مجوز Apache 2.0 عرضه شده است.

‏ویژگی اصلی این نسخه، استفاده از ثبت PrivateUse1 است؛ بنابراین تنسورها بدون نیاز به JAX runtime در حالت عادی باقی می‌مانند. اجرای کد به صورت پیش‌فرض به شکل eager است و در صورت استفاده از torch.compile، از طریق StableHLO به XLA منتقل می‌شود.

‏مهم‌ترین نکات فنی:
‏- رسیدن به ۵۲ درصد MFU در آموزش مدل Qwen 3 8B.
‏- مقیاس‌پذیری خطی تا ۸۱۹۲ واحد TPU.
‏- بهبود سرعت اجرا از ۱۱.۴۹ ثانیه به ۲.۷۸ ثانیه پس از کامپایل و شاردینگ.

‏این ابزار هم‌اکنون در vLLM، SGLang و نسخه پنجم Hugging Face Transformers پشتیبانی می‌شود. جزئیات بیشتر را می‌توانید در مقاله فنی یا مستندات آن مشاهده کنید.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#TorchTPU #PyTorchOnTPU