⚡️ ‏ معرفی Gigatoken: توکنایزر فوق‌سریع با زبان Rust

‏ابزار جدید Gigatoken با دستیابی به سرعت خیره‌کننده ۲۴.۵۳ گیگابایت بر ثانیه، انقلابی در فرآیند توکنایز کردن (تبدیل متن به توکن برای مدل‌های زبانی) ایجاد کرده است. این عملکرد در مقایسه با HuggingFace tokenizers و tiktoken که به سرعت‌های بسیار پایین‌تری در همان سخت‌افزار می‌رسند، تا ۹۸۹ برابر سریع‌تر است.

🚀 ‏ راز این سرعت در مهندسی دقیق ساختار اجرا نهفته است. برخلاف ابزارهای معمول که از موتورهای سنگین Regex برای پیش‌پردازش استفاده می‌کنند، Gigatoken از یک جدول جستجوی بایت برای طبقه‌بندی سریع و تکنیک SWAR برای پردازش داده‌های ۸ بایتی استفاده می‌کند. این ابزار با استفاده از دو نشانگر مستقل و پردازش خارج از نظم، گلوگاه‌های پردازشی را حذف می‌کند.

🧠 ‏ همچنین قابلیت Pretoken caching برای کلمات تکراری، فرآیند رمزگذاری BPE را به‌شدت تسریع می‌کند.


🔗 ‏ GitHub

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Gigatoken #SWAR