‏نابرابری هزینه‌ی توکن در زبان‌های مختلف

‏ائتلاف CLEAR در نخستین پژوهش خود پیرامون عدالت زبانی، نشان داده که هزینه‌ی استفاده از مدل‌های هوش مصنوعی برای زبان‌های غیرانگلیسی به دلیل نحوه‌ی عملکرد توکنایزرها به‌مراتب بالاتر است. توکنایزرها عمدتاً برای انگلیسی و زبان‌های پرتکرار آموزش دیده‌اند، در نتیجه متن سایر زبان‌ها به قطعات کوچک‌تری شکسته شده و تعداد توکن بیشتری مصرف می‌کند.

‏برای نمونه، یک عبارت مشخص در زبان آمهاری می‌تواند تا ۶ برابر بیشتر از انگلیسی توکن مصرف کند. این افزایش تعداد توکن دو پیامد مستقیم دارد: افزایش تأخیر در پاسخ‌دهی و کاهش ظرفیت مفید پنجره‌ی متنی (Context Window) مدل.

‏برخی از یافته‌های این پژوهش:
‏* مدل NLLB-200 تنها مدلی است که نمره‌ی عالی A دریافت کرده است.
‏* مدل‌های Gemini و Gemma نمره‌ی B کسب کردند.
‏* مدل GPT-5 در این ارزیابی نمره‌ی F گرفت.
‏* زبان‌های دارای خطوط لاتین، حتی در صورت کمیاب بودن، بسیار بهینه‌تر از زبان‌هایی نظیر برمه‌ای، تبتی و خمر عمل می‌کنند.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#TokenizerTax #FLORES_200