‏📚 انتشار منبع آموزشی معماری ترنسفورمر توسط دانشگاه کلمبیا

‏دانشگاه کلمبیا یک مجموعه آموزشی جامع درباره مبانی ریاضی معماری ترنسفورمر منتشر کرده است. این منبع به جای بررسی کلی، بر تحلیل فنی و گام‌به‌گام نحوه عملکرد اجزای این مدل‌ها تمرکز دارد.

‏مطالب این مجموعه شامل مباحث زیر است:
‏- پیش‌نیازهای مرتبط با شبکه‌های عصبی بازگشتی (RNN) و ساختار انکودر-دیکودر
‏- مکانیزم‌های توجه (Attention) و خود-توجهی (Self-attention)
‏- بررسی جزئیات محاسباتی Query، Key و Value
‏- نحوه عملکرد Scaled Dot-product Attention و Multi-head Attention

‏نویسندگان در این متن با استفاده از فرمول‌بندی‌های دقیق ریاضی، مشتق‌گیری گام‌به‌گام و نمودارهای آموزشی، نحوه ساختاریافتن و تعامل اجزای مختلف ترنسفورمر با یکدیگر را تشریح کرده‌اند. این منبع برای درک عمیق محاسباتی زیربنای مدل‌های مدرن هوش مصنوعی تدوین شده است.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
تلگرام | بله | ایتا | ارتباط با ما

#Transformer_Architecture #Self_attention