‏🤖 ساخت مدل زبانی بزرگ (LLM) از ابتدا

‏این مجموعه ویدئویی شامل ۴۳ سخنرانی است که نحوه ساخت یک مدل زبانی بزرگ (LLM) را از ابتدا آموزش می‌دهد. هدف آن روشن کردن عملکرد داخلی مدل‌هایی مانند ChatGPT است.
‏⚡ این دوره مفاهیم کلیدی مانند معماری Transformer، ساختار داخلی GPT، Tokenization و BPE (Byte Pair Encoding)، مکانیزم‌های Attention (توجه) و فرآیند آموزش LLM را به صورت گام به گام و با پیاده‌سازی کامل در Python توضیح می‌دهد.

‏ https://www.youtube.com/playlist?list=PLPTV0NXA_ZSgsLAr8YCgCwhPIJNNtexWu

📊 Data➕Science — هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#آموزش #Transformer

‏📚 کتاب جامع یادگیری زبان طبیعی و مدل‌های زبانی بزرگ

‏انتشارات Springer به تازگی کتابی جامع و دسترسی‌-آزاد با عنوان «Natural Language Processing and Large Language Models» منتشر کرده است. این کتاب حدود ۴۰۰ صفحه‌ای، منبعی عالی برای ورود به دنیای مدرن پردازش زبان طبیعی و مدل‌های زبانی بزرگ (LLM) است.

‏مطالب این کتاب به شکلی طبقه‌بندی شده‌اند که یادگیری مفاهیم پیچیده را برای مخاطب ساده می‌کند. مهم‌ترین سرفصل‌های این کتاب عبارتند از:

‏- شبکه‌های عصبی و نمایش‌های توزیع‌شده
‏- معماری‌های Transformer، BERT و GPT
‏- مکانیزم‌های توکنایزیشن و تحلیل احساسات
‏- خلاصه‌سازی متن و درک زبان طبیعی
‏- ترجمه ماشینی و سیستم‌های پرسش و پاسخ
‏- یادگیری تقویتی با بازخورد انسانی (RLHF)

‏اگر به دنبال مرجعی معتبر برای یادگیری این مباحث هستید، می‌توانید نسخه کامل آن را از طریق لینک زیر دریافت کنید:

‏دریافت و مطالعه کتاب از Springer

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Transformer #RLHF

Natural Language Processing and Large Language Models
Theory, Hand-on Codes, and Case Studies


📚 کتاب جامع یادگیری زبان طبیعی و مدل‌های زبانی بزرگ

‏انتشارات Springer به تازگی کتابی جامع و دسترسی‌-آزاد با عنوان «Natural Language Processing and Large Language Models» منتشر کرده است. این کتاب حدود ۴۰۰ صفحه‌ای، منبعی عالی برای ورود به دنیای مدرن پردازش زبان طبیعی و مدل‌های زبانی بزرگ (LLM) است.

‏مطالب این کتاب به شکلی طبقه‌بندی شده‌اند که یادگیری مفاهیم پیچیده را برای مخاطب ساده می‌کند. مهم‌ترین سرفصل‌های این کتاب عبارتند از:

‏- شبکه‌های عصبی و نمایش‌های توزیع‌شده
‏- معماری‌های Transformer، BERT و GPT
‏- مکانیزم‌های توکنایزیشن و تحلیل احساسات
‏- خلاصه‌سازی متن و درک زبان طبیعی
‏- ترجمه ماشینی و سیستم‌های پرسش و پاسخ
‏- یادگیری تقویتی با بازخورد انسانی (RLHF)

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Transformer #RLHF

‏🤖 آموزش ساخت مدل‌های زبانی بزرگ از صفر

‏فرانسوا شوله (خالق Keras) مسیر کاربردی جالبی را برای یادگیری مدل‌های زبانی بزرگ (LLM) پیشنهاد کرده است. به گفته او، کافی است فصل‌های ۱۵ و ۱۶ از ویرایش سوم کتاب Deep Learning with Python را بخوانید که هم‌اکنون به صورت رایگان در دسترس است.

‏فصل ۱۵ مفاهیم پایه‌ای از Attention تا معماری Transformer را آموزش می‌دهد. در فصل ۱۶، شما یک مدل mini-GPT با ۴۱ میلیون پارامتر را از مرحله توکنایزر تا آموزش و تولید متن می‌سازید. کل این فرآیند روی نسخه رایگان Google Colab و پردازنده گرافیکی T4 قابل اجراست.

📚 مطالعه با جزئیات بیشتر

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Transformer #mini_GPT

‏🧠 درک عمیق مکانیسم Attention در ترنسفورمرها

‏اگر می‌خواهید بدانید در قلب مدل‌های زبانی بزرگ چه می‌گذرد، درک دقیق مکانیسم Attention اولین قدم است. این هندبوک فنی به تحلیل مفاهیم زیر می‌پردازد:

‏* تشریح مفهوم Query ،Key و Value در ساختار شبکه
‏* بررسی چرایی فرمول‌بندی خاص معادلات Attention
‏* نحوه اجرای محاسبات در سیستم‌های مدرن LLM

‏این منبع آموزشی با زبانی فنی، مسیر تحول Attention را از مدل‌های اولیه تا معماری‌های پیچیده امروزی باز می‌کند. برای مطالعه دقیق جزئیات و بررسی دقیق نحوه عملکرد این مدل‌ها، می‌توانید از مستند فنی Understanding Attention استفاده کنید. این محتوا برای درک عمیق ریاضیات و پیاده‌سازی‌های عملی در مدل‌های ترنسفورمر بسیار کاربردی است.

📊 Data➕Science 🇮🇷 - هوش مصنوعی و علم داده به فارسی
📩 ارتباط با ما

#Transformer_Attention #LLM

‏🤖 ابزار تعاملی برای درک بصری معماری Transformer

‏آزمایشگاه Polo Club دانشگاه جورجیا تک یک ابزار تعاملی به نام Transformer Explainer توسعه داده است که کارکرد درونی این معماری را به صورت زنده در مرورگر نمایش می‌دهد.

‏این شبیه‌ساز جریان داده‌ها را در یک مدل پیش‌فرض (در مقیاس GPT-2) بررسی می‌کند. شما می‌توانید متن دلخواه خود را وارد کنید و فرآیند تبدیل متن به توکن، کارکرد مکانیزم Attention، اعمال توابع فعال‌ساز و نحوه محاسبه احتمالات برای تولید کلمه بعدی را به صورت گام‌به‌گام مشاهده کنید. این ابزار به درک مفاهیم ریاضی پشت مدل‌های زبانی بدون نیاز به درگیری با کدها کمک می‌کند.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Transformer_Explainer #GPT2

‏📊 معرفی ریاضی مکانیزم Attention و ترنسفورمرها

‏مقاله Understanding Transformers and Attention Mechanisms یک مقدمه فنی و ریاضی از مفاهیم زیربنایی در مدل‌های زبانی مدرن ارائه می‌دهد. این منبع به بررسی اجزای اصلی معماری Transformer و نحوه پردازش داده‌ها می‌پردازد.

‏مطالب این راهنما شامل موارد زیر است:
‏- مبانی توکنایزیشن و Embeddings
‏- مفهوم Query، Key و Value در مکانیزم توجه
‏- نحوه محاسبه امتیازات و وزن‌های Attention
‏- تفاوت میان Multi-head، Self-attention و Causal attention

‏همچنین این متن مهم‌ترین تکنیک‌های بهینه‌سازی مکانیزم توجه در مدل‌های زبانی بزرگ (LLM) را معرفی کرده است که شامل KV-caching، تکنیک Grouped Query Attention (GQA)، ساختار Multi-query Attention (MQA) و Latent attention می‌شود. این مستند برای درک دقیق چگونگی عملکرد لایه‌های داخلی این مدل‌ها مفید است.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Transformer #Grouped_Query_Attention

‏🤖 ابزار تعاملی مشاهده عملکرد مدل‌های ترنسفورمر

‏با استفاده از ابزار Transformer Explainer می‌توانید عملکرد مدل‌های مشابه GPT را به صورت گام‌به‌گام در مرورگر مشاهده کنید. این ابزار امکان بررسی دقیق محاسبات داخلی مدل را فراهم می‌کند.

‏مهم‌ترین بخش‌های قابل بررسی در این ابزار شامل موارد زیر است:

‏* توکنایز کردن ورودی و تبدیل به Embeddings
‏* محاسبه ماتریس‌های Q ،K و V در مکانیزم توجه
‏* لایه شبکه عصبی MLP
‏* تبدیل خروجی به Logits و احتمال توکن بعدی

‏همچنین می‌توانید نقشه‌های توجه (Attention maps) و مقادیر میانی را تحلیل کنید. تنظیم پارامترهایی مانند Temperature، Top-k و Top-p نیز امکان‌پذیر است تا ببینید تغییر هر کدام چگونه بر روند تولید متن اثر می‌گذارد.

🇮🇷 - هوش مصنوعی و علم داده به فارسی
🌐 سایت | تلگرام | بله | ایتا | ارتباط با ما

#Transformer_Explainer #Attention_Mechanism