شبکه مبدل (Transformer Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه مبدل (Transformer Network) :
شبکه مبدل (Transformer) یک معماری مبتنی بر مکانیزم توجه (attention) است که در مقاله "Attention Is All You Need" در سال ۲۰۱۷ توسط واسوانی و همکاران معرفی شد. این شبکه به طور کامل از RNN و CNN بی نیاز است.
هسته اصلی Transformer، لایه خود-توجهی (self-attention) است. این مکانیزم به مدل اجازه می دهد هنگام پردازش هر کلمه، به همه کلمات دیگر جمله توجه کند و اهمیت هر کدام را بسنجد.
فرمول توجه اسکالرد (scaled dot-product attention):
\[ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V \]که
\[ Q \](پرسش)،
\[ K \](کلید) و
\[ V \](مقدار) از ورودی محاسبه می شوند.
Transformer از چندین سر توجه (multi-head attention) استفاده می کند تا جنبه های مختلف روابط بین کلمات را یاد بگیرد. همچنین شامل لایه های پیش خور و نرمال سازی و اتصالات باقیمانده است.
معماری اصلی Transformer از دو بخش رمزگذار (encoder) و رمزگشا (decoder) تشکیل شده. رمزگذار ورودی را به نمایشی غنی تبدیل می کند و رمزگشا خروجی را تولید می کند.
مدل های معروف مبتنی بر Transformer عبارتند از: BERT (فقط رمزگذار)، GPT (فقط رمزگشا)، و T5 (رمزگذار-رمزگشا).
Transformerها در پردازش زبان طبیعی انقلاب ایجاد کردند و اکنون در بینایی کامپیوتر (Vision Transformer - ViT) و حتی یادگیری تقویتی نیز استفاده می شوند.
مزایا: قابلیت موازی سازی بالا (برخلاف RNN که ترتیبی است)، توانایی یادگیری وابستگی های طولانی مدت، عملکرد بسیار خوب در داده های بزرگ.
معایب: نیاز به داده زیاد، محاسبات سنگین (مخصوصا برای توالی های بلند). راه حل هایی مانند sparse attention برای کاهش پیچیدگی ارائه شده است.
