شبکه عصری توجه (Attention-Based Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصری توجه (Attention-Based Network) :
شبکه های مبتنی بر توجه (Attention-Based Networks) خانواده ای از معماری ها هستند که از مکانیزم توجه برای وزن دهی به بخش های مختلف ورودی استفاده می کنند. توجه به مدل اجازه می دهد هنگام تولید هر خروجی، روی بخش های مرتبط ورودی تمرکز کند. این مکانیزم ابتدا در ترجمه ماشینی (با توجه باهداناو) محبوب شد و سپس به سایر حوزه ها گسترش یافت.
فرمول عمومی توجه (Bahdanau): با داشتن یک بردار پرس وجو
\[ q \]و مجموعه ای از بردارهای کلید-مقدار
\[ (k_i, v_i) \]، ابتدا نمره توجه
\[ e_i = a(q, k_i) \](مثلا با یک شبکه کوچک یا ضرب داخلی) محاسبه می شود. سپس وزن های توجه
\[ \alpha_i = \text{softmax}(e_i) \]و خروجی توجه
\[ c = \sum_i \alpha_i v_i \].
انواع توجه:
توجه خودی (self-attention): q و k و v از یک منبع هستند (مثلا یک جمله).
توجه چندسر (multi-head attention): چندین توجه موازی که خروجی ها ترکیب می شوند.
توجه ضرب نقطه ای مقیاس یافته (scaled dot-product attention):
\[ \text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \].
مهم ترین شبکه مبتنی بر توجه، ترانسفورمر (Transformer) است که کاملا بر پایه خود-توجهی بنا شده. توجه همچنین به CNNها (SENet، CBAM) و RNNها اضافه شده است.
کاربردها: ترجمه ماشینی، تولید متن، بینایی کامپیوتر (Vision Transformer)، سیستم های توصیه گر. توجه یک ابزار قدرتمند و همه کاره است.
