ترانسفورمر وابسته به موقعیت (Positional Encoded Transformer)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
ترانسفورمر وابسته به موقعیت (Positional Encoded Transformer) :
از آنجا که ترانسفورمر فاقد ساختار بازگشتی یا کانولوشنی است و همه کلمات را به صورت موازی پردازش می کند، نیاز به مکانیزمی برای نشان دادن موقعیت کلمات در دنباله دارد. کدگذاری موقعیتی (Positional Encoding) این وظیفه را بر عهده دارد. در ترانسفورمر اصلی، از کدگذاری موقعیتی سینوسی استفاده شده است:
\[ PE_{(pos, 2i)} = \sin\left( \frac{pos}{10000^{2i/d_{\text{model}}}} \right) \] \[ PE_{(pos, 2i+1)} = \cos\left( \frac{pos}{10000^{2i/d_{\text{model}}}} \right) \]که
\[ pos \]موقعیت و
\[ i \]بعد است. این توابع به مدل اجازه می دهند به راحتی موقعیت های نسبی را یاد بگیرد (زیرا برای هر شیفت
\[ k \]،
\[ PE_{pos+k} \]تابعی خطی از
\[ PE_{pos} \]است).
روش های دیگر کدگذاری موقعیتی شامل کدگذاری قابل یادگیری (learned positional embeddings) است که در BERT و GPT استفاده می شود. در این روش، یک embedding جداگانه برای هر موقعیت تعریف و در طول آموزش یاد گرفته می شود. همچنین روش های جدیدتر مانند کدگذاری موقعیتی چرخشی (RoPE) و کدگذاری موقعیتی با اعداد مختلط (Complex order) نیز وجود دارند.
اهمیت: بدون کدگذاری موقعیتی، ترانسفورمر مانند یک مجموعه (bag of words) عمل می کند و ترتیب کلمات را نادیده می گیرد. بنابراین، این بخش حیاتی است.
