ترانسفورمر با رمزگذار-رمزگشا (Encoder-Decoder Transformer)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
ترانسفورمر با رمزگذار-رمزگشا (Encoder-Decoder Transformer) :
معماری رمزگذار-رمزگشا (Encoder-Decoder) اصلی ترین ساختار ترانسفورمر است که در مقاله "Attention Is All You Need" معرفی شد. این معماری برای مسائل دنباله به دنباله (sequence-to-sequence) مانند ترجمه ماشینی طراحی شده است. رمزگذار (Encoder) دنباله ورودی را به یک سری بازنمایی پنهان تبدیل می کند و رمزگشا (Decoder) با توجه به آن بازنمایی ها، دنباله خروجی را به صورت گام به گام تولید می کند.
رمزگذار: از
\[ N \]لایه یکسان تشکیل شده. هر لایه شامل دو زیرلایه است: (۱) خود-توجهی چندسر (multi-head self-attention) و (۲) شبکه پیش خور کاملا متصل (FFN). دور هر زیرلایه یک اتصال باقیمانده و به دنبال آن نرمال سازی لایه (layer norm) قرار دارد. خروجی رمزگذار یک توالی از بردارهای زمینه (context vectors) است.
رمزگشا: همچنین از
\[ N \]لایه تشکیل شده، اما هر لایه سه زیرلایه دارد: (۱) خود-توجهی چندسر با ماسک (masked self-attention) برای جلوگیری از توجه به کلمات آینده، (۲) توجه متقابل (cross-attention) که به خروجی رمزگذار توجه می کند، و (۳) شبکه پیش خور. اتصالات باقیمانده و نرمال سازی لایه نیز مشابه رمزگذار است.
فرمول خود-توجهی در رمزگذار:
\[ \text{Attention}(Q,K,V) = \text{softmax}(\frac{QK^T}{\sqrt{d_k}})V \]. در رمزگشا، توجه متقابل از
\[ Q \]رمزگشا و
\[ K,V \]رمزگذار استفاده می کند. موقعیت ها با کدگذاری موقعیتی (positional encoding) به ورودی اضافه می شوند.
کاربردها: ترجمه ماشینی، خلاصه سازی متن، تولید تصویر از متن (با معماری های خاص). این معماری پایه گذار مدل های عظیمی مانند T5 و BART است.
