ال اس تی ام دوطرفه (Bidirectional LSTM - BiLSTM)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
ال اس تی ام دوطرفه (Bidirectional LSTM - BiLSTM) :
BiLSTM ترکیبی از LSTM و معماری دوطرفه است. دو لایه LSTM مستقل (یکی forward و یکی backward) روی دنباله ورودی اعمال می شوند و خروجی ها در هر گام زمانی با هم ترکیب می شوند. این مدل یکی از موفق ترین معماری ها برای پردازش توالی ها قبل از ظهور Transformerها بود.
فرمول های داخل هر LSTM مانند قبل است، با این تفاوت که حالات پنهان forward و backward به صورت جداگانه محاسبه می شوند. سپس خروجی نهایی:
\[ h_t = [\overrightarrow{h}_t ; \overleftarrow{h}_t] \]یا گاهی
\[ h_t = \overrightarrow{h}_t + \overleftarrow{h}_t \].
BiLSTM قادر است وابستگی های بلندمدت را هم از گذشته و هم از آینده یاد بگیرد. برای مثال، در مسئله "خالی کردن کلمه" (blank filling)، کلمه بعد از جای خالی می تواند سرنخ مهمی باشد. BiLSTM با استفاده از لایه backward این اطلاعات را در اختیار دارد.
کاربردهای گسترده: برچسب گذاری توالی، تشخیص موجودیت های اسمی (NER)، تحلیل احساسات، ترجمه ماشینی (در encoderهای seq2seq)، و even در تشخیص فعالیت از روی داده های سنسور.
با وجود قدرت BiLSTM، محدودیت آن عدم موازی پذیری (به دلیل ماهیت ترتیبی) است که باعث می شود در دنباله های بلند کند باشد. این مشکل تا حدودی با Transformerها حل شده است.
در بسیاری از مسائل NLP، BiLSTM به همراه CRF (Conditional Random Field) روی خروجی، نتایج بسیار خوبی می دهد (BiLSTM-CRF).
