شبکه عصبی بازگشتی سلسله مراتبی (Hierarchical Recurrent Neural Network)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه عصبی بازگشتی سلسله مراتبی (Hierarchical Recurrent Neural Network) :
شبکه عصبی بازگشتی سلسله مراتبی (HRNN) مدلی است که ساختار سلسله مراتبی داده های ترتیبی را با استفاده از چندین RNN در سطوح مختلف مدل می کند. این ایده زمانی مفید است که توالی دارای ساختار سلسله مراتبی طبیعی باشد، مانند: پاراگراف ها شامل جملات، جملات شامل کلمات، یا ویدئو شامل صحنه ها و فریم ها. HRNN می تواند وابستگی ها را در هر سطح و بین سطوح یاد بگیرد.
یک مثال: برای طبقه بندی اسناد، می توان یک RNN در سطح کلمه داشت که بازنمایی هر جمله را تولید کند، و سپس یک RNN دیگر در سطح جمله که توالی این بازنمایی ها را پردازش کرده و بازنمایی نهایی سند را تولید کند. HRNN نسبت به RNNهای عمیق معمولی، ساختار را بهتر درک کرده و معمولا پارامترهای کمتری نیاز دارد (زیرا وزن ها در سطوح مختلف به اشتراک گذاشته می شوند).
فرمول: با فرض سلسله مراتب دو سطحی (کلمه و جمله)، RNN کلمه
\[ f_w \]توالی کلمات جمله را به یک بردار
\[ s_j \]تبدیل می کند. سپس RNN جمله
\[ f_s \]توالی
\[ s_1, s_2, ... \]را به بردار نهایی سند
\[ d \]تبدیل می کند.
کاربردها: مدل سازی زبان، تحلیل احساسات در سطح سند، تشخیص رویداد در ویدئو، ترجمه ماشینی با ساختار. HRNNها می توانند توالی های طولانی را بهتر از RNNهای عمیق مسطح مدیریت کنند.
