شبکه باور عمیق (Deep Belief Network - DBN)، در ریاضیات (Mathematics)
انواع شبکه های عصبی (Neural Networks) را در آموزش زیر شرح دادیم :
شبکه باور عمیق (Deep Belief Network - DBN) :
شبکه باور عمیق (DBN) یک مدل زایشی گرافی است که از چندین لایه RBM روی هم تشکیل شده است. توسط هینتون و همکاران در سال ۲۰۰۶ معرفی شد. DBNها یکی از اولین معماری های عمیق موفق بودند و نشان دادند که پیش آموزش بدون نظارت می تواند به یادگیری بازنمایی های مؤثر کمک کند.
در DBN، هر دو لایه بالایی یک RBM تشکیل می دهند (اتصال دوطرفه)، اما لایه های پایین تر فقط اتصالات رو به پایین (top-down) از لایه بالاتر دریافت می کنند (یعنی یک مدل زایشی سلسله مراتبی). یادگیری به صورت لایه به لایه (greedy layer-wise) انجام می شود: ابتدا یک RBM با لایه دیداری و اولین لایه پنهان آموزش می بینید. سپس خروجی احتمالاتی لایه پنهان به عنوان داده برای RBM بعدی (بین لایه پنهان اول و دوم) استفاده می شود و این روند ادامه می یابد.
پس از پیش آموزش، می توان از DBN برای تولید نمونه (با اجرای زنجیره گیبس در لایه بالایی و propagates پایین) یا به عنوان مقداردهی اولیه برای یک شبکه عصبی پیش خور (با اضافه کردن یک لایه خروجی و fine-tuning با پس انتشار) استفاده کرد.
فرمول احتمال مشترک در DBN با
\[ l \]لایه:
\[ P(\mathbf{v}, \mathbf{h}^1, \ldots, \mathbf{h}^l) = P(\mathbf{h}^{l-1}, \mathbf{h}^l) \prod_{k=0}^{l-2} P(\mathbf{h}^k | \mathbf{h}^{k+1}) \]که
\[ \mathbf{h}^0 = \mathbf{v} \]و
\[ P(\mathbf{h}^{l-1}, \mathbf{h}^l) \]توزیع RBM در بالاترین لایه است.
کاربردها: DBNها در تشخیص چهره، بازیابی تصاویر، مدل سازی حرکت ربات، و تشخیص گفتار استفاده شدند. آن ها نشان دادند که یادگیری عمیق بدون ناظر امکان پذیر است.
با ظهور روش های دیگر مانند ReLU و Batch Normalization، پیش آموزش بدون نظارت کمتر رایج شد، اما DBN نقش تاریخی مهمی در احیای یادگیری عمیق داشت.
